Progetto

Generale

Profilo

SetupClusterHA » Cronologia » Versione 38

Amministratore Truelite, 03-10-2006 15:06

1 1 Amministratore Truelite
[[TracNav(TOC)]]
2
= Configurazione di un Cluster HA =
3
4 29 Amministratore Truelite
In questo caso per ''Cluster HA'' si intende un sistema composto da due macchine (dette nodi) in configurazione attivo/passivo, su cui viene gestita automaticamente la sincronizzazione dei dati attraverso DRDB, e lo ''switch'' automatico dei servizi in caso di crollo del nodo attivo con l'uso di ''heartbeat''.
5 1 Amministratore Truelite
6 2 Amministratore Truelite
== Predisposizione delle due macchine del Cluster ==
7 1 Amministratore Truelite
8 22 Amministratore Truelite
Per un buon funzionamento del cluster è quantomeno opportuno poter disporre di una interfaccia di rete in più, dedicata alla comunicazione diretta fra i due nodi; questo è importante anche per evitare errori nella rilevazione di un crollo (che normalmente viene fatta tramite una connessione di rete, anche se è possibile usare un collegamento seriale) qualora ad andare giù fosse lo ''switch'' e non un singolo nodo. Disponendo dell'hardware necessario (interruttori controllabili da remoto) si può installare ''stonith'' per assicurarsi dello spegnimento dell'altro nodo in caso di ''switch''.
9 1 Amministratore Truelite
10 38 Amministratore Truelite
Negli esempi seguenti si supporrà allora che ciascuna macchina abbia almeno due interfacce di rete; la prima, {{{eth0}}}, connessa alla rete locale, la seconda, {{{eth1}}}, connessa direttamente all'altra macchina con un cavo incrociato. Sulla prima interfaccia dovremo configurare l'indirizzo pubblico di ciascuna macchina (nel nostro caso {{{10.10.0.98}}} e {{{10.10.0.99}}}) inteso come indirizzo diretto del singolo nodo del cluster, a questo si aggiungerà l'indirizzo del ''cluster'' in quanto tale (tenuto sulla macchina che fa da nodo primario, che migrerà sull'altra in caso di ''switch'') che nel nostro caso sarà {{{10.10.0.2}}}. Sulla seconda interfaccia metteremo degli indirizzi privati (nel caso dell'esempio {{{198.168.234.1}}} e {{{198.168.234.2}}}) usati per la sincronizzazione di DRBD e per il controllo di ''heartbeat''.
11 5 Amministratore Truelite
12 22 Amministratore Truelite
Per poter utilizzare la sincronizzazione dei dati con DRBD occorre predisporre i dischi delle due macchine riservando lo spazio opportuno. Per questo occorrono due partizioni su ciascuna macchina (in realtà si potrebbe fare tutto con una sola, ma questo comporta che gli ultimi 128Mb della partizione devono essere lasciati liberi ed il filesystem presente su di essa opportunamento ridimensionato). La prima partizione sarà quella su cui si mantengono i dati, la seconda deve essere di almeno 128Mb e serve per i metadati usati da DRBD, la partizione dei dati deve essere approssimativamente della stessa dimensione su entrambe le macchine.
13 1 Amministratore Truelite
14 6 Amministratore Truelite
15 1 Amministratore Truelite
== Configurazione di DRBD ==
16
17 30 Amministratore Truelite
Il primo passo consiste nell'installazione dei pacchetti necessari, questi nel caso di Debian Sarge sono due: i programmi di gestione di DRBD forniti da {{{drbd0.7-utils}}}, ed i sorgenti del modulo del kernel che gestisce la replicazione dei dati forniti da {{{drbd0.7-module-source}}}. Questo modulo, {{{drbd}}}, può essere installato a mano, nel qual caso si dovrà compilare ed installare dai sorgenti in {{{/usr/src}}}, altrimenti si può utilizzare il programma {{{module-assistant}}} che si incaricherà anche di scaricare tutti gli ulteriori pacchetti necessari, di compilare il modulo per il kernel corrente e di installarlo. 
18 5 Amministratore Truelite
19 30 Amministratore Truelite
Prima di attivare la replicazione dei dati con DRBD occorre eseguirne la configurazione; il file da modificare è {{{/etc/drbd.conf}}}, dove dovremo indicare per ciascuna macchina quali sono i dispositivi da usare e su quale indirizzo contattare l'altro nodo; i singoli nodi dovranno essere identificati con il loro ''hostname'' (viene sempre usato il risultato del comando {{{uname -n}}}), e nel nostro caso saranno {{{servint1}}} e {{{servint2}}}.
20 18 Amministratore Truelite
Il contenuto finale di {{{/etc/drbd.conf}}} dovrebbe essere allora qualcosa del tipo:
21 4 Amministratore Truelite
{{{
22
resource r0 {
23
  protocol C;
24
  incon-degr-cmd "echo '!DRBD! pri on incon-degr' | wall ; sleep 60 ; halt -f";
25
  startup {
26 27 Amministratore Truelite
    degr-wfc-timeout 120;    # 2 minutes.
27 4 Amministratore Truelite
  }
28
  disk {
29
    on-io-error   detach;
30
  }
31
  net {
32
  }
33
  syncer {
34
    rate 10M;
35
    group 1;
36
    al-extents 257;
37
  }
38
  on servint1 {
39
    device     /dev/drbd0;
40
    disk       /dev/md3;
41
    address    192.168.234.1:7788;
42
    meta-disk  /dev/hda7[0];
43
  }
44
  on servint2 {
45
    device    /dev/drbd0;
46
    disk      /dev/hda5;
47 1 Amministratore Truelite
    address   192.168.234.2:7788;
48 4 Amministratore Truelite
    meta-disk /dev/hda7[0];
49
  }
50
}
51
}}}
52 30 Amministratore Truelite
tenendo conto che su {{{servint1}}} i dati vengono mantenuti sul dispositivo RAID {{{/dev/md3}}} ed i metadati sulla partizione {{{/dev/hda7}}}, mentre su {{{servint2}}} i dati sono su {{{/dev/hda5}}} ed i metadati su {{{/dev/hda7}}}.
53 1 Amministratore Truelite
54 38 Amministratore Truelite
Qualora si vogliano utilizzare più dispositivi occorrerà utilizzare altrettante voci di {{{resource}}}; per ciascuna di esse andrà indicato un diverso {{{device}}} (ad esempio {{{/dev/drbd1}}}, {{{/dev/drbd2}}}, ecc.) ed ovviamente i rispettivi dischi (o partizioni), si abbia poi cura di usare un diverso valore di {{{address}}} (ad esempio si potrà cambiare la porta con qualcosa del tipo {{{192.168.234.2:7789}}}). 
55 3 Amministratore Truelite
56 38 Amministratore Truelite
Inoltre se questi nuovi dispositivi fanno riferimento agli stessi dischi fisici (ad esempio a diverse partizioni su uno stesso disco) si abbia cura di cambiare il valore della direttiva {{{group}}} nella sezione {{{syncer}}}, poiché la sincronizzazione viene serializzata in ordine crescente di questo valore (e se i dipositivi fanno riferimento agli stessi dischi questo è appunto il comportamento voluto). 
57 30 Amministratore Truelite
58 1 Amministratore Truelite
Una volta completata la configurazione di {{{/etc/drbd.conf}}} su uno dei nodi si abbia cura di copiarlo sull'altro perché la configurazione deve essere identica su entrambe le macchine; dopo di che si potrà caricare il modulo {{{drbd}}} ed attivare il servizio con i comandi:
59 2 Amministratore Truelite
{{{
60 13 Amministratore Truelite
modprobe drbd
61
drbdadm up all
62 3 Amministratore Truelite
}}}
63 38 Amministratore Truelite
ripetendo l'operazione su entrambe le macchine. Se si è messo un firewall locale sulle macchine si ricordi di dare accesso alla porta 7788 TCP, o quella che si è specificata nel file di configurazione. Più semplicemente si consenta l'accesso dall'interfaccia {{{eth1}}}. Se tutto è a posto si potrà verificare lo stato di funzionamento di DRBD con:
64 3 Amministratore Truelite
{{{
65 2 Amministratore Truelite
servint1:~# cat /proc/drbd
66 1 Amministratore Truelite
version: 0.7.10 (api:77/proto:74)
67 2 Amministratore Truelite
SVN Revision: 1743 build by phil@mescal, 2005-01-31 12:22:07
68
 0: cs:Connected st:Secondary/Secondary ld:Inconsistent
69 1 Amministratore Truelite
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0
70
 1: cs:Unconfigured
71 2 Amministratore Truelite
}}}
72 30 Amministratore Truelite
che ci dice che le due macchine si vedono fra loro, ma anche che lo stato di DRBD è inconsistente ed che i dischi sono entrambi classificati come secondari. A questo punto si potrà definire quale dei due dischi è il primario (quello che deve essere copiato sul secondario), ed iniziare la sincronizzazione dei dispositivi con il comando:
73 2 Amministratore Truelite
{{{
74 14 Amministratore Truelite
drbdadm -- --do-what-I-say primary all
75 2 Amministratore Truelite
}}}
76 30 Amministratore Truelite
che va dato sulla macchina (nel nostro caso {{{servint1}}}) che fa da nodo primario. Fatto questo avremo:
77 2 Amministratore Truelite
{{{
78
servint1:~# cat /proc/drbd
79
version: 0.7.10 (api:77/proto:74)
80 1 Amministratore Truelite
SVN Revision: 1743 build by phil@mescal, 2005-01-31 12:22:07
81 2 Amministratore Truelite
 0: cs:SyncSource st:Primary/Secondary ld:Consistent
82
    ns:360356 nr:0 dw:0 dr:361240 al:0 bm:21 lo:135 pe:36 ua:221 ap:0
83
        [>...................] sync'ed:  0.6% (69265/69617)M
84 1 Amministratore Truelite
        finish: 1:44:47 speed: 11,252 (10,288) K/sec
85 2 Amministratore Truelite
 1: cs:Unconfigured
86
}}}
87 30 Amministratore Truelite
che ci mostra l'inizio della sincronizzazione dei dati, mostrando la velocità di trasmissione degli stessi (è quella fissata dalla direttiva {{{rate}}} nella sezione {{{syncer}}}) ed una stima del tempo necessario per completarla.
88 14 Amministratore Truelite
89 22 Amministratore Truelite
A questo punto si tratterà solo di attendere il tempo necessario perché venga eseguita la sincronizzazione via rete (la prima volta può essere piuttosto lungo), ed una volta che questa sarà completata avremo sul nodo primario qualcosa del tipo:
90 2 Amministratore Truelite
{{{
91
servint1:~# cat /proc/drbd
92 1 Amministratore Truelite
version: 0.7.10 (api:77/proto:74)
93
SVN Revision: 1743 build by phil@mescal, 2005-01-31 12:22:07
94
 0: cs:Connected st:Primary/Secondary ld:Consistent
95
    ns:71288320 nr:0 dw:0 dr:71288320 al:0 bm:4352 lo:0 pe:0 ua:0 ap:0
96
 1: cs:Unconfigured
97
}}}
98 14 Amministratore Truelite
mentre sul nodo secondario avremo qualcosa del tipo:
99
{{{
100
servint2:~# cat /proc/drbd
101 1 Amministratore Truelite
version: 0.7.10 (api:77/proto:74)
102
SVN Revision: 1743 build by phil@mescal, 2005-01-31 12:22:07
103 14 Amministratore Truelite
 0: cs:Connected st:Secondary/Primary ld:Consistent
104
    ns:3028 nr:0 dw:0 dr:3028 al:0 bm:15 lo:0 pe:0 ua:0 ap:0
105
 1: cs:Unconfigured
106 1 Amministratore Truelite
}}}
107 14 Amministratore Truelite
e come si può notare i ruoli dei dispositivi sono invertiti.
108 1 Amministratore Truelite
109 30 Amministratore Truelite
Adesso potremo verificare il funzionamento del sistema montando (sempre sulla macchina che fa da primario) il dispositivo {{{/dev/drbd0}}}, che conterrà quello che era presente sul dispositivo {{{/dev/md3}}}, (nel nostro caso un filesystem ext3) oppure utilizzare direttamente il dispositivo stesso per creare (qualora non fosse stato fatto in precedenza come nel nostro caso) un nuovo filesystem.
110 14 Amministratore Truelite
111 30 Amministratore Truelite
Una volta completata la sincronizzazione iniziale si potrà attivare o disattivare DRBD direttamente con lo script di avvio {{{/etc/init.d/drbd}}}; se per un qualche motivo la sincronizzazione si dovesse perdere, una volta bloccato il servizio si potrà ripetere la procedura precedente per risincronizzare i dispositivi, avendo ovviamente cura di impostare come primario quello che contiene i dati corretti (fare '''SEMPRE''' un backup prima di una operazione del genere!).
112 1 Amministratore Truelite
113 12 Amministratore Truelite
114 1 Amministratore Truelite
== Configurazione di heartbeat ==
115
116 30 Amministratore Truelite
Una volta completata la configurazione di DRBD si può configurare ''heartbeat''. Il pacchetto da intallare è appunto {{{heartbeat}}}, la cui configurazione viene mantenuta in {{{/etc/ha.d}}}. Nel caso di Debian occorre anche copiare due file di configurazione, {{{ha.cf}}} e {{{haresources}}}, che di proposito non vengono installati dal pacchetto, ma di cui esiste uno scheletro in forma compressa sotto {{{/usr/src/doc/heartbeat}}}. Occorreranno cioè i comandi:
117 6 Amministratore Truelite
{{{
118
cd /usr/share/doc/heartbeat
119
zcat ha.cf.gz > /etc/ha.d/ha.cf
120 8 Amministratore Truelite
zcat haresources.gz > /etc/ha.d/haresources
121 1 Amministratore Truelite
}}}
122 8 Amministratore Truelite
123 30 Amministratore Truelite
A questo punto si dovranno eseguire le impostazioni che ci servono, i file precedenti sono ampiamente commentati. Per quanto riguarda {{{ha.cf}}} occorre impostare il tempo oltre il quale, in assenza di risposta, si considera un nodo morto ({{{deadtime}}}), la modalità con cui i nodi si verificano (nel caso via rete sull'interfaccia dedicata {{{eth1}}}) ed i nomi dei due nodi (anche qui devono corrispondere a quanto restituito dal comando {{{uname -n}}}). Il contenuto di questo file (eliminati i commenti) dovrebbe essere qualcosa del tipo:
124 8 Amministratore Truelite
{{{
125
logfacility     local0
126
keepalive 2
127
deadtime 30
128
bcast  eth1
129
auto_failback on
130
node servint1 servint2
131 10 Amministratore Truelite
}}}
132
133 30 Amministratore Truelite
Per quanto riguarda {{{haresources}}} occorre invece indicare quali sono le risorse che dovranno essere gestite da ''haertbeat'' in caso di ''switch''; inizieremo soltanto con il volume condiviso, l'IP pubblico del cluster, ed il montaggio del volume, pertanto avremo qualcosa del tipo:
134 8 Amministratore Truelite
{{{
135 21 Amministratore Truelite
servint1 IPaddr::10.10.0.3/16/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/home::ext3
136 8 Amministratore Truelite
}}}
137 7 Amministratore Truelite
138
Infine per autenticare la comunicazione fra i due demoni occorre impostare una chiave, questa deve essere immessa nel file {{{/etc/ha.d/authkeys}}}; al solito esiste uno scheletro in {{{/usr/src/doc/heartbeat}}} che si può copiare con:
139 6 Amministratore Truelite
{{{
140 11 Amministratore Truelite
cp authkeys /etc/ha.d/
141
chmod 600 /etc/ha.d/authkeys
142
}}}
143 1 Amministratore Truelite
e qui andrà specificata la modalità di autenticazione ed inserita la password, con qualcosa del tipo:
144
{{{
145
auth 2
146 30 Amministratore Truelite
2 sha1 unabellapasswordbellalungaemoltocomplicata
147 1 Amministratore Truelite
}}}
148 12 Amministratore Truelite
149 20 Amministratore Truelite
A questo punto si potrà avviare ''heartbeat'' direttamente con lo script di avvio lanciando il comando:
150 12 Amministratore Truelite
{{{
151
/etc/init.d/heartbeat start
152 21 Amministratore Truelite
}}}
153 30 Amministratore Truelite
e (occorre qualche secondo) verificare con {{{df}}} che è stato montato {{{/dev/drbd0}}} (nel nostro caso su {{{/home}}}), e verificare con {{{ifconfig}}} che è stato aggiunto ad {{{eth0}}} l'IP del cluster (nel nostro caso {{{10.10.0.3}}}).
154 12 Amministratore Truelite
155 1 Amministratore Truelite
156 30 Amministratore Truelite
== La configurazione dei servizi ==
157 19 Amministratore Truelite
158 35 Amministratore Truelite
Per la configurazione di un servizio in HA è necessario che questo sia attivato su un solo nodo del cluster; questo significa che gli script di avvio non devono essere chiamati in fase di boot, ma lanciati direttamente da ''heartbeat''. Dato che l'installazione standard dei servizi di Debian li attiva su tutti i ''runlevel'' occorrerà allora disattivarli. Pertanto utilizzando DHCP, DNS, NFS, CUPS, LDAP, Apache e Samba sarà necessario eseguire una serie di comandi di rimozione con {{{update-rc.d}}}, la cosa può essere realizzata in una soluzione unica con qualcosa del tipo:
159 1 Amministratore Truelite
{{{
160 35 Amministratore Truelite
for i in samba slapd nfs-kernel-server nfs-common dhcp3-server cupsys bind9 apache2
161 19 Amministratore Truelite
do
162 20 Amministratore Truelite
  update-rc.d -f $i remove
163 19 Amministratore Truelite
done
164
}}}
165 38 Amministratore Truelite
(si tenga conto che nell'upgrade di un pacchetto l'attivazione dei servizi viene in genere ripristinata su tutti i runlevel, si verifichi sempre che le cose siano a posto).
166 19 Amministratore Truelite
167 35 Amministratore Truelite
Un secondo requisito della gestione dei servizi è che gli eventuali dati interni che essi salvano (in genere sotto {{{/var/lib}}}) siano sincronizzati con DRBD cosicché essi possano essere disponibili in caso di passaggio al nodo secondario.  Nel nostro caso i servizi attivati sono DHCP, DNS, CUPS, LDAP, Apache e Samba e occorrerà identificare le directory dei dati usate da questi servizi per ricrearle sul disco replicato da DRBD. Questo è stato fatto sul nodo principale con i seguenti comandi:
168 19 Amministratore Truelite
{{{
169 17 Amministratore Truelite
mkdir -p /home/var/lib
170 19 Amministratore Truelite
for i in samba ldap nfs dhcp3 cups
171 17 Amministratore Truelite
do
172
  mv /var/lib/$i /home/var/lib
173 1 Amministratore Truelite
  ln -s /home/var/lib/$i /var/lib/$i
174
done
175 17 Amministratore Truelite
}}}
176 32 Amministratore Truelite
ed analogamente per BIND, i dati temporanei di Samba ed i dati di spool di CUPS:
177 17 Amministratore Truelite
{{{
178
mkdir -p /home/var/cache
179
mv /var/cache/bind /home/var/cache
180 1 Amministratore Truelite
ln -s /home/var/cache/bind /var/cache/bind
181 32 Amministratore Truelite
mkdir -p /home/var/cache
182
mv /var/cache/samba /home/var/cache
183
ln -s /home/var/cache/samba /var/cache/samba
184 31 Amministratore Truelite
mkdir -p /home/var/spool
185
mv /var/spool/cups /home/var/spool
186 1 Amministratore Truelite
ln -s /home/var/spool/cups /var/spool/cups
187
}}}
188
mentre sul nodo secondario dovranno semplicemente essere cancellate le stesse directory sotto {{{/var}}} e creati al loro posto i corrispondenti link simbolici, che resteranno ''dangling'' fintanto che non verrà montato il dispositivo di DRBD (cosa fatta automaticamente da ''heartbeat'' in caso di ''switch''.
189 35 Amministratore Truelite
190 36 Amministratore Truelite
Infine se si vuole che le pagine web servite da Apache siano sincronizzate si dovrà spostare anche {{{/var/www}}} (in genere questo è sufficiente, se però si usano altre funzionalità di Apache, che utilizzano altre directory come {{{/var/cache/apache2}}} e {{{/var/lib/apache2}}} andranno spostate anche queste). Questo sul nodo primario si fa, come nel caso precedente, con:
191 35 Amministratore Truelite
{{{
192
mkdir -p /home/var/www
193
mv /var/www /home/var
194
ln -s /home/var/www /var/www
195
}}}
196 36 Amministratore Truelite
mentre sul nodo secondario basterà creare la directory corrispondente. Il problema è però che in genere questo non basta, dato che sotto Apache possono girare una serie di ulteriori applicazioni web, i cui dati a loro volta verranno mantenuti altrove. In particolare qualora si usassere Subversion o Trac sulla macchina sarebbe necessario spostare sul disco condiviso le rispettive directory {{{/var/svn}}} e {{{/var/trac}}}.
197 1 Amministratore Truelite
198 24 Amministratore Truelite
Si tenga conto poi che essendo i servizi attivi sul cluster, essi verranno acceduti con l'indirizzo generico di quest'ultimo, per cui occorrerà configurarli in maniera identica su entrambi i nodi, e fare in modo che, dove richiesto, per il nome a dominio compaia sempre quello del cluster e non del singolo nodo e lo stesso per l'indirizzo IP.
199 18 Amministratore Truelite
200 34 Amministratore Truelite
Infine si tenga conto che il sistema di rotazione dei log (''logrotate'') in certi casi esegue il riavvio del servizio, anche se questo non è attivo (trattasi di un problema degli script di configurazione, ma ad esempio questo è quanto avviene con CUPS su Debian Sarge). Il che comporta che occorre assicurarsi che nessuno dei file di {{{/etc/logrotate.d/}}} esegua un riavvio senza prima controllare se il servizio è attivo, questo significa ad esempio modificare le righe seguenti:
201 33 Amministratore Truelite
{{{
202 34 Amministratore Truelite
postrotate
203
       [ -f /var/run/cups/cupsd.pid ] || invoke-rc.d --quiet cupsys restart > /dev/null && sleep 10
204
endscript
205 33 Amministratore Truelite
}}}
206
in {{{/etc/logrotate.d/cupsys}}}.
207
208 30 Amministratore Truelite
Per la configurazione di LDAP si rammenti di usare gli stessi certificati (e CA) su entrambe le macchine, si abbia anche cura di creare i certificati in modo che il nome corrisponda a quello del servizio dato sul cluster, altrimenti non si riuscirà ad accedervi con SSL. Sarà comunque utile inserire nei ''subjectAltName'' anche i valori degli indirizzi IP del cluster e dei singoli nodi.
209 18 Amministratore Truelite
210 30 Amministratore Truelite
Per il DHCP si abbia cura di usare lo stesso {{{dhcpd.conf}}} su entrambe le macchine, e si controlli anche che {{{/etc/default/dhcp3-server}}} sia identico e che faccia partire il demone specificando l'utilizzo dell'interfaccia corretta (che nel nostro caso è {{{eth0}}}) con qualcosa del tipo:
211 23 Amministratore Truelite
{{{
212
INTERFACES="eth0"
213
}}}
214 30 Amministratore Truelite
si abbia cura inoltre di verificare l'esistenza di {{{/var/lib/dhcp3/dhcpd.leases}}}.
215 23 Amministratore Truelite
216 30 Amministratore Truelite
Per quanto riguarda Samba si abbia cura di impostare manualmente il nome del server in modo che corrisponda a quello del cluster, infatti il default è quello di usare il nome della macchina, che nel nostro caso è quello del singolo nodo. Inoltre si deve indicare a Samba di usare l'indirizzo di rete del cluster; pertanto si dovranno aggiungere alla sezione ''global'' di {{{smb.conf}}} le seguenti righe:
217 25 Amministratore Truelite
{{{
218 1 Amministratore Truelite
   netbios name = SERVINT
219 26 Amministratore Truelite
   interfaces = 10.10.0.2
220
   bind interfaces only = yes
221 25 Amministratore Truelite
}}} 
222
223 30 Amministratore Truelite
Una volta finite le configurazioni di tutti i servizi occorrerà modificare {{{haresources}}} cosicché essi possano essere gestiti da ''heartbeat'' in caso di ''switch''. Questo si fa aggiungendo in coda alla riga mostrata in precedenza i nomi degli script di avvio, pertanto avremo qualcosa del tipo:
224 18 Amministratore Truelite
{{{
225 30 Amministratore Truelite
servint1 IPaddr::10.10.0.3/16/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/home::ext3 slapd samba bind9 dhcp3-server cupsys 
226 18 Amministratore Truelite
}}}