Project

General

Profile

SetupClusterHA » History » Version 21

Amministratore Truelite, 06/23/2006 06:35 PM

1 1 Amministratore Truelite
[[TracNav(TOC)]]
2
= Configurazione di un Cluster HA =
3
4 9 Amministratore Truelite
In questo caso per ''Cluster HA'' si intende un sistema composta da due macchine (dette nodi) in configurazione attivo/passivo, su cui viene gestita automaticamente la sincronizzazione dei dati attraverso DRDB, e lo swith automatico dei servizi in caso di crollo del nodo attivo con l'uso di ''heartbeat''.
5 1 Amministratore Truelite
6 2 Amministratore Truelite
== Predisposizione delle due macchine del Cluster ==
7 1 Amministratore Truelite
8 9 Amministratore Truelite
Per un buon funzionamento del cluster è quantomeno opportuno poter disporre di una interfaccia di rete in più dedicata alla comunicazione diretta fra i due nodi dello stesso; questo è importante anche per evitare errori nella rilevazione di un crollo (che viene fatta tramite una connessione di rete) qualora ad andare giù fosse lo switch e non un singolo nodo. 
9 1 Amministratore Truelite
10 6 Amministratore Truelite
Negli esempi seguenti si supporrà allora che ciascuna macchina abbia almeno due interfacce di rete; la prima {{{eth0}}}, connessa alla rete locale, la seconda, {{{eth1}}} connessa direttamente all'altra macchina con un cavo incrociato. Sulla prima interfaccia dovremo configurare l'indirizzo pubblico di ciascuna macchina (nel nostro caso {{{10.10.0.98}}} e {{{10.10.0.99}}}) inteso come indirizzo diretto del singolo nodo del cluster, a questo si aggiungerà l'indirizzo del ''cluster'' in quanto tale (tenuto dalla macchina che fa da nodo primario) che nel nostro caso sarà {{{10.10.0.2}}}. Sulla seconda interfaccia metteremo degli indirizzi privati (nel caso dell'esmepio {{{198.168.234.1}}} e {{{198.168.234.2}}})  usati per la sincronizzazione di DRBD e per il controllo di ''heartbeat''.
11 5 Amministratore Truelite
12 21 Amministratore Truelite
Per poter utilizzare la sincornizzazione con DRDB occorre predisporre i dischi delle due macchine riservando lo spazio opportuno. Per questo occorre definire almeno due partizioni (in realtà si potrebbe fare tutto con una sola, ma questo comporta che gli ultimi 128Mb della partizione devono essere lasciati liberi ed il filesystem presente andrebbe ridimensionato) su ciascuna macchina. La prima partizione sarà quella grande su cui si mantengono i dati, la seconda deve essere di almeno 128Mb e serve per i metadati usati da DRBD, la partizione dei dati deve essere approssimativamente della stessa dimensione su entrambe le macchine.
13 1 Amministratore Truelite
14 6 Amministratore Truelite
15 1 Amministratore Truelite
== Configurazione di DRBD ==
16
17 21 Amministratore Truelite
Il primo passo consiste nell'installazione dei pacchetti necessari, questi nel caso di Debian Sarge sono due, il modulo del kernel che gestisce la replicazione dei dati, {{{drbd0.7-module-source}}} e i programmi di gestione dello stesso {{{drbd0.7-utils}}}. Questi possono essere installati a mano, nel qual caso si dovrà anche provvedere a compilare ed installare il modulo {{{drbd}}}, altrimenti si può utilizzare il programma {{{module-assistant}}} che si incaricherà anche di scaricare tutti i pacchetti necessari, compilare il modulo per il kernel corrente e installarlo. 
18 5 Amministratore Truelite
19 10 Amministratore Truelite
Prima di attivare DRBD occorre configurarlo, il file da modificare è {{{/etc/drbd.conf}}}, dove dovremo indicare per ciascuna macchina quali sono i dispositivi da usare e su quale indirizzo contattare l'altro nodo; i singoli nodi dovranno essere identificati per conto del loro ''hostname'' (viene sempre usato il risultato del comando {{{uname -n}}}), che nel nostro caso saranno {{{servint1}}} e {{{servint2}}}.
20 18 Amministratore Truelite
Il contenuto finale di {{{/etc/drbd.conf}}} dovrebbe essere allora qualcosa del tipo:
21 4 Amministratore Truelite
{{{
22
resource r0 {
23
  protocol C;
24
  incon-degr-cmd "echo '!DRBD! pri on incon-degr' | wall ; sleep 60 ; halt -f";
25
  startup {
26
  }
27
  disk {
28
    on-io-error   detach;
29
  }
30
  net {
31
  }
32
  syncer {
33
    rate 10M;
34
    group 1;
35
    al-extents 257;
36
  }
37
  on servint1 {
38
    device     /dev/drbd0;
39
    disk       /dev/md3;
40
    address    192.168.234.1:7788;
41
    meta-disk  /dev/hda7[0];
42
  }
43
  on servint2 {
44
    device    /dev/drbd0;
45
    disk      /dev/hda5;
46 1 Amministratore Truelite
    address   192.168.234.2:7788;
47 4 Amministratore Truelite
    meta-disk /dev/hda7[0];
48
  }
49
}
50
}}}
51 9 Amministratore Truelite
posto che su {{{servint1}}} i dati vengano mantenuti sul dispositivo RAID {{{/dev/md3}}}, mentre i metadati sono sulla partizione {{{/dev/hda7}}}, su {{{servint2}}} invece i dati sono su {{{/dev/hda5}}} ed i metadati su {{{/dev/hda7}}}.
52 3 Amministratore Truelite
53 14 Amministratore Truelite
Una volta completata la configurazione di {{{/etc/drbd.conf}}} su uno dei nodi si abbia cura di copiarlo sull'altro perché la configurazione deve essere identica su entrambe le macchine; dopo di che si potrà caricare il modulo {{{drbd}}} ed attivare il servizio con i comandi:
54 2 Amministratore Truelite
{{{
55 13 Amministratore Truelite
modprobe drbd
56
drbdadm up all
57 3 Amministratore Truelite
}}}
58 14 Amministratore Truelite
ripetendo l'operazione su entrambe le macchine; se tutto è a posto (se si è messo un firewall locale sulle macchine si ricordi di dare accesso alla porta 7788 TCP, o quella che si è specificata nel file di configurazione, più semplicemente si consenta l'accesso dall'interfaccia {{{eth1}}}) si potrà verificare lo stato di funzionamento di DRBD con:
59 3 Amministratore Truelite
{{{
60 2 Amministratore Truelite
servint1:~# cat /proc/drbd
61
version: 0.7.10 (api:77/proto:74)
62
SVN Revision: 1743 build by phil@mescal, 2005-01-31 12:22:07
63
 0: cs:Connected st:Secondary/Secondary ld:Inconsistent
64
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0
65 1 Amministratore Truelite
 1: cs:Unconfigured
66 2 Amministratore Truelite
}}}
67 14 Amministratore Truelite
che ci dice che le due macchine si vedono fra loro, anche se lo stato è inconsistente ed i dischi sono entrambi classificati come secondari. A questo punto si potrà definire quale dei due è il primario, e iniziare la sincronizzazione dei dispositivi, con il comando:
68 2 Amministratore Truelite
{{{
69 14 Amministratore Truelite
drbdadm -- --do-what-I-say primary all
70 2 Amministratore Truelite
}}}
71 9 Amministratore Truelite
che va dato sulla macchina (nel nostro caso {{{servint1}}}) che fa da nodo primario, fatto questo avremo:
72 2 Amministratore Truelite
{{{
73
servint1:~# cat /proc/drbd
74
version: 0.7.10 (api:77/proto:74)
75
SVN Revision: 1743 build by phil@mescal, 2005-01-31 12:22:07
76
 0: cs:SyncSource st:Primary/Secondary ld:Consistent
77
    ns:360356 nr:0 dw:0 dr:361240 al:0 bm:21 lo:135 pe:36 ua:221 ap:0
78 1 Amministratore Truelite
        [>...................] sync'ed:  0.6% (69265/69617)M
79 2 Amministratore Truelite
        finish: 1:44:47 speed: 11,252 (10,288) K/sec
80
 1: cs:Unconfigured
81
}}}
82 14 Amministratore Truelite
83
A questo punto si tratterà solo di attendere il tempo necessario perché venga eseguita la sincronizzazione via rete, ed una volta che questa sarà completata avremo sul nodo primario qualcosa del tipo:
84 2 Amministratore Truelite
{{{
85
servint1:~# cat /proc/drbd
86 1 Amministratore Truelite
version: 0.7.10 (api:77/proto:74)
87
SVN Revision: 1743 build by phil@mescal, 2005-01-31 12:22:07
88
 0: cs:Connected st:Primary/Secondary ld:Consistent
89
    ns:71288320 nr:0 dw:0 dr:71288320 al:0 bm:4352 lo:0 pe:0 ua:0 ap:0
90
 1: cs:Unconfigured
91
}}}
92 14 Amministratore Truelite
mentre sul nodo secondario avremo qualcosa del tipo:
93
{{{
94
servint2:~# cat /proc/drbd
95
version: 0.7.10 (api:77/proto:74)
96
SVN Revision: 1743 build by phil@mescal, 2005-01-31 12:22:07
97
 0: cs:Connected st:Secondary/Primary ld:Consistent
98
    ns:3028 nr:0 dw:0 dr:3028 al:0 bm:15 lo:0 pe:0 ua:0 ap:0
99
 1: cs:Unconfigured
100
}}}
101
e come si può notare i ruoli dei dispositivi sono invertiti.
102 1 Amministratore Truelite
103 14 Amministratore Truelite
Adesso potremo verificare il funzionamento del sistema montando (sempre sulla macchina che fa da primario) il dispositivo {{{/dev/drbd0}}}, che conterrà quello che era presente sul dispositivo {{{//dev/md3}}}, (nel nostro caso un filesystem ext3) oppure utilizzare direttamente il dispositivo stesso per creare (qualora non fosse stato fatto in precedenza come nel nostro caso) un nuovo filesystem.
104
105
Una volta completata la sincronizzazione iniziale si potrà attivare o disattivare DRBD direttamente con lo script di avvio {{{/etc/init.d/drbd}}}, se per un qualche motivo la sincronizzazione si dovesse perdere, una volta bloccato il servizio si potrà ripetere la procedura precedente per risincronizzare i dispositivi, avendo ovviamente cura di impostare come primario quello che contiene i dati corretti.
106 9 Amministratore Truelite
107 12 Amministratore Truelite
108 1 Amministratore Truelite
== Configurazione di heartbeat ==
109
110 6 Amministratore Truelite
Una volta completata la configurazione di DRBD si può configurare ''heartbeat''. Il pacchetto da intallare è appunto {{{heartbeat}}}, nel caso di Debian occorre poi copiare i due file di configurazione necessari {{{ha.cf}}} e {{{haresources}}} di cui esiste uno scheletro in forma compressa sotto {{{/usr/src/doc/heartbeat}}}, occorreranno cioè i comandi:
111
{{{
112
cd /usr/share/doc/heartbeat
113
zcat ha.cf.gz > /etc/ha.d/ha.cf
114
zcat haresources.gz > /etc/ha.d/haresources
115 8 Amministratore Truelite
}}}
116
117 21 Amministratore Truelite
A questo punto si dovranno eseguire le impostazioni che ci servono, i file precedenti sono ampiamente commentati, per quanto riguarda {{{ha.cf}}} occorre impostare il tempo oltre il quale in assenza di risposta si considera un nodo morto ({{{deadtime}}}), la modalità con cui i nodi si verificano (nel caso via rete sull'interfaccia dedicata {{{eth1}}}) ed i nomi dei due nodi (anche questi devono corrispondere a quanto restituito dal comando {{{uname -n}}}). Il contenuto di questo file (eliminati i commenti) dovrebbe essere qualcosa del tipo:
118 8 Amministratore Truelite
{{{
119
logfacility     local0
120
keepalive 2
121
deadtime 30
122
bcast  eth1
123
auto_failback on
124
node servint1 servint2
125 1 Amministratore Truelite
}}}
126 10 Amministratore Truelite
127
Per quanto riguarda {{{haresources}}} occorre invece indicare quali sono le risorse che dovranno essere gestite da ''haertbeat'' in caso di ''hot swap''; inizieremo soltanto con il volume condiviso, l'IP pubblico del cluster, ed il montaggio del volume, pertanto avremo qualcosa del tipo:
128
{{{
129
servint1 IPaddr::10.10.0.3/16/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/home::ext3
130 8 Amministratore Truelite
}}}
131
132 21 Amministratore Truelite
Infine per autenticare la comunicazione fra i due demoni occorre impostare una chiave, questa deve essere immessa nel file {{{/etc/ha.d/authkeys}}}; al solito esiste uno scheletro in {{{/usr/src/doc/heartbeat}}} che si può copiare con:
133 8 Amministratore Truelite
{{{
134 7 Amministratore Truelite
cp authkeys /etc/ha.d/
135
chmod 600 /etc/ha.d/authkeys
136 6 Amministratore Truelite
}}}
137 11 Amministratore Truelite
e qui andrà specificata la modalità di autenticazione ed inserita la password, con qualcosa del tipo:
138
{{{
139
auth 2
140 1 Amministratore Truelite
#1 crc
141
#2 sha1 HI!
142
#3 md5 Hello!
143
2 sha1 unabellapasswordlungaecomplicata
144
}}}
145 12 Amministratore Truelite
146 20 Amministratore Truelite
A questo punto si potrà avviare ''heartbeat'' direttamente con lo script di avvio lanciando il comando:
147 12 Amministratore Truelite
{{{
148
/etc/init.d/heartbeat start
149
}}}
150 21 Amministratore Truelite
e verificare con {{{df}}} che è stato montato {{{/dev/drbd0}}} (nel nostro caso su {{{/home}}}) e con {{{ifconfig}}} che è stato aggiunto ad {{{eth0}}} l'IP del cluster (nel nostro caso {{{10.10.0.3}}}).
151 12 Amministratore Truelite
152
153 1 Amministratore Truelite
== Configurazione dei servizi ==
154 15 Amministratore Truelite
155 19 Amministratore Truelite
156
Per la configurazione di un servizio in HA è necessario che questo sia attivato su un solo nodo del cluster; questo significa che gli script di avvio non devono essere chiamati in fase di boot, ma lanciati direttamente da ''heartbeat''. Dato che l'installazione standard dei servizi di debian li attiva su tutti i ''runlevel'' occorrerà allora disattivarli, pertanto utilizzando DHCP, DNS, NFS, CUPS, LDAP e Samba sarà necessario eseguire una serie di comandi del tipo:
157 1 Amministratore Truelite
{{{
158 19 Amministratore Truelite
for i in samba slapd nfs-kernel-server nfs-common dhcp3-server cupsys bind9
159
do
160 20 Amministratore Truelite
  update-rc.d -f $i remove
161 19 Amministratore Truelite
done
162
}}}
163
164
Un secondo requisito della gestione dei servizi è che gli eventuali dati che essi salvano (in genere sotto {{{/var/lib}}}) siano sincronizzati con DRBD cosicché essi possano essere disponibili in caso di passaggio ad un nodo secondario.  Nel nostro caso i servizi attivati sono DHCP, DNS, CUPS, LDAP e Samba e occorrerà identificare le directory dei dati usate da questi servizi per ricrearle sul disco replicato da DRBD. Nel nostro caso questo è stato fatto sul nodo principale con i seguenti comandi:
165
{{{
166 17 Amministratore Truelite
mkdir -p /home/var/lib
167 19 Amministratore Truelite
for i in samba ldap nfs dhcp3 cups
168 17 Amministratore Truelite
do
169
  mv /var/lib/$i /home/var/lib
170
  ln -s /home/var/lib/$i /var/lib/$i
171
done
172
}}}
173
ed analogamente per BIND:
174
{{{
175
mkdir -p /home/var/cache
176
mv /var/cache/bind /home/var/cache
177 1 Amministratore Truelite
ln -s /home/var/cache/bind /var/cache/bind
178
}}}
179
mentre sul nodo secondario dovranno semplicemente essere cancellate le stesse directory sotto {{{/var}}} e creati i link simbolici, che resteranno ''dangling'' fintanto che non verrà montato il dispositivo di DRBD.
180
181
Inoltre essendo i servizi attivi sul cluster, essi verranno acceduti con l'indirizzo generico di quest'ultimo per cui occorrerà configurarli in maniera identica su entrambi i nodi, e fare in modo che, dove richiesto, per il nome a dominio compaia sempre quello del cluster e non del singolo nodo.
182 18 Amministratore Truelite
183 20 Amministratore Truelite
Per la configurazione di LDAP si rammenti di usare gli stessi certificati (e CA) su entrambe le macchine, si abbia anche cura di creare i certificati in modo che il nome corrisponda a quello del servizio dato sul cluster, altrimenti non si riuscirà ad accedervi con SSL. sarà comunque utile inserire nei ''subjectAltName'' anche i valori degli indirizzi IP del cluster e dei singoli nodi.
184 18 Amministratore Truelite
185 20 Amministratore Truelite
Una volta finite le configurazioni di tutti i servizi occorrerà modificare {{{haresources}}} cosicché essi possano essere gestiti da ''heartbeat'' in caso di ''hot swap''; questo si fa aggiungendo in coda alla riga mostrata in precedenza i nomi degli script di avvio, pertanto avremo qualcosa del tipo:
186 18 Amministratore Truelite
{{{
187
servint1 IPaddr::10.10.0.3/16/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/home::ext3 slapd samba bind9 dhcp3-server cupsys
188
}}}