Truedoc

h1. Monitoraggio sistemi con Icinga & C.

h2. Installazione base

_Icinga_ (http://www.icinga.org) è un fork di Nagios sviluppato in maniera aperta, che presenta numerosi miglioramenti e soprattutto una interfaccia utente nettamente più elaborata. Le presenti istruzioni fanno riferimento all'installazione su una Debian Squeeze utilizzando le versione più recenti disponibili nel repository di @backports@ pertanto il primo passo da fare sarà quello di abilitare questi ultimi, aggiungendo a @/etc/apt/sources.list@ la riga:

<pre>

deb http://backports.debian.org/debian-backports squeeze-backports main

</pre>

nel caso invece si stia usando Debian Wheezy tutto ciò non è necessario perché i pacchetti sono già presenti nella distribuzione, e si può omettere nei seguenti comandi di installazione l'uso dell'opzione @-t squeeze-backports@.

Per installare _Icinga_  è necessario disporre di un database cui appoggiarsi per lo stoccaggio dei dati, altrimenti la configurazione automatica con @dbconfig-common@ fallirà; nel nostro caso si assumerà l'uso di MySQL su localhost, che dovrà essere già presente, per cui si abbia cura di installarlo preventivamente con:

<pre>

apt-get install mysql-server

</pre>

Il pacchetto di _Icinga_ fornito da Debian è suddiviso in due parti, il _"core"_ che reimplementa le funzionalità di Nagios, e la nuova interfaccia web, pertanto installeremo entrambe con (si esegua prima un @apt-get update@ se non lo si è fatto dopo avere aggiunto le fonti di _backports_):

<pre>

apt-get install -t squeeze-backports icinga icinga-web

</pre>

Il sistema di @debconf@ chiederà se abilitare o meno l'uso di comandi esterni con _Icinga_, questo consente, attraverso l'accesso in scrittura della _pipe_ di controllo posta in @/var/lib/icinga/rw/@ di dare al web server la possibilità di utilizzare l'interfaccia dei comandi CGI, e servirà anche per l'accesso alla stessa da parte di altri programmi di ausilio, pertanto è opportuno attivarla rispetto alla scelta di default.  Si verifichi che sia impostato in @/etc/icinga/icinga.cfg@ (su wheezy non viene attivato, va fatto manualmente):

<pre>

check_external_commands=1

</pre>

Oltre a questo è però necessario che ci siano i permessi di accesso corretti per @/var/lib/icinga/rw/@, il cui default non consente l'accesso, per questo si raccomanda di modificarne i permessi di accesso in maniera permanente con:

<pre>

dpkg-statoverride --update --add nagios www-data 2710 /var/lib/icinga/rw

dpkg-statoverride --update --add nagios nagios 751 /var/lib/icinga

</pre>

da eseguire a processo fermo.

L'interfaccia di @debconf@ chiede anche (qualora si usino diverse alternative) per quale web server generare la configurazione (si lasci il default di apache2), di configurare l'accesso e la creazione di vari database per i quali occorre, usando @dbconfig-common@, la password di root del database e le password per gli utenti di amministrazione, @icingaadmin@ per _Icinga_ e @root@ per l'interfaccia Web.  Viene altresì richiesta la configurazione del database di appoggio per lo storico dei dati (@icinga-idoutils@), per il quale di nuovo occorre la password di root del database.

Qualora la configurazione di @icinga-web@ fallisca in fase di configurazione come capitato a me, occorrerà impostare a mano la password dell'utente root nel relativo database, per questo si dovranno eseguire i seguenti comandi (estratti dallo script di post-installazione):

<pre>

salt=$(php5 -r 'echo hash("sha256", uniqid("root_", mt_rand()));')

export SALT="$salt"

export PW="passwordlungaecomplicata"

pwhash=$(php5 -r 'echo hash_hmac("sha256", getenv("PW"), getenv("SALT"));')

salt_e=${salt/\'/\\\'}

pwhash_e=${pwhash/\'/\\\'}

query="UPDATE nsm_user SET user_password='""$pwhash_e""', user_salt = '""$salt_e""', user_modified = NOW() WHERE user_name = 'root';"

echo $query | mysql -u icinga_web -p icinga_web

</pre>

fornendo dopo l'ultimo comando la password impostata per il database di @icinga-web@.

Una delle caratteristiche di @icinga@ è la possibilità di utilizzare un database per lo stoccaggio dei dati, le estensioni per l'utilizzo di questa modalità di gestione dei dati sono fornite dal pacchetto @icinga-idoutils@ (necessario nel caso si voglia utilizzare la nuova interfaccia di @icinga-web@, che lo richiede come dipendenza e fa configurare il relativo accesso al database). Per poterlo utilizzare deve essere esplicitamente abilitato l'avvio del demone @ido2db@ modificando la seguente riga in @/etc/default/icinga@:

<pre>

# start ido2db daemon (no/yes)

IDO2DB=yes

</pre>

inoltre deve essere attivato il modulo di gestione da parte di _Icinga_, questo deve essere fatto attraverso l'uso del file di configurazione distribuito con @icinga-idoutils@, pertanto occorrerà copiare:

<pre>

cp /usr/share/doc/icinga-idoutils/examples/idoutils.cfg-sample /etc/icinga/modules/idoutils.cfg

</pre>

una volta fatto questo si riavviino i relativi servizi con:

<pre>

service ido2db restart

service icinga restart

</pre>

e si potrà verificare il funzionamento anche della nuova interfaccia web (dando per scontato di aver creato un opportuno virtual host sotto SSL),  andando sull'indirizzo @https://icinga.miosito.it/icinga-web/@. 

Qualora i dati di monitoraggio siano presenti, ma risulti marcata come "_DOWN_" l'instanza di @icinga@ nel quadro riassuntivo, si verifichi che la _timezone_ di sistema in @/etc/timezone@, quella di PHP nella variabile @date.timezone@ in @/etc/php5/apache2/php.ini@ siano coerenti, nel caso si provveda anche al riavvio di MySQL per fargli vedere i valori corretti.

h2. Grafici delle risorse con _PNP4Nagios_

Uno degli aspetti più rilevanti di un sistema di monitoraggio è quello che consente di mantenere uno storico del consumo delle risorse che consente di tenerne sotto controllo l'evoluzione. A questo scopo è disponibile _PHP4Nagios_, che supporta anche una opportuna integrazione con @icinga@; per installarlo è sufficiente eseguire il comando:

<pre>

apt-get install -t squeeze-backports icinga-web-pnp

</pre>

che installa tutto il necessario nelle dipendenze, una volta fatto questo però vanno fatte alcune correzioni alle configurazioni del pacchetto che sono fatte per Nagios, in particolare occorre modificare @/etc/apache2/conf.d/pnp4nagios.conf@ correggendo le modalità di autenticazione con:

<pre>

AuthName "Icinga Access"

AuthUserFile /etc/icinga/htpasswd.users

</pre>

in modo che corrispondano a quanto presente anche in @/etc/apache2/conf.d/icinga.conf@, e ci si ricordi di eseguire un reload di apache. 

Occorre poi correggere @/etc/pnp4nagios/config.php@ di nuovo per fagli usare i valori opportuni relativi ad _Icinga_, in particolare si dovranno modificare le seguenti linee:

<pre>

...

$conf['nagios_base'] = "/icinga/cgi-bin";

...

$conf['livestatus_socket'] = "unix:/var/lib/icinga/rw/live";

...

$conf['template_dirs'][] = '/usr/share/check_mk/pnp-templates';

...

</pre>

Dove le ultime righe attengono all'uso di funzionalità fornite con _Check_MK_, su cui torneremo più avanti.

Per la generazione dei grafici occorre che _Icinga_ generi i relativi dati, _PHP4Nagios_ prevede diverse modalità per l'accesso agli stessi, la più efficiente è quella dell'uso di un apposito demone, @npcd@ che si appoggia ad un modulo di _Icinga_. In realtà il demone può essere anche usato da solo, facendo generare i dati ad _Icinga_ nelle opportune directory. 

Anzitutto occorre attivare il demone @npcd@ in @/etc/default/npcd@ inserendo la riga:

<pre>

# Should NPCD be started? ("yes" to enable)

RUN="yes"

</pre>

Il secondo passo è configurare _Icinga_, cosa che varia a seconda delle modalità scelte per generare i dati. Se si sceglie di usare quella consigliata attraverso il modulo @npcdmod.o@ occorrono due passaggi; il primo è quello di indicare ad _Icinga_ di generare i dati, inserendo in @/etc/icinga/icinga.cfg@ la riga:

<pre>

process_performance_data=1

</pre>

occorrerà poi abilitare il modulo inserendo in un file di configurazione (nel nostro caso @npcdmod.cfg@) nella directory @/etc/icinga/modules/@ con contenuto:

<pre>

define module{

        module_name    npcdmod

        path           /usr/lib/pnp4nagios/npcdmod.o 

        module_type    neb

        args           config_file=/etc/pnp4nagios/npcd.cfg

        }

</pre>

h2. Controllo con _Check_MK_

_Check_MK_ è programma che consente di gestire il monitoraggio centralizzato di diversi parametri da parte di _Icinga_ con una singola connessione ad un opportuno _agent_ da installare sulle singole macchine da porre sotto controllo. Il programma inoltre fornisce anche una serie di funzionalità di controllo ed autodiscovery dei servizi ed una interfaccia di controllo alternativa.  Per l'integrazione con _Icinga_ il primo passo è installare tutto il necessario sul server:

<pre>

apt-get install -t squeeze-backports check-mk-server check-mk-config-icinga 

</pre>

dove in particolare il secondo pacchetto installa tutti i file necessari ad integrare _Check_MK_ con _Icinga_.

La configurazione di base prevede che si inserisca la lista delle macchine da sottoporre a controllo nel file @/etc/check_mk/main.mk@, inizialmente ad esempio con qualcosa del tipo (la configurazione è l'assegnazione di una lista in python):

<pre>

# Put your host names here

# all_hosts = [ 'localhost' ]

all_hosts = [  'localhost', 'www.fountainpen.it', ... ]

</pre>

Si tenga presente che la semplice installazione _Check_MK_ di default non comporta nessun controllo, il programma infatti si collega agli _agent_ sulle macchine indicate nel precedente file di configurazione, e raccoglie gli eventuali dati disponibili, ma questi sono normalmente utilizzati soltanto all'interno del programma stesso, se si vogliono poter inserire i controlli dentro _Icinga_ occorre richiedere al programma la generazione degli opportuni file di configurazione, il grande vantaggio di _Check_MK_ è che consente di semplificare ed automatizzare (centralizzando le configurazioni) la generazione di questi file per tutte le macchine che si gestiscono tramite di lui. 

La forma precedente @/etc/check_mk/main.mk@, in cui si inserisce un semplice elenco, è quella più elementare, infatti la variabile @all_hosts@ non solo consente di mantenere un elenco di macchine da controllare, ma anche di classificarle assegnando a ciascuna un numero arbitrario di "TAG" che poi possono essere riutilizzati in altre configurazioni per raggruppare le macchine. L'assegnazione dei tag è molto semplice, basta indicarli dopo il nome della macchina separati con il carattere "@|@". Pertanto una configurazione di più sofisticata della precedente, potrebbe essere:

<pre>

# Put your host names here

# all_hosts = [ 'localhost' ]

all_hosts = [  

   'localhost|linux|cnt', 

   'www.fountainpen.it|phy|linux',

    ...

]

</pre>

dove si sono aggiunti alle macchine il tag "@linux@" per indicare il sistema operativo, ed i tag "@phy@" o "@cnt@" per indicare se la macchina è una macchina fisica o un container. Questo consente ad esempio di applicare configurazioni ad hoc, ad esempio si possono stabilire controlli da ignorare per intere classi di macchine utilizzando la variabile @ignored_checks@,  con qualcosa del tipo:

<pre>

ignored_checks = [

        ( [ "mem.vmalloc" ], [ "cnt" ], ALL_HOSTS)

]

</pre>

in cui si esclude per tutti le macchine con il tag "@cnt@" il controllo sulla dimensione della memoria virtuale occupata (che non ha senso sui container fatti con OpenVZ). La sintassi richiede che si assegni la variabile ad un vettore di tuple. Il primo elemento indica il controllo da escludere (si può ottenere la lista completa si quelli supportati con @check_mk -L@), segue, opzionale, un tag (o una lista di tag) da utilizzare come filtro, inine la lista degli host da controllare (la variabile @ALL_HOSTS@ indica tutti quelli definiti in @all_hosts@).

Un'altra delle caratteristiche interessanti di _Check_MK_ è che non solo è possibile utilizzare il controllo eseguito direttamente tramite il suo agent, ma si può configurare direttamente da @/etc/check_mk/main.mk@ l'uso dei programmi di controllo ordinari di _Icinga_/_Nagios_. In questo caso si deve usare la variabile @legacy_checks@ ed inserire qualcosa del tipo:

<pre>

legacy_checks = [

  # On all hosts with the tag 'cnt' give a simple check

  ( ( "check_http", "Homepage", True), [ "cnt" ], ALL_HOSTS ),

  ( ( "check_ssh", "SSH", True), [ "linux" ], ALL_HOSTS ), 

]

</pre>

in cui si richiede il controllo di SSH su tutte le macchine linux, e quello della risposta del web server su tutti i container. Il formato è identico a quello di @ignored_checks@ per tutti gli argomenti successivi al primo, che in questo caso invece un'altra tupla il cui primo elemento è il nome del comando (come definito dalla direttiva @command_name@ nelle configurazioni dei @define command@ di _Icinga_/_Nagios_) da usare per il controllo seguito eventualmente anche dai parametri (separati con il carattere @!@), il secondo la stringa identificativa che verrà associata al servizio, ed il terzo un valore logico che indica se devono essere generati i meno i dati delle performance di risposta (ad uso della generazione dei grafici degli stessi). 

Le operazioni di controllo di _Check_MK_ vengono eseguite tramite il comando @check_mk@ che consente di gestire le configurazioni di tutte le macchine controllate con _Check_MK_, In particolare il comando consente di creare un opportuno file di configurazione per _Icinga_ (sotto @/etc/icinga/objects/check_mk/check_mk_objects.cfg@ nel caso dei pacchetti Debian). 

Come accennato si può visualizzare l'elenco dei controlli effettuabili con @check_mk -L@, ma ovviamente solo alcuni di essi saranno disponibili sulle macchine su cui si è installato l'agent. Per identificare quali sono i controlli disponibili occorre generare il relativo inventario, questo si fa con il comando  @check_mk -I@, eventualmente seguito dall'indirizzo della macchina che si intende controllare. Il comando invocato in questo nuovo però mostra solo quelli nuovi e li aggiunge a quelli già presenti, se si vuole ripartire da zero occorrerà invece usare @check_mk -II@ con cui vengono cancellati quelli vecchi e ricreati solo quelli presenti al momento dell'invocazione. 

Un secondo comando di gestione molto utile è @check_mk ---scan-parents@ che fa eseguire un al programma un @traceroute@ delle macchine messe sotto controllo, dal quale viene generata automaticamente la mappa delle dipendenze dell'una dall'altra (riusata poi per generare la gerarchia dei _parent_ anche per _Icinga_ e la relativa status map), che viene salvata automaticamente in @/etc/check_mk/conf.d/parents.mk@.

Una volta che si sia effettuato il riconoscimento dei servizi per poter utilizzare i dati forniti dall'_agent_ dentro _Icinga_ è necessario lanciare @check_mk -R@ con cui si esegue la rigenerazione dei file di configurazione (nel caso di _Icinga_ i pacchetti Debian indicati lo fanno in @/etc/icinga/objects/check_mk/check_mk_objects.cfg@), e per una maggior sicurezza si può anche riavviare il servizio (cosa comunque effettuata dal comando). In sostanza tutte le volte che si sono modificate le configurazioni di _Check_MK_ e si vogliono riflettere i cambiamenti su _Icinga_, si devono eseguire i comandi:

<pre>

check_mk -I                 # aggiorna l'inventario

check_mk -R                 # rigenera le configurazioni e riavvia

service icinga restart      # repetita juvant...

</pre>

Si tenga presente però che in dato che _Check_MK_ utilizza il plugin @check_icmp@ di _Nagios_ per controllare lo stato di tutti gli host configurati, se non si fa altro questi risulteranno disattivi (anche se controlli disponibili grazie all'_agent_ risulteranno a posto) in quanto detto plugin deve essere eseguito da @root@. Esso allora deve essere reso _suid_ in modo da poter funzionare correttamente anche quando invocato da _Icinga_, di nuovo questo si può fare con il comando:

<pre>

dpkg-statoverride --update --add root root 4755 /usr/lib/nagios/plugins/check_icmp

</pre>

che rende la modifica permanente anche nell'aggiornamento dei pacchetti.

L'uso dell'interfaccia web di _Check_MK_ si basa sull'utilizzo di ''livestatus'', una modalità di presentazione dei dati che consente una lettura più veloce ed efficente, cui abbiamo già accennato in precedenta. Questa comporta l'installazione del pacchetto relativo con:

<pre>

apt-get install -t squeeze-backports check-mk-livestatus

</pre>

ed una ulteriore configurazione di _Icinga_; questa può essere fatta usando la nuova funzionalità dei moduli (evitando quindi la direttiva @broker_module@) inserendo in un file (nel nostro caso @livestatus.cfg@) nella directory @/etc/icinga/modules/@ con contenuto:

<pre>

define module{

        module_name    mklivestatus

        path           /usr/lib/check_mk/livestatus.o

        module_type    neb

        args           /var/lib/icinga/rw/live

        }

</pre>

dove @/var/lib/icinga/rw/live@ che è il default usato da _Check_MK_.

h2. Installazione dell'agent di _Check_MK_

Per poter utilizzare a pieno le fuzionalità di _Check_MK_ è necessario installare sulle macchine da mettere sotto controllo (compresa in genere quella su cui si è installato il server), lo script che esegue il compito di _agent_. Si tratta di un semplice script di shell che deve essere eseguito con @xinetd@, quest'ultimo però non viene installato automaticamente e deve essere esplicitamente installato, pertanto si esegua:

<pre>

apt-get install -t squeeze-backports check-mk-agent xinetd

</pre>

inoltre dato che l'agent installa un file di configurazione per @xinetd@ in cui il servizio è disabilitato, è necessario modificare @/etc/xinetd.d/check_mk@ impostando: 

<pre>

disable        = no

</pre>

ed eventualmente aggiungere ulteriori direttive di controllo per bloccare gli accessi solo ai server autorizzati; nel caso di installazione locale sul server stesso si potrà mettere il programma in ascolto solo su @localhost@ con:

<pre>

bind           = 127.0.0.1

</pre>

mentre in caso di connessione da parte di un server remoto, oltre a proteggerle adeguatamente con un firewall, sarà opportuno indicare una restrizione di accesso con:

<pre>

only_from      = IP.DEL.SERVER.REMOTO

</pre>

qualora si voglia usare un nome a dominio al posto di un indirizzo numerico si tenga presente che questo è possibile solo alla condizione che questo corrisponda anche alla risoluzione inversa del relativo IP.

Ci si ricordi sempre di riavviare il servizio con:

<pre>

service xinetd restart

</pre>

Si tenga presente che se si installa l'agent sulla macchina stessa su cui gira _Icinga_, la configurazione di default di quest'ultimo già prevede un controllo eseguito su @localhost@ definito nel file @/etc/icinga/objects/localhost_icinga.cfg@, che andrà a confliggere con la configurazione creata da @check_mk -R@, pertanto si abbia cura di rimuovere detto file o di usare con _Check_MK_ un nome diverso per indicare il localhost (ad esempio "127.0.0.1"). 

h2. Uso di _Check_MK_ come console di controllo

Oltre alle funzionalità di controllo centralizzato tramite il _server_, _Check_MK_ fornisce anche una console di gestione che si può installare con il pacchetto @check-mk-multisite@, il programma usa @mod_python@ per cui oltre alla installazione sarà necessario anche riavviare apache:

<pre>

apt-get install check-mk-multisite

service apache2 restart

</pre> 

Inoltre siccome il programma deve creare la directory @/var/lib/check_mk/web/icingaadmin/@ ed assegnarne il gruppo a @nagios@, occorre che l'utente @www-data@ faccia parte di detto gruppo, per questo sarà necessario eseguire il comando:

<pre>

adduser www-data nagios

</pre>

ed a questo punto si potrà accedere all'interfaccia Web di _Check_MK_ all'indirizzo @http://icinga.mioindirizzo.it/check_mk/@.