Project

General

Profile

ProxmoxDebianCloudInit » History » Version 18

Simone Piccardi, 05/15/2024 05:02 PM

1 1 Simone Piccardi
h1. Debian su Proxmox con cloud-init
2
3 15 Simone Piccardi
"Proxmox VE":https://www.proxmox.com/en/proxmox-virtual-environment/overview è una potente piattaforma di virtualizzazione che consente di sostituire senza problemi, e senza costi di licenza, VmWare, supportando configurazioni avanzate, come clustering, HA, iperconvergenza, e molto altro. Ha inoltre il vantaggio di poter utilizzare sia le classiche macchine virtuali, su cui installare qualunque sistema operativo, che il nuovo approccio più veloce ed efficiente, dei container Linux. 
4 1 Simone Piccardi
5 18 Simone Piccardi
Dalla versione 5.x Proxmox ha aggiunto il supporto per la creazione e la configurazione automatica delle macchine virtuali utilizzando @cloud-init@ che consente di gestire direttamente dalla piattaforma le caratteristiche delle stesse (come indirizzi di rete, accessi SSH, ecc.). Vedremo come è possibile utilizzarlo per automatizzare la gestione di macchine virtuali installate con Debian, e come realizzare una immagine di installazione da usare come template per la creazione immediata di macchine virtuali pronte all'uso.
6 1 Simone Piccardi
7 18 Simone Piccardi
h2. Uso dell'immagine cloud-init predisposta da Debian
8 15 Simone Piccardi
9 18 Simone Piccardi
Una possibile scelta per l'uso da parte di Proxmox, è quella di scaricare una immagine pronta per il cloud fra quelle messe a disposizione direttamente da Debian. Sono disponibili infatti delle immagini non ufficiali, scaricabili a partire da https://cloud.debian.org/images/cloud. in particolare per Proxmox servono quelle denominate @genericloud@. Dato che le immagini non sono ufficiali, sono generate periodicamente, e si dovranno cercare nella opportuna sottodirectory. Ad esempio quelle per Debian 12 Bookworm si dovranno scaricare dalla sottodirectory @bookworm@ scegliendo in genere quella generata per ultima, in sostanza si dovrà andare a crecare in https://cloud.debian.org/images/cloud/bookworm/latest. 
10 15 Simone Piccardi
11 18 Simone Piccardi
In questa directory ci sono diversi file, le immagini infatti sono generate per più piattaforme hardware, e per l'uso da parte di Proxmox occorrerà selezionarne una per amd64. Si può prendere sia quella nel formato @.raw@ che nel formato @.qcow2@, ma quest'ultima è preferibile per le minori dimensioni ed anche perché, se usata direttamente, è già pronta per le funzionalità avanzate di gestione da parte di Proxmox, come gli snapshot. Pertanto la si potrà scaricare con:
12 15 Simone Piccardi
13 1 Simone Piccardi
<pre>
14 18 Simone Piccardi
wget https://cloud.debian.org/images/cloud/bookworm/latest/debian-12-genericcloud-amd64.qcow2
15 1 Simone Piccardi
</pre>
16 2 Simone Piccardi
17 15 Simone Piccardi
insieme all'immagine si scarichi il file con le relative checksum:
18 1 Simone Piccardi
19 2 Simone Piccardi
<pre>
20 15 Simone Piccardi
wget https://cloud.debian.org/images/cloud/bookworm/latest/SHA512SUMS
21 3 Simone Piccardi
</pre>
22
23 15 Simone Piccardi
e si passi a verificare il tutto con il comando:
24 14 Simone Piccardi
25 3 Simone Piccardi
<pre>
26
sha512sum -c SHA512SUMS --ignore-missing 
27 14 Simone Piccardi
</pre>
28 3 Simone Piccardi
29 18 Simone Piccardi
Come primo passo occorre creare una macchina virtuale, ne vanno impostate anzitutto memoria e tipo di rete, facendo riferimento ad una (o più) delle interfacce di bridge disponibili (a seconda di dove la si vuole creare di default, il bridge potrà comunque essere cambiato in seguito, e se ne possono indicare più di uno se servono più interfacce), questo si fa, utilizzando un VMID non allocato, con:
30 3 Simone Piccardi
31
<pre>
32 17 Simone Piccardi
qm create 4242 --memory 1024 --net0 virtio,bridge=vmbr0 # --net1 virtio,bridge=vmbr1 #,  etc.
33 3 Simone Piccardi
</pre>
34
35 18 Simone Piccardi
poi si potrà ottenere il disco della nostra macchina virtuale importando nello storage di Proxmox l'immagine scaricata, in questo caso se si sta usando LVM come backend per i dischi associato allo storage @local-lvm@ (come avviene in una installazione di default) lo si potrà fare eseguendo:
36 3 Simone Piccardi
37
<pre>
38 18 Simone Piccardi
root@proxmox ~ # qm importdisk 4242 debian-12-genericcloud-amd64.qcow2 local-lvm
39
importing disk 'debian-12-genericcloud-amd64.qcow2' to VM 4242 ...
40 1 Simone Piccardi
  Logical volume "vm-4242-disk-0" created.
41 16 Simone Piccardi
transferred 0.0 B of 2.0 GiB (0.00%)
42
transferred 20.5 MiB of 2.0 GiB (1.00%)
43
...
44
transferred 2.0 GiB of 2.0 GiB (100.00%)
45
Successfully imported disk as 'unused0:local-lvm:vm-4242-disk-0'
46 3 Simone Piccardi
</pre>
47
48 18 Simone Piccardi
(si potrà usare al posto di @local-lvm@ qualunque altro tipo di storage configurato su Proxmox). Questo creerà l'immagine del disco con lo stesso schema di denominazione usato nella creazione delle macchine virtuali dall'interfaccia web (@vm-4242-disk-0@), convertendo il contenuto del file scaricato (si possono convertire tutti i formati supportati da @qemu-img@, primi fa tutti @.raw@ e @.qcow2@), per poter usare il disco nella macchina virtuale precedentemente creata occorrerà poi collegarcelo, con il comando:
49 3 Simone Piccardi
50
 <pre>
51
root@proxmox ~ # qm set 4242 --scsihw virtio-scsi-pci --scsi0 local-lvm:vm-4242-disk-0,discard=on
52
update VM 4242: -scsi0 local-lvm:vm-4242-disk-0,discard=on -scsihw virtio-scsi-pci
53 1 Simone Piccardi
</pre>
54 3 Simone Piccardi
55
(si ometta il @,discard=on@ se lo storage utilizzato non supporta l'uso di discard). 
56 1 Simone Piccardi
57
Si potranno poi impostare le ulteriori caratteristiche della macchina virtuale per l'uso di @cloud-init@ con:
58
59 4 Simone Piccardi
<pre>
60
qm set 4242 --ide2 local-lvm:cloudinit
61
qm set 4242 --boot c --bootdisk scsi0
62
</pre>
63
64 18 Simone Piccardi
che predispone l'avvio dall'immagine CD usata da cloud-init per passare le configurazioni alla macchina, forza l'uso dello stesso e del disco appena collegato per l'avvio e riporta la console via seriale (dato che questa è la configurazione adottate nelle immagini cloud come quella che abbiamo usato). Si può anche assegnare un nome alla macchina con @qm set 4242 --name templimg@, questo può essere impostato anche in sede di creazione aggiungendo a @qm create@ l'opzione @--name templimg@.
65 4 Simone Piccardi
66
A questo punto dall'interfaccia web si potrà utilizzare la sezione _Cloud-Init_ relativa alla macchina, e caricare una chiave SSH per l'accesso (_Cloud-Init->SSH-Public-Key->Edit->Load SSH Key File_). Se poi, come nel nostro caso, si vogliono fare delle modifiche all'immagine prima di trasformarla in template, le si dovrà assegnare un IP e farla partire, l'immagine fornita da Debian infatti non consente un accesso dalla console (tutti gli utenti sono bloccati senza password) per cui la console può essere utilizzata solo per accertarsi di quando il processo di boot è finito e si può provare a collegarsi con SSH.
67
68 18 Simone Piccardi
L'unico possibile accesso alla macchina infatti è via SSH con autenticazione a chiavi, usando la chiave corrispondente a quella che si è caricata come descritto in precedenza. Inoltre l'accesso a @root@ è bloccato (la chiave viene riconosciuta, ma usata per stampare il messaggio di collegarsi con utente debian) e l'unico utente disponibile è @debian@ (anche se questo può essere cambiato nella sezione _Cloud-Init_ relativa alla macchina). Si potrà pertanto entrare sulla macchina con @ssh debian@IND.IP.DEL.SERVER@ e poi eseguire @sudo -s@ per ottenere una shell di root.
69 4 Simone Piccardi
70 18 Simone Piccardi
Dato che questa politica prevede un inutile passaggio attraverso un utente intermedio che ha comunque accesso illimitato via @sudo@, non dà di per sé nessuna garanzia di sicurezza maggiore rispetto ad un accesso diretto a @root@, al prezzo di complicare le cose per fare operazioni remote (ad esempio degli @scp@) qualora questi debbano essere effettuati coi privilegi di amministratore sulla macchina stessa. Pertanto si provvederà a ripristinare una configurazione che consenta l'accesso a @root@ con autenticazione a chiavi.
71 1 Simone Piccardi
72 18 Simone Piccardi
Per far questo una volta collegati e ottenuta la shell di @root@ il primo passo sarà quello modificare la configurazione di @cloud-init@ aggiungendo in @/etc/cloud/cloud.cfg.d@ un ulteriore file di configurazione (ad esempio @/etc/cloud/cloud.cfg.d/09_enableroot.cfg@ una riga con @disable_root@ da @true@ a @false@ (il file è in formato YML) con un contenuto come il seguente, che soprassiede la configurazione di default di @/etc/cloud/cloud.cfg@:
73 1 Simone Piccardi
 
74
<pre>
75
# If this is set, 'root' will not be able to ssh in and they
76
# will get a message to login instead as the above $user (debian)
77
disable_root: false
78
</pre>
79
80
inoltre occorrerà eliminare dall'@authorized_keys@ di root il prefisso che ne blocca l'accesso, cancellando tutta la parte:
81
82
<pre>
83
no-port-forwarding,no-agent-forwarding,no-X11-forwarding,command="echo 'Please login as the user \"debian\" rather than the user \"root\".';echo;sleep 10"
84
</pre>
85
86 18 Simone Piccardi
lasciando solo i dati della chiave a partire da @ssh-rsa@. Si verifichi poi il funzionamento della modifica eseguendo un accesso diretto collegandosi con @ssh root@ID.DE.LA.MACCHINA@. Ci si ricordi poi di mettere una password a root per potersi collegare con la console sulla piattaforma di virtualizzazione, eseguendo @passwd@. A questo punto si potrà passare alle eventuali ulteriori personalizzazioni (ne parleremo più avanti) prima di trasformarla in un template. 
87 1 Simone Piccardi
88
89 18 Simone Piccardi
h2. Creazione di una immagine cloud-init a partire da una installazione ordinaria.
90
91
L'immagine preparata da Debian che abbiamo appena visto consente di ottenere immediatamente un sistema già installato e pronto all'uso di @cloud-init@. Benché molte delle personalizzazioni del sistema che vedremo più avanti siano applicabili anche questo caso, esistono delle scelte di installazione fatte nella realizzazione dell'immagine che non è possibile modificare in un secondo tempo. Ad esempio il partizionamento del disco, che non prevede una swap, e che mette la directory per EFI in una partizione in coda al disco, cosa che rende più complicata l'espansione dello stesso, oppure l'uso del filesystem @ext4@, che si potrebbe voler sostituire con @btrfs@ o @xfs@. Inoltre la configurazione della rete nell'immagine si appoggia a @netplan@, che non è detto si voglia utilizzare rispetto allo standard delle installazioni ordinarie (la configurazione in @/etc/network/interfaces@).
92
93
Vedremo allora come si può creare una immagine personalizzata per l'uso con di @cloud-init@ a partire da una installazione ordinaria di Debian. In questo caso assumeremo che si sia installata su Proxmox una macchina virtuale con Debian a partire dal CD per l'insallazione via rete (il cosiddetto @netinst@). Per  i dettagli di questa modalità di installazione si rimanda a quanto trattato in [[Installare una VM Debian su Proxmox|questo articolo]], in cui se ne illustrano tutti i passi.
94
95
Assumeremo che l’installazione sia stata fatta nella maniera illustrata nell'articolo citato, ricordando che è in quella fase che è possibile cambiare le modalità di partizionamento del disco e l'eventuale filesystem di installazione. Le scelte specifiche che si dovranno fare in fase di installazione di Debian sono:
96
97
* si imposti per @root@ una password provvisoria per l'accesso, la si potrà rimuovere in seguito, e reimpostare con @cloud-init@
98
* si crei un utente ordinario: @debian@ (o altro, andrà comunque cancellato)
99
* si configuri la rete nella maniera più semplice per poter accedere sulla macchina (anche usando un eventuale DHCP), poi verrà gestita da @cloud-init@
100
* si scelga il partizionamento manuale del disco, su cui:
101
** creare una prima partizione primaria di circa 4G come swap
102
** creare una eventuale seconda partizione primaria se si vuole usare EFI (non necessaria con i default per il bios virtuale di Proxmox)
103
** creare una ultima partizione primaria con resto del disco da usare come radice
104
* si scelga nella schermata di "Selezione del software" solo "Server SSH " e "Utilità di sistema standard" (il resto si installerà dopo).
105
106
In questo modo si avrà un disco partizionato in modo da avere la partizione di sistema in coda al disco, cosa che ne consente una facile espansione, permettendo a @cloud-init@ di allargarla automaticamente una volta che si sia allargato il disco dall'interfaccia di Proxmox. Completata l’installazione di base si potrà passare a preparare l'immagine del server. Dato che l’installazione di default blocca l’accesso in SSH a @root@ con la password, o si usa l’utente ordinario @debian@ creato in fase di installazione e poi @su@ o @sudo@, o ci si collega a @root@ sulla console via web. Tutte le operazioni seguenti sono da eseguirsi collegati come @root@, se le si vogliono effettuare passando da una connessione SSH occorrerà abilitare da subito l’accesso a @root@ anche con le password, inserendo dentro @/etc/ssh/sshd_config.d/root.conf@:
107
108 1 Simone Piccardi
<pre>
109 18 Simone Piccardi
# enable root password access
110
PermitRootLogin yes
111
</pre>
112
113
e riavviare @sshd@ con @service ssh restart@. Non è necessario configurare in questa fase l’uso di chiavi  SSH, queste possono essere impostate in qualunque momento successivo tramite @cloud-init@. Una volta che ci si sia ricollegati con successo usando direttamente @root@ (dalla console o SSH), si potrà cancellare l'utente @debian@ usato per l'accesso iniziale che non serve più:
114
115
<pre>
116 1 Simone Piccardi
userdel -r debian
117
</pre>
118
119 18 Simone Piccardi
A questo punto si potrà installare il pacchetto @cloud-init@, e configurare il programma. Dato che questo di default impiega @resolvconf@ per la configurazione della rete sarà necessario installare anche questo pacchetto, con:
120 1 Simone Piccardi
121
<pre>
122 18 Simone Piccardi
apt install cloud-init resolvconf
123
</pre>
124
125
Si tenga conto che per poterli installare la rete deve essere accessibile quindi la macchina deve essere stata configurata correttamente per avere un gateway di uscita, ed inoltre occorre avere un default per il DNS (che deve esser stato impostato, a meno di non avere un DHCP sulla rete che configura le interfacce, durante l'installazione). In generale si potrà sempre impostare un server DNS valido manualmente in @/etc/resolv.conf@  con un comando come @echo nameserver 1.1.1.1 > /etc/resolv.conf@. 
126
127
Come nel caso precedente occorrerà impostare la configurazione di @cloud-init@ per mantenere l'accesso diretto a @root@. Inoltre avendo eliminato l'utente ordinario @debian@,  per evitare che venga ricreato ad ogni riavvio, come previsto nel default della configurazione, occorre anche disabilitarne l'uso. Tutto questo potrà essere fatto aggiungendo un file @/etc/cloud/cloud.cfg.d/99_local.cfg@ con un contenuto come:
128
129
<pre>
130
# If this is set, 'root' will not be able to ssh in and they
131
# will get a message to login instead as the above $user (debian)
132
disable_root: false
133
134 14 Simone Piccardi
# A set of users which may be applied and/or used by various modules
135 1 Simone Piccardi
# when a 'default' entry is found it will reference the 'default_user'
136 14 Simone Piccardi
# from the distro configuration specified below
137 18 Simone Piccardi
users:
138
   - root
139 14 Simone Piccardi
</pre>
140 1 Simone Piccardi
141 18 Simone Piccardi
dove di nuovo si blocca la disabilitazione di @root@ e si indica quest'ultimo come utente da creare. 
142 1 Simone Piccardi
143 18 Simone Piccardi
Infine andrà modificato il file di configurazione delle interfacce di rete @/etc/network/interfaces@ per evitare che le voci inserite durante l'installazione interferiscano con quelle generate da  @cloud-init@, che di default usa per la configurazione il file in @50-cloud-init.cfg@ sotto @/etc/network/interfaces.d/@. In particolare va rimossa la configurazione di tutte le interfacce di rete presenti in  @/etc/network/interfaces@, tranne @lo@ (l'interfaccia di loopback per il localhost), che va spostata in cima al file perché non sovrascriva quella di @cloud-init@ che imposta su questa interfaccia i DNS con @resolvconf@. In sostanza @/etc/network/interfaces@ dovrà essere qualcosa del tipo:
144
145 1 Simone Piccardi
<pre>
146
# This file describes the network interfaces available on your system
147
# and how to activate them. For more information, see interfaces(5).
148
149
# The loopback network interface
150
auto lo
151
iface lo inet loopback
152
153
source /etc/network/interfaces.d/*
154
</pre>
155
156 18 Simone Piccardi
Una volta fatto questo si potrà procedere a creare l'immagine ISO per la gestione dei dati di @cloud-init@ da parte di Proxmox come nel caso precedente, con
157 1 Simone Piccardi
158
<pre>
159 18 Simone Piccardi
qm set 4242 --ide2 local-lvm:cloudinit
160 1 Simone Piccardi
</pre>
161 6 Simone Piccardi
162 18 Simone Piccardi
e si potrà provare ad impostare di nuovo i parametri della rete dall'interfaccia di Proxmox, per poi avviare la macchina per verificarne il funzionamento. 
163 6 Simone Piccardi
164 18 Simone Piccardi
h2. Personalizzazione dell'immagine, creazione ed uso di un template
165 14 Simone Piccardi
166 18 Simone Piccardi
Qualunque sia la modalità con cui si sia realizzata l'immagine @cloud-init@, una volta che si è collegati alla stessa si potranno effettuare eventuali ulteriori personalizzazioni della macchina prima di trasformarla in template, come l'installazione di pacchetti aggiuntivi, creazione di utenti (questi potrebbero comunque essere gestiti anche tramite @cloud-init@), cambi di configurazione, ecc. 
167
168
Una volta completate le personalizzazioni occorrerà ripulire l’immagine da tutti i dati spuri, cancellare la cache di APT, svuotare i file di log, ecc. Per questo si sconnetta e ci si riconnetta (sempre come @root@) eseguendo il comando:
169
170 1 Simone Piccardi
<pre>
171 18 Simone Piccardi
# set +o history
172
</pre>
173
174
per disabilitare la history, che cancelleremo insieme a tutto il resto, eseguendo i comandi:
175
176
<pre>
177
> .bash_history
178 14 Simone Piccardi
apt clean
179 18 Simone Piccardi
find /etc -name "*~" -delete
180
journalctl --rotate
181
journalctl --vacuum-time=1s
182
fstrim /
183 11 Simone Piccardi
cd /var/log/
184 1 Simone Piccardi
> syslog
185 11 Simone Piccardi
> auth.log
186
> cloud-init.log
187
> cloud-init-output.log
188
> debug
189
> dpkg.log
190
> messages
191
> kern.log
192
> user.log
193
> daemon.log
194 18 Simone Piccardi
> installer/syslog
195
> wtmp
196
> btmp
197 11 Simone Piccardi
</pre>
198 1 Simone Piccardi
199 18 Simone Piccardi
A questo punto si può fermare la macchina virtuale ed una volta tolte le impostazioni aggiunte nella sezione _Cloud-Init_ aggiunte per poterla personalizzare, la si potrà trasformare in template dall'interfaccia web o con il comando:
200 6 Simone Piccardi
201
<pre>
202
qm template 4242
203
</pre>
204
205 18 Simone Piccardi
A questo punto si potranno generare delle nuove macchine virtuali a partire dal template creando un clone, o dall'interfaccia web o con il comando:
206 6 Simone Piccardi
207
<pre>
208 18 Simone Piccardi
qm clone 4242 308 --name nuovavm
209 6 Simone Piccardi
</pre>
210
211 18 Simone Piccardi
A questo punto potremo riconfigurare a piacere per l'uso delle risorse sia via web (reimpostando RAM e dimensione del disco dalla sezione _Hardware_) che da linea di comando con qualcosa del tipo:
212 6 Simone Piccardi
213
<pre>
214 8 Simone Piccardi
qm resize 308 scsi0 50G
215 18 Simone Piccardi
qm set 308 --memory 2048
216 6 Simone Piccardi
</pre>
217
218
e poi impostandone le caratteristiche pilotate da @cloud-init@, sia via web (dalla sezione _Cloud-Init_) che da riga di comando con qualcosa del tipo:
219
220
<pre>
221 7 Simone Piccardi
qm set 308 --ipconfig0 ip=192.168.XX.YY/24,gw=192.168.XX.1
222 1 Simone Piccardi
</pre>
223 9 Simone Piccardi
224
si potranno inoltre installare ulteriori chiavi SSH con:
225
226
<pre>
227
qm set 308 --sshkey elencochiavissh.pub
228
</pre>
229
230 18 Simone Piccardi
dove @elencochiavissh.pub@ è un file contenente un elenco di chiavi pubbliche (una per riga) che verranno abilitate per la macchina in questione (lo si può generare da una serie di file di chiavi con un comando tipo @cat *.pub > elencochiavissh.pub@).