Debian 10 ("Buster") a été publié le 6 juillet 2019! Donc on veut faire des tests de mise à jour pendant quelque temps pour trouver tous les problèmes potentiels pour ensuite pouvoir upgrader en masse. Voici des notes et références pour la mise à jour.
Voir https://redmine.koumbit.net/projects/kt-sa-debian-upgrades pour la liste complète des mises à jour et des outils de suivi de la progression.
Contents
Sommaire des changements
Les changements importants de Buster sont bien documentés ici, mais on peut noter rapidement:
AppArmor est installé et activé par défaut
- Le filtrage réseau (firewall) est maintenant basé sur nftables par défaut au lieu de netfilter
- crypto par défaut pour LUKS, maintenant LUKS2
- Gnome utilise maintenant Wayland par défaut
seulement sur les installations fraîches, /bin /sbin et /lib sont maintenant sous /usr. Il est possible d'installer le package usrmerge pour faire ce changement sur des systèmes déjà installés.
Le manuel de mise à jour inclus également les enjeux majeurs de mise à jour.
Upgrade process
Depuis les mises à jour à Lenny, des procédures détaillées sont maintenus par Koumbit, en parallèle avec la documentation officielle. La procédure de StretchUpgrade servira de base à celle de Buster ici.
Notez aussi que notre documentation vise principalement les serveurs. Par exemple, nous suivons la procédure de temps mort minimal. La procédure devrait tout de même pouvoir être utilisée pour les desktops.
Attention: Selon la l'aide Debian pour la mise à niveau, quelques changements à l'affichage peuvent survenir:
- " Si vous utilisez le système depuis la console locale, il est possible qu'à certains moments de la mise à niveau la console passe à une vue différente, et que la mise à niveau du système ne soit plus observable. Cela peut par exemple être le cas pour les systèmes qui ont une interface graphique, quand le gestionnaire de session est relancé. Pour revenir à la console traitant le processus de mise à niveau, utilisez les touches Ctrl+Alt+F1 (si vous avez une interface de connexion graphique) ou Alt+F1 (si vous avez une console texte locale) pour revenir au terminal virtuel 1. Remplacez F1 avec la touche Fx où x correspond au numéro du terminal sur lequel se déroule la mise à niveau. Vous pouvez aussi utiliser Alt+flèche gauche ou Alt+flèche droite pour passer d'un terminal en mode texte à un autre."
Normalement, dans les premiers cycles de mise à jour, on documente surtout les problèmes avec les différents packages ensuite, on revoit la procédure de mise à jour pour de l'optimisation.
Pre-upgrade
For office machines, jump over points in the following list that are about backups and monitoring.
Take a look at this page's Problèmes rencontrés section to spot which applications will possibly have issues with the upgrade.
- inform users
- check to make sure the backup job will not start while the upgrade takes place!
grep when /etc/backupninja.conf
- check backups on backup server. If the client's backups aren't on our server, make sure we have access to it so we can retrieve it if needed.
- check the motd: some important information might be documented there
(Si c'est une node Ganeti)
Pour simplifier l'upgrade, on recommande fortement de mettre à jour ganeti avant de commencer la mise à jour de l'OS. On utilise généralement les packages buster-backports pour avoir la version de buster avant de passer l'OS à cette version là
Important: pour les nodes Ganeti, voir GanetiConfiguration#Mise_.2BAOA_jour
(Si le serveur roule dovecot)
- Vous seriez beaucoup mieux de générer un nouveau fichier dhparams avant l'upgrade pour éviter que ça ne se fasse pendant, ce qui pourrait encourir un long downtime.
openssl dhparam -out /etc/dovecot/dh.pem 4096
Put servers in maintenance in Icinga.
(If the server is a physical machine)
make sure it doesn't host netboot0 (in case a problem happens, you wouldn't be able to netboot). If it does host netboot, move netboot0 on another node (see GanetiMaintenance#Changer_une_instance_de_node)
- connectez-vous à sa console série pour être pret dans un cas de problème
Important: vérifiez que les mots de passe de crypto qu'on a dans le password manager fonctionnent. Voir: LuksMaintenance#Tester_si_on_a_le_bon_mot_de_passe_pour_une_des_clefs_actives
- assurez-vous d'avoir en main le mot de passe root, au cas où vous tomberiez dans le shell d'urgence
(If for some reason you cannot use bolt to automate the upgrade process), you'll have to jump over to #Proc.2BAOk-dure_d.27upgrade_manuelle_.28utiliser_seulement_si_vous_n.27utilisez_pas_bolt.29
- Run the task to prepare the machine for the upgrade process:
bolt task run --no-verbose --stream --run-as root --sudo-password-prompt k::debian_upgrade \ --targets foo.koumbit.net stage=prep
Upgrading the packages
Launch the automated package upgrade procedure with the bolt task:
bolt task run --no-verbose --stream --run-as root --sudo-password-prompt k::debian_upgrade \ --targets foo.koumbit.net stage=packages
Once this is done, if all went well, proceed to next section!
If howerver there was an error in the upgrade process, you'll need to fix the situation by ssh'ing in and figuring things out with apt install -f and other such tools.
Re-enable and run puppet!
- verify that puppet doesn't break anything:
(puppet agent --enable; puppet agent -t --noop --no-report; puppet agent --disable "verifications post-upgrade to buster") 2>&1 | less -SR
- Re-enable puppet if everything seems ok:
Notez que si la machine roule encore avec le kernel de debian stretch, l'application des configurations par puppet donnera une erreur sur la configuration de nftables. C'est normal! le kernel est trop vieux pour comprendre ce qui se passe. Si c'est la seule erreur, continuez votre chemin, et après le reboot dans le ménage final vous verrez que puppet devient capable d'appliquer les configuations pour nftables.
puppet agent --enable && puppet agent -t
Things to do after the upgrade
- remove nrpe since we don't use it anymore. En cas d'erreur lors de la suppression de /etc/nagios/nrpe.d, retirer manuellement.
apt purge nagios-nrpe-server apticron cron-apt
Install the package koumbit-scripts if it's not already there:
apt-get install koumbit-scripts-vps
If sources are missing, add it (see debian.koumbit.net)
check the updates on configuration files, by looking for .dpkg-* or .ucf-* files in /etc, or by using the clean_conflicts script in koumbit-scripts 1.2:
/opt/bin/clean_conflicts
On all but Xen domU servers, rerun grub and make sure the right drives are configured for a reboot (e.g.: both sda and sdb).
dpkg-reconfigure grub-pc
Machines that run with grub in EFI mode will probably not have grub-pc installed. The equivalent command would be dpkg-reconfigure grub-efi-amd64 except it won't show a list of disks to install to since grub is installed to the EFI.
- Suivre tout les autres procédures applicables (voir la section plus bas)
- Minimize the list of packages that were marked as manually installed. This might let apt decide at some point that some packages are not needed anymore.
apt-mark minimize-manual
Remove obsolete packages
apt autoremove --purge -y
Reboot one last time and monitor for problems in the boot sequence (lags, or errors, fsck, maybe console output failure). If you can't reboot, see PratiquesRécupérationServeur
reboot
- Cleanup packages that are not in any current apt sources.
- First have a look at the list of packages to be removed.
# list all packages not in any installed sources. aptitude search '?narrow(?not(?archive("^[^n][^o].*$")),?version(CURRENT))'
First look at the list to see if anything needs to be kept around (like Facter). If so, remove other packages manually from that list.
If (only if) everything can be removed, you can do so with one command:
# uninstall anything that shouldn't be kept around. aptitude purge '?narrow(?not(?archive("^[^n][^o].*$")),?version(CURRENT))'
- Empty apt cache
apt-get clean
Run puppet again
puppet agent -t
- Vérfier qu'il y a assez d'espace restant pour que les backups aient lieux.
Bien sûr, vérifier que les services offerts par la machine fonctionnent toujours. Tester les vrais services (e.g. accéder à une page web, faire un appel -- accéder à ce que chaque service est supposé offrir), et aussi vérifier l'état dans icinga.
Retirer incron qui provoque un problème avec alternC. On peut vérifier que les processus ne s'accumulent pas avec ps faux | grep incron | wc -l (voir rm#31784). Pour retirer incron rm /etc/incron.d/alternc_*
Vérifier les stats du serveur sur http://stats0.koumbit.net/
- Enlever le downtime dans icinga.
Vérifier dans la file roots@rt.k.n si la file est spammé par des erreurs suite à votre mise à jour!
update the wiki documentation to reflect the new release; you're now done!
Autres procédures
Finir upgrade Postgresql 9.6 -> 11
Faire celà pour enlèver l'ancien cluster.
Lister les clusters postgres:
pg_lsclusters # normalement 9.6 est commencé, est 11 est "down"
Backup
sudo -u postgres pg_dumpall > /tmp/pg9.6.backup
Arrêt pgsql:
service postgresql stop
Upgrade cluster
pg_upgradecluster -m upgrade 9.6 main
Start PostGres:
service postgresql start
List clusters
pg_lsclusters # Normale 9.6 devrait être down, puis 11 up
- Test
Enlèver l'ancienc cluster
sudo pg_dropcluster 9.6 main --stop
Changements de config dovecot 2.3
La configuration de dovecot a plusieurs changements pour la version 2.3 et ça se peut que l'ancienne ne fonctionne pas super bien.
Voir: https://wiki2.dovecot.org/Upgrading/2.3
Après avoir lu la page ci-dessus, c'est fortement recommandé d'intégrer les changements aux fichiers de config (avec extension .ucf-diff.
Aussi, le fichier de paramètres DH doit probablement être regénéré pour être plus gros (la commande est en exemple dans 10-ssl.conf):
openssl dhparam -out /etc/dovecot/dh.pem 4096
it might be necessary to add:
ssl_dh = </etc/dovecot/dh.pem
To /etc/dovecot/conf.d/99_ssl.conf (non-existing file)
Problèmes rencontrés
Les sources de wheezy crée des conflits dans les packets
Voir la note plut haut #Preparing_sources.list
https://redmine.koumbit.net/issues/29088#note-7
php n'est pas mis à jour automatiquement
Comme quand on arrive à stretch, la nouvelle version de PHP n'est pas activée automatiquement. Donc c'est encore 7.0 qui roule jusqu'à ce qu'on active 7.3 dans apache.
If the service (php+apache) is managed by puppet usually it's enough to do:
- apt install libapache2-mod-php7.3 ; puppet agent -t
Apache
Assuming it's managed properly by puppet :
apt install php7.3 libapache2-mod-php7.3 a2enmod php7.3 puppet agent -t
Following that, remove any php7.0 packages manually.
AlternC
Après un reboot dans le kernel de buster, la configuration d'AlternC pour bind ne fonctionne pas avec le profile AppArmor qui est activé par défaut: bind refuse de démarrer parce qu'il ne peut pas accéder à certains fichiers référencés.
On veut ajouter des permissions dans le profile AppArmor de bind pour que le service puisse accéder aux fichiers d'alternc:
cat >> /etc/apparmor.d/local/usr.sbin.named <<EOF /var/lib/alternc/bind/** rw, /var/log/bind/** rw, /var/log/bind/ rw, EOF apparmor_parser -r /etc/apparmor.d/usr.sbin.named service bind9 restart service bind9 status # -> devrait montrer que le service est en marche
A plus long terme, ça serait bien d'investiguer si on peut faire déployer ce fichier là par le package d'alternc. Le fichier d'override est un fichier de configuration du package bind9, donc si alternc gère ce fichier comme un fichier de conf ça va créer des confilts
# dpkg -S /etc/apparmor.d/local/usr.sbin.named bind9: /etc/apparmor.d/local/usr.sbin.named
TODO: trouver comment déployer "qqch" par le package alternc pour ajouter les permissions nécessaires au profile apparmor de bind
Il faut retirer incron après qu'on aille fini.
Enfin, il faut vérifier l'affichage du gestionnaire de fichier. Il y a une page blanche suite à un bug. Voir le patch: https://redmine.koumbit.net/issues/33413#note-1
phpmyadmin
buster n'a pas de package pour phpmyadmin mais c'est maintenant dans buster-backport, et ajouté au profil alternc dans puppet (ainsi que php-twig).
référence: https://packages.debian.org/buster-backports/phpmyadmin
Il faut donc l'installer à partir de là si besoin.
puppet devrait faire le job si le profile::phpmyadmin est inclus
Si des erreurs s'affichent à l'affichage des DB / tables dans phpmyadmin, voir https://redmine.koumbit.net/issues/33413#note-5 et passer par puppet pour fixer.
Virtualbox
Buster n'a pas de package pour virtualbox (sauf sid).
Relancer puppet une fois l'upgrade terminée générera donc des erreurs.
Error: Execution of '/usr/bin/apt-get -q -y -o DPkg::Options::=--force-confold install virtualbox' returned 100: Reading package lists.. Package virtualbox is not available, but is referred to by another package. E: Package 'virtualbox' has no installation candidate Error: /Stage[main]/Profile::Desktop::Virtualization/Package[virtualbox]/ensure: change from 'absent' to 'present' failed: Execution of '/usr/bin/apt-get -q -y -o DPkg::Options::=--force-confold install virtualbox' returned 100: Reading package lists... the following packages replace it: virtualbox-qt E: Package 'virtualbox' has no installation candidate
Il faudra mettre le profil puppet à jour pour régler ça. Voir ticket 32533
Dépendances manquantes
Errors were encountered while processing: /tmp/apt-dpkg-install-wEYXTJ/0798-libel-api-java_3.0.0-2_all.deb /tmp/apt-dpkg-install-wEYXTJ/0864-libjsp-api-java_2.3.4-2_all.deb /tmp/apt-dpkg-install-wEYXTJ/0865-libwebsocket-api-java_1.1-1_all.deb perl: warning: Setting locale failed. perl: warning: Please check that your locale settings: LANGUAGE = "en_CA.UTF-8", LC_ALL = "en_CA.UTF-8", LANG = "C" are supported and installed on your system. perl: warning: Falling back to the standard locale ("C").
/bin/bash: warning: setlocale: LC_ALL: cannot change locale (en_CA.UTF-8) needrestart is being skipped since dpkg has failed E: Sub-process /usr/bin/dpkg returned an error code (1)
Essayer de fixer les dépendances avec:
apt --fix-broken install
Zfs
Aucun zpool
Assurer que zfs-dkms est installé
Loadé les modules: modprobe zfs ; lsmod | grep zfs
Chercher pour les pools: zpool import -a
Si tout est bien passé, on devrait voir les pools:
zpool list
upgrade
Voici la doc ici: ZfsMaintenance#mettre_.2BAOA_jour_un_pool_.28upgrade.29
Procédure d'upgrade manuelle (utiliser seulement si vous n'utilisez pas bolt)
Pre-upgrade
Follow all of the steps in #Pre-upgrade up until the bolt command
- Run (as root) in tmux and record the session
ttyrec -e tmux /var/log/upgrade-buster.ttyrec
- Run puppet once to see if there's any outstanding issues. If so, try to fix them.
puppet agent -t
- backup configuration:
NEXT_RELEASE=buster cd /etc; git tag pre-${NEXT_RELEASE} git gc --prune # make /etc smaller for backup tar cfz /var/backups/pre-${NEXT_RELEASE}-backup.tgz /etc /var/lib/dpkg /var/lib/apt/extended_states /var/lib/aptitude/pkgstates # Note: it may be /var/lib/apt/extended_states in jessie, depending on installed software and history dpkg --get-selections "*" > /var/backups/dpkg-selections-pre-${NEXT_RELEASE}.txt chmod 0600 /var/backups/pre-${NEXT_RELEASE}-backup.tgz /var/backups/dpkg-selections-pre-${NEXT_RELEASE}.txt
Prepare and check system
We are upgrading puppet to 5.x since the master is also 5.x. It's the first OS upgrade in a while for which Koumbit upgrades puppet and is not staying behind!
- disable puppet, pinning and check for packages on hold or broken
puppet agent --disable "upgrading system to buster" # Disable puppet so it won't overwrite apt's config while we upgrade: rm /etc/apt/preferences /etc/apt/preferences.d/* # Check for pinned (on hold) packages, and possibly disable rm /etc/apt/sources.list.d/testing.list # or other similar backports or sources from later releases apt-mark showhold dpkg --audit # searches for packages that have been installed only partially on your system or that have missing, wrong or obsolete control data or files. dpkg will suggest what to do with them to get them fixed.
Remove any stray apt config files from jessie/stretch:
rm -f /etc/apt/apt.conf.d/{50jessie,99no_check_until}
- Run any pending upgrade:
apt update && apt -y upgrade
En cas de warning de type --force-yes is deprecated, use one of the options starting with --allow instead, vérifier si un fichier from_puppet est présent dans /etc/apt/apt.conf.d/ avec une option APT::Get::force-yes true;
Si tel est le cas, commenter la ligne. Cela provoque un warning APT dans icinga (unhandled)
Ces configurations ne sont pas dans puppet. Il y a un billet dans redmine à ce sujet: #33642.
Preparing sources.list
This mostly means changing stretch to buster.
sed -i 's/stretch/buster/g' /etc/apt/sources.list /etc/apt/sources.list.d/* rm /etc/apt/sources.list.d/stretch-backports.list
Note that in some cases, additional sources are defined in /etc/apt/sources.list.d and that you should review these sources to ensure they are still relevant:
ls /etc/apt/sources.list.d
we want to keep the following APT repository sources:
/etc/apt/sources.list.d/aegir-stable.list /etc/apt/sources.list.d/koumbit.list /etc/apt/sources.list.d/stretch* # necessary for puppet 4 hosts since puppet wipes out sources.list
Upgrading the packages
- Update the package list and check disk space:
apt update; apt -o APT::Get::Trivial-Only=true dist-upgrade; df -h
See those tips to claim back disk space if missing
- Download packages:
apt -y -d upgrade && apt -y -d dist-upgrade
- Warn users of potential downtime, if relevant
look at the list of packages downloaded above to see if any key service may be disrupted
- preseed some answers:
debconf-set-selections <<EOF console-data console-data/keymap/policy select Don't touch keymap localepurge localepurge/use-dpkg-feature boolean true libpam-runtime libpam-runtime/override boolean false libnss-ldap libnss-ldap/override boolean false libpam-ldap libpam-ldap/override boolean false libc6 libraries/restart-without-asking boolean true EOF
- Minimal upgrade run:
Préparez-vous à possiblement rencontrer des problèmes pour les logiciels à cette étape-ci. Référez-vous à la section des problèmes connus pour les régler.
env DEBIAN_FRONTEND=noninteractive APT_LISTCHANGES_FRONTEND=mail apt upgrade -y -o Dpkg::Options::='--force-confdef' -o Dpkg::Options::='--force-confold'
On physical servers (dom0):
xen packages for i386 platform do NOT exist since Jessie. If you are upgrading a 32bit system, ignore the purge command below and pin the xen packages to keep the ones from wheezy. (TODO we might want to change this recommendation to switch to KVM because keeping wheezy around in buster is really, really sketcy)
Pendant le reboot ci-dessous, utiliser la console série pour aller dans le BIOS et vérifier que la redirection série est configurée à "VT-UTF8" et non "VT-100".
- Upgrade the rest of the system:
env DEBIAN_FRONTEND=noninteractive APT_LISTCHANGES_FRONTEND=mail apt dist-upgrade -y -o Dpkg::Options::='--force-confdef' -o Dpkg::Options::='--force-confold'
Reboot
reboot sudo ttyrec -e tmux /var/log/upgrade-buster-phase2.ttyrec
Si on n'arrive plus à booter, voir PratiquesRécupérationServeur
Finish upgrade
At this point you can merge back to the main procedure above, starting with #Re-enable_and_run_puppet.21
Références
- Upgrades suivants:
BookwormUpgrade (Debian 12)
BullseyeUpgrade (Debian 11)
- Upgrades précédents:
StretchUpgrade (Debian 9)
JessieUpgrade (Debian 8)
WheezyUpgrade (Debian 7)
SqueezeUpgrade (Debian 6)
LennyUpgrade (Debian 5)