Aus dem Betrieb

Ceph-OSDs nachträglich verschlüsseln: wie wir es im laufenden Betrieb gemacht haben

Seit dem 02.10.2026 sind die Speicher- und Systemdatenträger unserer Virtualisierungs-Hosts verschlüsselt. Die Ceph-OSDs haben wir vom 24.09. bis zum 30.09.2026 im laufenden Betrieb umgebaut: eine OSD nach der anderen, jede unter derselben ID neu angelegt, mit dm-crypt verschlüsselt und erst nach dem vollständigen Zurückfüllen der Daten die nächste.

Dieser Artikel zeigt, warum wir nicht neu aufgesetzt und nicht vorher geleert haben, welche Schritte jede OSD durchlief, wie wir alte Klartextreste auf den Datenträgern entfernt haben, was dabei schiefging und was die Verschlüsselung schützt und was nicht. Am Ende steht eine Checkliste mit Befehlen.

1. Warum nachrüsten, statt neu aufzusetzen

Ceph verschlüsselt eine OSD nur, wenn sie verschlüsselt angelegt wird. Einen Schalter für eine bestehende OSD gibt es nicht. Wer einen laufenden Cluster verschlüsseln will, hat drei Wege: einen neuen Cluster daneben bauen und umziehen, jede OSD erst leeren und dann neu anlegen, oder jede OSD an Ort und Stelle neu anlegen und die Daten von den anderen Kopien zurückfüllen lassen.

Wir haben den dritten Weg gewählt. Er braucht keine zusätzliche Hardware und bewegt die Daten einer OSD nur einmal. Der Preis: Während eine OSD neu aufgebaut wird, liegen ihre Daten bei dreifacher Replikation nur in zwei Kopien vor. Dieses Fenster dauert vom Anhalten der OSD bis zum Ende des Zurückfüllens.

Dass das geht, steht in der Ceph-Dokumentation: Verschlüsselte und unverschlüsselte OSDs können im selben Cluster nebeneinander laufen. Ein Cluster kann also tagelang halb umgebaut sein, ohne dass das Ceph oder die Anwendungen stört.

2. Was wir umgebaut haben

Alle OSDs unseres Ceph-Clusters. Darauf liegen die virtuellen Maschinen, der Objektspeicher und die Datenbank-Volumes unserer Plattformen, auch die von Fortlauf, unserem eigenen Produkt.

Geräteklasse für Geräteklasse, die wichtigsten Daten zuletzt. Zuerst kam eine Klasse von SSDs, auf der keine Produktionsdaten der Anwendungen liegen. An ihr haben wir das Verfahren erprobt. Danach folgten die Festplatten mit dem Archiv, zuletzt die SSDs mit den Datenbank-Volumes.

Nach jeder Klasse ein Neustart jedes Hosts. Eine verschlüsselte OSD muss nach einem Neustart selbst wieder anlaufen. Das haben wir nicht angenommen, sondern nach jeder Klasse an jedem Host einzeln geprüft (Abschnitt 4).

Betrieb lief weiter. Für die Neustarts haben wir die virtuellen Maschinen jeweils auf andere Hosts verschoben. Eine Maschine mit durchgereichter Hardware lässt sich nicht verschieben; sie war während des Neustarts ihres Hosts aus.

3. Wie eine OSD umgebaut wurde

Jeder Befehl wurde einzeln freigegeben, und vor jedem riskanten Schritt stand eine Prüfung, die bei einem falschen Wert abbricht.

Jede OSD durchlief dieselben Schritte:

  1. Gerät eindeutig bestimmen. OSD-ID, Host und Datenträger aus Ceph selbst auslesen, nicht aus einer Liste oder aus dem Gedächtnis. Seriennummer notieren.
  2. Prüfen, ob der Cluster eine Kopie verlieren darf. Alle Placement Groups active+clean, ceph osd ok-to-stop bestätigt, keine andere OSD unten.
  3. noout setzen. Das verhindert, dass Ceph die Daten der angehaltenen OSD auf andere OSDs verschiebt.
  4. Daemon anhalten, dann ceph osd destroy. Destroy behält die ID, den Platz in der CRUSH-Map und das Gewicht. Deshalb landen die Daten später wieder an derselben Stelle.
  5. Reste aufräumen. Alte Aktivierungs-Units der OSD entfernen, sonst laufen sie bei jedem Neustart ins Leere (Abschnitt 5).
  6. Datenträger leeren und Klartextreste entfernen (Abschnitt 4).
  7. Verschlüsselt neu anlegen mit ceph-volume lvm create --dmcrypt --osd-id <ID>.
  8. Sieben Prüfungen, bevor die OSD als fertig gilt: verschlüsselt laut ceph-volume, laut Blockgerät und laut cryptsetup (LUKS2, AES-XTS); OSD up und in; Geräteklasse unverändert; CRUSH-Gewicht wie vor dem Umbau; keine Datenbewegung in anderen Geräteklassen.
  9. Warten, bis alle Placement Groups wieder active+clean sind.
  10. Anwendungsseitig prüfen. Fortlauf prüft täglich eine Stichprobe der archivierten Dokumente gegen ihre gespeicherten Prüfsummen. Diese Prüfung meldete während des gesamten Umbaus keinen Fehler.
  11. noout zurücknehmen und den Gesundheitszustand mit dem Stand vor dem Umbau vergleichen.

Was wir vorher geprüft haben. Vor der ersten OSD haben wir das Verfahren gegen die Ceph-Dokumentation und den Ceph-Quellcode geprüft. Vier Punkte haben das Verfahren verändert:

  • ceph osd out hätte die Arbeit verdoppelt. Wer eine OSD vor dem Umbau „out” setzt, kopiert ihre Daten einmal weg und nach dem Neuaufbau wieder zurück. Mit noout und ohne Leeren wandern sie nur einmal.
  • Nach destroy läuft eine Uhr. Ceph setzt eine zerstörte OSD nach zehn Minuten (Standardwert) automatisch „out” und beginnt, ihre Daten umzuverteilen. Nur noout hält das auf. Ohne noout wird aus einer Datenbewegung unbemerkt eine doppelte.
  • Ein Fehler beim Neuanlegen kann die OSD ganz entfernen. Scheitert ceph-volume lvm create mittendrin, räumt es mit purge-new auf und nimmt den Platz in der CRUSH-Map mit; dann beginnt eine vollständige Umverteilung. Das ist ein bekannter, offener Fehler im Ceph-Tracker (#50878). Bei uns ist er nicht aufgetreten; die Anleitung sah vor, nach einem Fehler erst ceph osd tree zu lesen und nie blind zu wiederholen.
  • --crush-device-class wirkt beim Wiederverwenden einer ID nicht. Die Geräteklasse bleibt trotzdem erhalten, weil destroy die CRUSH-Map nicht anfasst. Wir haben sie nach jeder OSD per Zeichenvergleich geprüft, statt uns auf die Option zu verlassen.

Außerdem: Die Anleitung „Replacing an OSD” der Ceph-Dokumentation nennt keinen Schritt, der den Daemon anhält, und kein noout. Ceph verweigert destroy und zap aber bei einer laufenden OSD. Unter Proxmox VE haben wir pveceph osd destroy bewusst nicht verwendet, weil es den Eintrag in der CRUSH-Map entfernt.

4. Was wir gemessen haben

Was Ergebnis
Zeitraum 24.09.2026 bis 30.09.2026, mit Pausen über Nacht
Zurückfüllen der Daten pro OSD, SSD meist 35 bis 60 Minuten, längstens etwa 90 Minuten
Zurückfüllen der Daten pro OSD, Festplatte meist 70 bis 120 Minuten, einmal gut drei Stunden
Überschreiben einer Festplatte mit Nullen (wo nötig, Abschnitt 5) knapp drei Stunden pro Festplatte
Neustart eines Hosts bis alle seine verschlüsselten OSDs wieder liefen etwa 2 bis 3 Minuten, ohne Eingriff
Abschlussprüfung am 30.09.2026 alle OSDs verschlüsselt (übereinstimmend laut Ceph-Konfiguration, ceph-volume und Blockgeräten), alle Placement Groups active+clean, CRUSH-Gewichte wie vor dem Umbau

Klartextreste: der Teil, den viele Anleitungen auslassen. ceph-volume lvm zap löscht die Signaturen und überschreibt die ersten 10 MB mit Nullen. Der Rest des Datenträgers behält die alten, unverschlüsselten Daten, bis zufällig etwas darüber geschrieben wird. Ist ein Cluster nur zu einem kleinen Teil gefüllt, überschreibt die neue, verschlüsselte OSD auch nur einen kleinen Teil. Ohne einen eigenen Schritt läge also der größte Teil der alten Daten weiter im Klartext auf einer Platte, die als verschlüsselt gilt.

Wir haben je nach Gerät eines von drei Werkzeugen eingesetzt und vorher gemessen, welches das Gerät unterstützt:

  • SSDs: blkdiscard. Vorher mit lsblk -D geprüft, dass Discard durch den Controller ankommt. Das dauert Sekunden. Einschränkung: Ein einfaches Discard (TRIM) löscht nicht zuverlässig; ob und wann die Firmware die Blöcke tatsächlich löscht, liegt beim Gerät. Belastbarer sind, wo das Gerät sie unterstützt, blkdiscard --secure, bei NVMe nvme format --ses=1 oder nvme sanitize und bei SATA-SSDs ATA Secure Erase oder Sanitize.
  • Festplatten mit ATA Sanitize: hdparm --sanitize-crypto-scramble. Die Platte verwirft ihren internen Schlüssel, alle Sektoren sind danach unlesbar. Auch das dauert Sekunden.
  • Festplatten, bei denen Sanitize nicht ankam: vollständig mit Nullen überschrieben (blkdiscard -z), knapp drei Stunden pro Platte.

5. Was schiefging und was wir geändert haben

  • Sanitize kam nicht überall an. Auf einem Teil der Hosts lehnte der RAID-Controller im JBOD-Modus den Sanitize-Befehl ab, auf anderen mit demselben Controller-Modell und demselben BIOS-Stand nicht. hdparm meldete einen Fehler, gestartet wurde nichts. Die betroffene OSD blieb im Zustand destroyed unter noout, bis entschieden war: Diese Festplatten werden mit Nullen überschrieben. Das kostete knapp drei Stunden pro Platte statt Sekunden. Unsere Lehre: Ob ein Befehl durch einen Controller kommt, gilt pro Host, nicht pro Modell. Wir prüfen es auf jedem Host vorher, nur lesend.
  • Ein Erfolg ohne Erfolgsmeldung. Auf einem anderen Host meldete der Scramble Rückgabewert 0, aber nicht die Zeile „Completed Without Error”, die andere Hosts zeigten. Statt auf den Statustext zu vertrauen, haben wir den Inhalt gelesen: Der Bereich, den zap vorher mit Nullen beschrieben hatte, enthielt danach Zufallsdaten. Damit war der Scramble nachgewiesen.
  • Alte Aktivierungs-Units liefen ins Leere. Beim ersten Probe-Neustart fanden wir auf zwei Hosts Aktivierungs-Units von früheren OSD-Wechseln, die auf nicht mehr existierende OSDs zeigten. Sie versuchten es etwa 150 Sekunden lang und meldeten dann trotzdem Erfolg. Ceph-volume beendet seine Wiederholungen ohne Fehlercode, auch wenn die Aktivierung nie gelang. Deshalb ist systemctl status nach einem Neustart kein Beweis. Beweis ist, dass ceph osd tree jede OSD des Hosts als up zeigt. Die alten Units haben wir beim Umbau der jeweiligen OSD entfernt.
  • Eine Prüfung hielt an, zu Recht. Vor einer OSD meldete die Eingangsprüfung, dass nicht alle Placement Groups active+clean waren: Ein gewöhnlicher Scrub lief gerade. Die Prüfung brach ab, wir warteten, sie bestand im zweiten Anlauf.
  • Ein Zählbefehl zählte die Kopfzeile mit. In der Anleitung zählte ein Befehl die Kopfzeile der Ausgabe als Gerät. Die erste Prüfung zeigte deshalb eine Abweichung um eins. Wir haben sie aufgeklärt, bevor es weiterging, und die Anleitung korrigiert.
  • Die Verbindung zu den Hosts brach mehrmals ab. Der Cluster lief davon unberührt weiter; nur unsere Beobachtung riss ab. Lange Vorgänge wie das Überschreiben mit Nullen haben wir deshalb so gestartet, dass ein Verbindungsabbruch sie nicht beendet. Nach jedem Abbruch lasen wir zuerst den Zustand (zerstörte OSDs, Flags, Placement Groups), bevor wir weitermachten.

Keiner dieser Punkte hat Daten gekostet. Drei davon hätten ohne ausdrückliche Prüfung falsche Sicherheit gegeben: der fehlende Scramble-Nachweis, der grüne Status der Aktivierungs-Units und ein Zählfehler, der ein fehlendes Gerät verdecken kann.

6. Was die Verschlüsselung schützt und was nicht

Umfang: Die Verschlüsselung schützt Datenträger, die ausgeschaltet oder ausgebaut sind. Nicht enthalten: Daten auf einem laufenden System.

  • Geschützt: eine Platte, die zur Reparatur geht, ausgemustert wird oder abhandenkommt. Bevor bei uns eine Platte den Betrieb verlässt, wird sie zusätzlich gelöscht und das Ergebnis festgehalten.
  • Nicht geschützt: alles, was auf einem laufenden System lesen darf. Wer gültige Zugangsdaten einer Anwendung oder eines Mandanten hat, liest die Daten unverschlüsselt; für ihn ist die Verschlüsselung der Datenträger unsichtbar. Dagegen helfen Zugriffsrechte, Mandantentrennung und Überwachung, nicht dm-crypt.
  • Keine Sicherung. Eine verschlüsselte OSD ersetzt keine Sicherung an einem anderen Ort. Wie wir die Wiederherstellung von Datenbanken messen, zeigt die Restore-Probe für Datenbanken.
  • Schlüssel. Ohne Schlüssel sind die Daten einer verschlüsselten OSD auch für Sie verloren. Klären Sie vor der ersten OSD, wie die Schlüssel gesichert sind und wie Sie im Notfall an sie kommen, und proben Sie das. Wie wir das lösen, veröffentlichen wir nicht.

7. Wann sich das Nachrüsten lohnt

  • Wenn Hardware das Haus verlassen kann: Reparatur, Rückgabe am Ende eines Leasings, Ausmusterung, Colocation. Genau dafür ist die Verschlüsselung von Datenträgern gebaut.
  • Wenn ein Sicherheitsfragebogen „Verschlüsselung ruhender Daten” abfragt und Sie die Antwort mit Datum und Umfang belegen wollen statt mit „geplant”.
  • Bevor der Cluster voller wird. Der Umbau bewegt pro OSD deren Daten einmal. Je mehr Daten, desto länger das Fenster mit zwei statt drei Kopien.
  • Beim Wechsel auf Proxmox VE und Ceph. Wer von VMware zu Proxmox VE umzieht, legt die OSDs am besten gleich verschlüsselt an. Dann entfällt dieser ganze Artikel.
  • Und danach immer: Jede neue OSD wird verschlüsselt angelegt. Eine einzige unverschlüsselte OSD, später hinzugefügt, bringt Klartext in einen Pool zurück, den alle für verschlüsselt halten, und nichts warnt davor.

8. Checkliste für Ihren eigenen Umbau

Vorher:

  • Ceph und das Betriebssystem der Hosts auf aktuellem Stand; danach erst die erste OSD anfassen, nicht dazwischen aktualisieren.
  • Geklärt und geprobt, wie die Schlüssel gesichert sind und wie Sie im Notfall an sie kommen.
  • Gesundheitsdaten der Datenträger gelesen; auffällige Platten auf eine Beobachtungsliste.
  • Pro Gerät gemessen, welches Werkzeug gegen Klartextreste funktioniert (lsblk -D, hdparm -I), auf jedem Host einzeln.
  • Ausgangszustand gesichert: ceph osd df tree, Geräteklassen, Gesundheitsmeldungen.
  • Reihenfolge festgelegt: zuerst eine Klasse ohne Produktionsdaten, die wichtigsten Daten zuletzt.
  • Eine anwendungsseitige Integritätsprüfung, die Sie zwischen den OSDs lesen können.
ID=12            # Beispiel
ceph osd tree | grep -w "osd.$ID"                    # Klasse, Gewicht, up/in notieren
CLASS=$(ceph osd tree -f json | jq -r ".nodes[]|select(.id==$ID)|.device_class")
DEV=$(ceph-volume lvm list "$ID" --format json | jq -r ".[\"$ID\"][0].devices[0]")
lsblk -o NAME,SIZE,MODEL,SERIAL "$DEV"               # Seriennummer notieren

ceph pg stat                                         # alle active+clean?
ceph osd ok-to-stop "osd.$ID"

Pro OSD:

  • noout gesetzt und geprüft, dass es gesetzt ist.
ceph osd set noout
systemctl stop "ceph-osd@$ID"
ceph osd tree | grep -w "osd.$ID"                    # muss "down" UND "in" zeigen

ceph osd destroy "$ID" --yes-i-really-mean-it        # nie purge, nie pveceph osd destroy
ceph osd tree | grep -w "osd.$ID"                    # "destroyed", Gewicht unverändert

ceph-volume lvm zap --destroy --osd-id "$ID"
  • Alte Aktivierungs-Units dieser OSD entfernt (systemctl list-units 'ceph-volume@lvm-<ID>-*' --all).
  • Unmittelbar vor dem Löschen der Reste das Gerät erneut bestimmt: Host, Seriennummer, keine OSD beansprucht es.
lsblk -o NAME,SIZE,SERIAL "$DEV"
ceph-volume lvm list | grep -c "$DEV"                # muss 0 sein

lsblk -D -o NAME,DISC-GRAN,DISC-MAX "$DEV"           # DISC-MAX > 0: Discard geht
blkdiscard -v "$DEV"                                 # SSD; löscht nicht zuverlässig
# belastbarer, wo unterstützt: blkdiscard --secure, nvme format --ses=1, nvme sanitize
# Festplatte mit Sanitize:
#   hdparm --yes-i-know-what-i-am-doing --sanitize-crypto-scramble "$DEV"
# sonst, dauert Stunden, gegen Verbindungsabbruch abgesichert starten:
#   nohup blkdiscard -z -v "$DEV" > zerofill.log 2>&1 &
  • Scramble am Inhalt nachgewiesen, nicht am Statustext: Der von zap genullte Bereich muss danach zufällig aussehen.
# Nach einem Scramble: fast alle Bytes ungleich null. Nullen heißen: nicht gelöscht.
dd if="$DEV" bs=1M count=1 skip=2 2>/dev/null | tr -d '\0' | wc -c
  • Verschlüsselt neu angelegt, dieselbe ID. Bei einem Fehler zuerst ceph osd tree lesen, nie blind wiederholen.
ceph-volume lvm create --objectstore bluestore --data "$DEV" \
    --osd-id "$ID" --dmcrypt --crush-device-class "$CLASS"

ceph-volume lvm list "$ID" | grep encrypted          # "encrypted 1"
lsblk -o NAME,TYPE "$DEV" | grep -c crypt            # mindestens 1
[ "$(ceph osd tree -f json | jq -r ".nodes[]|select(.id==$ID)|.device_class")" = "$CLASS" ] \
  && echo "Klasse ok" || echo "Klasse falsch"
ceph osd df tree | grep -w "osd.$ID"                 # Gewicht mit dem Ausgangszustand vergleichen
  • Gewartet, bis alle Placement Groups active+clean sind; Dauer notiert. Die erste OSD jeder Klasse ist Ihre Schätzung für den Rest der Klasse.
  • Anwendungsseitige Integritätsprüfung gelesen.
  • noout zurückgenommen, Gesundheitsmeldungen mit dem Ausgangszustand verglichen.

Nach jeder Klasse:

  • Jeden Host einzeln neu gestartet; Beweis ist ceph osd tree, nicht systemctl status.
ceph osd set noout
# Gäste vom Host verschieben, dann neu starten. Danach:
ceph osd tree                                        # jede OSD des Hosts up und in?
grep -E 'failed activating|successfully triggered' /var/log/ceph/ceph-volume-systemd.log | tail -20
lsblk -o NAME,TYPE | grep -c crypt                   # = verschlüsselte OSDs auf diesem Host
ceph osd unset noout
  • Kommt eine verschlüsselte OSD nach einem Neustart nicht von selbst zurück: anhalten, Ursache klären, erst dann die nächste Klasse.

Danach:

  • Zahl der verschlüsselten OSDs gleich Zahl aller OSDs, aus mindestens zwei Quellen.
  • Jede künftige OSD verschlüsselt anlegen (ceph-volume lvm create --dmcrypt, unter Proxmox VE pveceph osd create … --encrypted 1).
  • Jede Platte vor dem Verlassen des Betriebs löschen und das Ergebnis festhalten.

Wo das hinführt

Wir bauen und betreiben Kubernetes-Plattformen mit Ceph als Speicher, auf eigener oder Ihrer Hardware: Kubernetes-Plattformen bauen & betreiben. Wo die Daten hinter diesem Umbau liegen und was wir sonst mit Datum gemessen haben, steht auf der Seite Wo Ihre Daten liegen.

Englische Fassung: Encrypting Ceph OSDs after the fact: how we did it while in service.

Quellen

Abgerufen am 12.10.2026.

Ihren Ceph-Cluster verschlüsseln?

Wir planen den Umbau mit Ihnen: Reihenfolge, Prüfungen, Umgang mit Klartextresten und Probe-Neustarts, und setzen ihn auf Wunsch gemeinsam mit Ihrem Team um.