<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Georgi Steffenhagen on Medium]]></title>
        <description><![CDATA[Stories by Georgi Steffenhagen on Medium]]></description>
        <link>https://medium.com/@georgisteffenhagen?source=rss-65de2a1960a8------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*S_LKyeK1uwFhE5CTMPZ23Q.jpeg</url>
            <title>Stories by Georgi Steffenhagen on Medium</title>
            <link>https://medium.com/@georgisteffenhagen?source=rss-65de2a1960a8------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 04:01:53 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@georgisteffenhagen/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Digitaler Unternehmenszwilling: Warum KI im Mittelstand nicht am Modell scheitert, sondern am…]]></title>
            <link>https://georgisteffenhagen.medium.com/digitaler-unternehmenszwilling-warum-ki-im-mittelstand-nicht-am-modell-scheitert-sondern-am-092300af2f13?source=rss-65de2a1960a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/092300af2f13</guid>
            <category><![CDATA[knowledge-graph]]></category>
            <category><![CDATA[wissensmanagement]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[digitalisierung]]></category>
            <dc:creator><![CDATA[Georgi Steffenhagen]]></dc:creator>
            <pubDate>Sun, 21 Jun 2026 16:03:46 GMT</pubDate>
            <atom:updated>2026-06-21T16:03:46.973Z</atom:updated>
            <content:encoded><![CDATA[<h3>Digitaler Unternehmenszwilling: Warum KI im Mittelstand nicht am Modell scheitert, sondern am fehlenden Zusammenhang</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/718/1*xBHdppAgiA8b_h6B-ToeRg.png" /></figure><p><em>Unternehmen haben kein Datenproblem. Sie haben ein Zusammenhangsproblem. Und genau das entscheidet, ob Unternehmens-KI funktioniert.</em></p><p>Stellen Sie sich vor, Ihr wichtigster Kunde springt ab. Am selben Tag kündigt der Mitarbeiter, der als Einziger Ihre ERP-Schnittstellen wirklich versteht.</p><p>Wie lange bräuchte Ihr Unternehmen, um zu sagen, was das konkret bedeutet? Welcher Umsatz, welche Projekte, welches Wissen hängen daran, und welche Risiken entstehen daraus?</p><p>In den meisten Unternehmen lautet die ehrliche Antwort: Tage, eher Wochen. Und das, obwohl alle nötigen Daten längst im Haus sind.</p><p>Genau das beschäftigt mich nach vielen Jahren in komplexen IT-Landschaften am meisten. Unternehmen haben nicht zu wenig Daten. Sie haben zu wenig Zusammenhang.</p><p>An dieser Stelle setzt ein digitaler Unternehmenszwilling an: ein lebendiges Abbild der Beziehungen in einem Unternehmen, nicht ein weiterer Datenspeicher und kein weiteres Dashboard.</p><h3>Das eigentliche Problem ist nicht die Datenmenge</h3><p>Schauen Sie auf Ihre Systemlandschaft. Das CRM kennt die Kontakte. Das ERP kennt die Zahlen. In SharePoint liegen die Dokumente, im Ticketsystem die Probleme, in den E-Mails die Absprachen, in den Verträgen die Verpflichtungen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DlhWIUwGwvPXpYuZMCZClQ.png" /></figure><p>Jedes dieser Systeme ist für sich gut gepflegt. Und trotzdem kann keines eine einfache Frage beantworten: Was bedeutet dieser eine Kunde wirklich für uns?</p><p>Ein Beispiel. Der Vertrieb weiß, dass ein Kunde zuletzt unzufrieden war. Die Buchhaltung weiß, dass derselbe Kunde 18 Prozent des Jahresumsatzes ausmacht. Die Projektleitung weiß, dass drei laufende Projekte an ihm hängen. Drei wahre Aussagen, in drei Systemen, und niemand fügt sie zusammen.</p><p>Das ist das eigentliche Problem hinter dem Schlagwort Datensilos. Jedes System kennt einen Teil der Wahrheit. Keines kennt das Unternehmen als Ganzes.</p><h3>Warum so viele KI-Projekte scheitern</h3><p>Hier kommt meine unbequeme These. Die meisten KI-Projekte im Mittelstand scheitern nicht am Modell. Sie scheitern daran, dass das Unternehmen selbst nie als Beziehungsmodell verstanden wurde.</p><p>Der typische Ablauf sieht so aus. Ein Unternehmen kauft Zugang zu einem leistungsfähigen Sprachmodell, hängt einen Chatbot an die vorhandenen Dokumente und erwartet Antworten auf strategische Fragen. Was es bekommt, sind ordentliche Zusammenfassungen einzelner Dokumente. Was es erwartet hatte, war Verständnis.</p><p>Die Enttäuschung wird dann gern dem Modell angelastet. Tatsächlich liegt es an etwas anderem. Ein noch so großes Modell kann keine Zusammenhänge nutzen, die nirgends abgebildet sind. Wenn die Beziehung zwischen Kunde, Vertrag, Projekt und Mitarbeiter nur implizit in den Köpfen existiert, kann keine KI sie beantworten.</p><p>Die Frage ist also nicht: Welches Modell ist groß genug? Die Frage ist: Versteht unser System überhaupt, wie unser Unternehmen zusammenhängt?</p><h3>Was ein digitaler Unternehmenszwilling wirklich ist</h3><p>Den Begriff digitaler Zwilling kennen viele aus der Industrie. Eine Maschine bekommt ein digitales Abbild, das Zustand und Abhängigkeiten widerspiegelt. Ein digitaler Unternehmenszwilling überträgt diese Idee auf die Organisation selbst.</p><p>So funktioniert ein Unternehmen tatsächlich: Ein Kunde hat einen Vertrag. Der Vertrag gehört zu einem Projekt. Das Projekt wird von Mitarbeitern getragen. Diese Mitarbeiter besitzen Wissen. Dieses Wissen steckt in Produkten und Entscheidungen, die wieder beim Kunden landen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ERrI74_G1uQTvd9ejHlPhQ.png" /></figure><p>Ein Kunde allein ist ein Datensatz. Ein Vertrag allein ist ein PDF. Ein Mitarbeiter allein ist ein Eintrag im HR-System. Erst die Verbindung dieser Punkte zeigt, wie das Unternehmen wirklich arbeitet.</p><p>Technisch steckt dahinter meist ein Knowledge Graph, der Unternehmenswissen als Netz aus Beziehungen abbildet. Aber das ist Mittel zum Zweck. Im Kern ist es modernes Wissensmanagement, nur dass nicht Dokumente verwaltet, sondern Beziehungen abgebildet werden. Entscheidend ist der Perspektivwechsel: Ein klassischer Datenbestand beantwortet die Frage, wo eine Information liegt. Ein Unternehmenszwilling beantwortet die wichtigere Frage, was womit zusammenhängt.</p><h3>Chatbot, Suche, RAG, Zwilling: fünf Stufen, die oft verwechselt werden</h3><p>In der Praxis werden fünf sehr unterschiedliche Dinge in einen Topf geworfen. Es lohnt sich, sie zu trennen.</p><p>Dokumentensuche findet Dokumente. Sie liefert die Datei, in der ein Begriff vorkommt, klassisch über Stichworte, moderner über Bedeutungsähnlichkeit.</p><p>Ein Chatbot formuliert daraus eine lesbare Antwort. Angenehm im Ton, aber nur so gut wie das, was er findet.</p><p>RAG, also retrieval-augmented generation, ist der aktuelle Standard für Enterprise AI. Das System sucht passende Textstellen heraus und lässt ein Sprachmodell daraus antworten. Das ist nützlich, hat aber eine Grenze. RAG arbeitet mit Textähnlichkeit, nicht mit Beziehungen. Es findet, was ähnlich klingt, nicht, was zusammenhängt.</p><p>Ein digitaler Unternehmenszwilling geht den entscheidenden Schritt weiter. Er kennt die Verbindungen zwischen Kunden, Verträgen, Projekten und Menschen und kann sie entlanglaufen.</p><p>Echtes Unternehmensverständnis ist die letzte Stufe. Dort kommen Beziehungen, zeitliche Entwicklung und Konsequenzen zusammen. Das ist das Ziel, und der Zwilling ist die Grundlage dafür.</p><h3>Was ein digitaler Unternehmenszwilling nicht ist</h3><p>Damit keine falschen Erwartungen entstehen, ist die Abgrenzung wichtig.</p><p>Er ist kein Data Lake. Alle Daten an einen Ort zu kippen erzeugt noch keinen Zusammenhang, sondern nur einen größeren Haufen.</p><p>Er ist kein weiteres Dashboard. Dashboards zeigen Kennzahlen. Der Zwilling zeigt Abhängigkeiten.</p><p>Er ist kein Chatbot auf Ihren Dokumenten. Diese Abkürzung ist genau das Missverständnis, das viele Projekte scheitern lässt.</p><p>Er ist kein Werkzeug, das Entscheidungen ersetzt. Er macht Zusammenhänge sichtbar, damit Menschen besser entscheiden.</p><p>Und er ist kein einmaliges Projekt. Ein Unternehmen verändert sich täglich, sein Abbild muss mitwachsen.</p><h3>Praxisbeispiel: Was verlieren wir, wenn Herr Müller kündigt?</h3><p>Werden wir konkret. Herr Müller arbeitet seit vierzehn Jahren im Haus. Er kennt die Kunden, die Historie, die Sonderfälle und die Abkürzungen, die nie dokumentiert wurden. Eines Morgens legt er seine Kündigung vor.</p><p>Die offizielle Reaktion lautet: Wir organisieren eine Übergabe. Die ehrlichere Frage lautet: Wissen wir überhaupt, was übergeben werden muss?</p><p>Ein digitaler Unternehmenszwilling macht sofort sichtbar, was an dieser einen Person hängt:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5RTX3tt0WDUdDGNcAM49Mw.png" /></figure><p>Herr Müller ist der einzige Kontakt zu zwei wichtigen Kunden. Er hält das undokumentierte Wissen über eine alte Schnittstelle. Zwei laufende Projekte hängen direkt an ihm, und seine Expertise sichert einen Produktbereich, der unscheinbar wirkt, aber hohe Wartungserlöse bringt.</p><p>Damit wird aus einer Personalfrage eine Risikolandkarte. Die Personalplanung sieht, wo Wissen verloren geht. Das Management sieht, welche Kundenbeziehungen wackeln. Und Müller bekommt in seinen letzten Wochen nicht irgendeine Übergabeliste, sondern die richtige.</p><p>Das ist der Nutzen, den jeder Unternehmer versteht. Nicht: Wir nutzen KI. Sondern: Wir verlieren weniger Wissen, wenn Menschen gehen.</p><h3>Praxisbeispiel: Was passiert, wenn unser größter Kunde geht?</h3><p>Die zweite Frage ist unbequemer. Was, wenn der wichtigste Kunde kündigt?</p><p>Heute startet dann meist wochenlange Handarbeit. Jemand zieht Umsatzzahlen, jemand prüft die Projektliste, das Produktteam erklärt, welche Funktionen eigens für diesen Kunden entstanden sind. Bis ein Gesamtbild steht, ist die Lage oft schon eine andere.</p><p>Ein Zwilling zeigt diese Abhängigkeiten in Minuten. Wie viel Umsatz an dem Kunden hängt, welche Teams plötzlich nicht ausgelastet sind, welche Produktentscheidungen vor allem für ihn getroffen wurden und welcher Rahmenvertrag in 90 Tagen ausläuft.</p><p>Der Unterschied ist grundsätzlich. Klassisches Reporting zeigt, was passiert ist. Ein Unternehmenszwilling zeigt, welche Kettenreaktion droht. Aus einem Bericht wird ein Frühwarnsystem. Und genau das ist für die Geschäftsführung wertvoll: nicht mehr Daten, sondern eine bessere Einschätzung von Wirkung.</p><h3>Wo Unternehmen anfangen sollten</h3><p>Die gute Nachricht ist: Niemand muss dafür das gesamte Unternehmen auf einmal modellieren. Das wäre sogar der sicherste Weg, zu scheitern.</p><p>Fangen Sie mit einer einzigen Frage an, die heute wehtut. Etwa: Was hängt an unserem wichtigsten Kunden? Oder: Welches Wissen verlieren wir mit den nächsten Renteneintritten?</p><p>Verbinden Sie dann nur die wenigen Quellen, die diese Frage beantworten, statt alle Systeme gleichzeitig. Meist genügen drei oder vier: CRM, Projektliste, Verträge und das Wissen aus einigen Köpfen.</p><p>Modellieren Sie bewusst die Beziehungen, nicht die Dokumente. Wer hängt an wem, was hängt an was.</p><p>Und halten Sie es klein und ehrlich. Ein Zwilling, der eine wichtige Frage zuverlässig beantwortet, ist mehr wert als ein ambitioniertes Datenprogramm, das nach zwei Jahren noch immer nichts entscheidet. Aus diesem ersten Anwendungsfall wächst der Rest.</p><h3>Warum das gerade jetzt im Mittelstand möglich wird</h3><p>Vor wenigen Jahren war so etwas Konzernen mit großen Datenteams vorbehalten. Das ändert sich gerade, und das ist der eigentliche Grund, warum KI im Mittelstand jetzt interessant wird.</p><p>Moderne Sprachmodelle können unstrukturierten Text lesen und Beziehungen daraus erkennen. Aus einer E-Mail, einem Vertrag oder einem Protokoll lässt sich automatisch ableiten, wer mit wem und mit was zusammenhängt. Genau die Fleißarbeit, die früher niemand leisten konnte, übernimmt heute die Technik.</p><p>Technisch besteht ein solcher Zwilling aus drei Bausteinen, die heute alle verfügbar sind. Erstens eine Wissensbasis, die nicht Dokumente, sondern Beziehungen speichert, also der bereits erwähnte Knowledge Graph. Zweitens eine Schicht, die aus den vorhandenen Quellen wie CRM, ERP, Verträgen und E-Mails automatisch Entitäten und ihre Verbindungen herauszieht und den Graphen aktuell hält. Drittens eine Sprachschicht, die normale Fragen in Abfragen über dieses Beziehungsnetz übersetzt und verständlich beantwortet. Die Kombination aus Graph und Sprachmodell wird oft GraphRAG genannt: ein RAG, das nicht nur ähnlich klingende Texte findet, sondern echten Beziehungen folgt.</p><p>Dazu kommt: Das lässt sich im eigenen Haus betreiben. Sensible Daten müssen das Unternehmen nicht verlassen, was für den Mittelstand kein Nebenaspekt ist, sondern oft die Bedingung.</p><p>Trivial ist es trotzdem nicht. Ein Unternehmenszwilling entsteht nicht durch einen Workshop und ein paar Prompts. Er braucht Datenqualität, klare Verantwortung und ein ehrliches Bild der eigenen Prozesse. Aber er ist kein Konzernprivileg mehr.</p><h3>Der eigentliche Wettbewerbsvorteil</h3><p>In der öffentlichen Debatte geht es fast nur um Modelle. Welches ist größer, welches ist schneller, wann kommt AGI? Für Ihr Unternehmen ist das die falsche Frage.</p><p>Ein Modell, das die ganze Welt kennt, aber nicht weiß, dass Ihr wichtigster Kunde an einem gefährdeten Projekt hängt, schafft keinen Vorsprung. Der Vorsprung entsteht nicht durch das Modell, sondern durch das Unternehmenswissen, das mit ihm nutzbar wird.</p><p>Das ist schwer zu kopieren. Ein Wettbewerber kann dieselben Modelle einsetzen. Ihr Unternehmensgedächtnis kann er nicht kopieren.</p><p>Deshalb wird die nächste Stufe der Unternehmens-KI nicht dadurch besser, dass Modelle größer werden. Sie wird besser, weil sie versteht, wie ein Unternehmen innerlich zusammenhängt. Dokumente enthalten Informationen. Unternehmen bestehen aus Beziehungen.</p><p>Bevor Sie also über das nächste Modell oder über AGI nachdenken, lohnt sich eine konkretere Frage:</p><p><em>Welche Frage über Ihr eigenes Unternehmen kann heute niemand zuverlässig beantworten?</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=092300af2f13" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Ceph Upgrade Stuck? The 30 Ways It Fails, and the Pre-Flight Checklist That Prevents Them]]></title>
            <link>https://georgisteffenhagen.medium.com/ceph-upgrade-stuck-the-30-ways-it-fails-and-the-pre-flight-checklist-that-prevents-them-df4f2e4c161d?source=rss-65de2a1960a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/df4f2e4c161d</guid>
            <category><![CDATA[storage]]></category>
            <category><![CDATA[cloud-computing]]></category>
            <category><![CDATA[ceph]]></category>
            <category><![CDATA[cloud-storage]]></category>
            <category><![CDATA[distributed-systems]]></category>
            <dc:creator><![CDATA[Georgi Steffenhagen]]></dc:creator>
            <pubDate>Sat, 13 Jun 2026 06:35:48 GMT</pubDate>
            <atom:updated>2026-06-13T06:35:48.531Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*F02gFutVVI3zhseww1VAOg.png" /></figure><p><em>Why cephadm upgrades stall, why OSDs won’t restart after a version jump, and how to make your next upgrade boring.</em></p><p>A Ceph upgrade is the most dangerous routine operation in storage. It is routine because you have no choice: releases go end-of-life, security fixes only land on the newest branches, and every cycle you skip makes the eventual jump bigger. It is dangerous because an upgrade touches every daemon in the cluster, one after another, while production traffic keeps flowing. When it goes well, nobody notices. When it goes badly, you are rebuilding a monitor store from OSDs at four in the morning.</p><p>This is a field guide to the ways those upgrades actually die. Around thirty distinct failures, from a single stuck daemon to a 306-OSD cluster that lost monitor quorum mid-upgrade, all of them real production incidents. For each one: what broke, how it was diagnosed, what fixed it, and the part I care about most, what would have prevented it.</p><p>Every incident here is real, and so is every error message. Where a root cause was confirmed by a tracker issue I link it. Where a case was never resolved I say so, because the unresolved ones are data too: they tell you which failures have no clean recovery path, and those are exactly the ones your pre-flight checklist exists for.</p><p><strong>What’s inside:</strong> stuck at 66 percent · UPGRADE_REDEPLOY_DAEMON · UPGRADE_FAILED_PULL on mixed-arch · cannot downgrade to a dev release · unsafe to stop osd(s) · missing pg_pool_t · OSD stuck at an old osdmap epoch · DB device won’t activate · no OSD starts at boot · ceph-volume suddenly slow · the OS upgrade that broke Ceph · the pre-flight checklist · and what to do if you’re stuck right now.</p><h3>1. What ceph orch upgrade Actually Does</h3><p>You cannot reason about a stuck upgrade without a mental model of the machinery. On a cephadm cluster, an upgrade is not a package operation. It is an orchestration loop that lives inside the active mgr:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yoU9OpR_JlTgBeKXSNkstg.png" /></figure><p>Three properties of this loop explain almost every failure in this article.</p><p><strong>The loop is serial, and it gates on health.</strong> Before stopping each OSD, the orchestrator runs the equivalent of ceph osd ok-to-stop. If stopping that OSD would make any PG inactive, the upgrade waits. Forever, if it has to. One unhealthy daemon, one mis-sized pool, one slow host, and the whole queue stalls behind it. The OSD phase is the red box above for a reason. It has the most daemons, the slowest redeploys, and the most ways to fail.</p><p><strong>The mgr upgrades itself first, and that is your safety net.</strong> Once the mgrs and mons are on the new version, you can pause, stop, and restart the upgrade without harm. This matters, because most operators facing a stuck upgrade are afraid to touch it. Once the control plane is upgraded, ceph orch upgrade stop is not a rollback and does nothing destructive. The already-upgraded daemons simply stay upgraded. There is one caveat that bites: it is only harmless as long as you do not restart with an <em>older</em> image afterward. An implicit downgrade, where upgrade start points at a lower version than what is already running, is the dangerous move, and section 3.4 shows why.</p><p><strong>Every per-host operation has a timeout.</strong> cephadm commands default to a 900-second timeout (mgr/cephadm/default_cephadm_command_timeout). OSD activation runs under systemd timeouts on top of that, inside an activation container. Anything that makes a host slow, and we will meet a spectacular example, turns into timeout kills, failed daemons, and a paused upgrade.</p><p>One more thing the diagram hides: that innocent “resolve tag to digest” step in the second box. Hold that thought until section 3.3.</p><h3>2. The Failure Taxonomy</h3><p>Thirty failure cases sort cleanly into four classes:</p><pre>Class                  Typical symptom                                                        Severity<br>The upgrade stalls     ceph orch upgrade status stops progressing; health warnings pile up    Annoying to scary<br>OSDs don&#39;t come back   Daemons crash or loop on startup after the version jump                Scary to catastrophic<br>Death by slowness      Activation takes minutes per OSD, timeouts kill containers             Insidious<br>The OS upgrade bites   Ceph was fine until the distribution upgrade underneath it             Predictable in hindsight</pre><p>The order matters. Stalls are common and almost always recoverable. Dead OSDs are rarer, and sometimes not recoverable at all. Let’s take them in order.</p><h3>3. Failure Mode 1: The Upgrade Stalls</h3><h4>3.1 Ceph upgrade stuck at 66 percent: one bad OSD holds the line</h4><p>The case that named this article: a production cluster, 113 daemons, upgrading Reef 18.2.7 to Squid 19.2.2. The upgrade ran fine through the crash daemons, the mgrs, and the mons, then stopped at 74 of 113 daemons, which is 66 percent, and sat there for 24 hours. The health output read like a multi-car pileup:</p><pre>HEALTH_WARN 8 OSD(s) experiencing slow operations in BlueStore;<br>Failed to apply 2 service(s): osd.all-available-devices,osd.iops_optimized;<br>1 failed cephadm daemon(s); failed to probe daemons or devices;<br>Degraded data redundancy: 1600150/39365198 objects degraded (4.065%),<br>93 pgs degraded, 103 pgs undersized</pre><p>Underneath all that noise, the actual blocker was one line:</p><pre>daemon osd.19 on phl-prod-host04n in error state</pre><p>A serial upgrade queue stops behind a failed daemon. Here the OSD was wiped, and the same failure promptly reappeared on osd.9, which tells you the wipe only treated a symptom. This one taught two lessons worth more than any specific command.</p><p>The first: do not start changing cluster configuration or reformatting OSDs while the upgrade is stuck. Find the actual cause first, which may be outside Ceph entirely, and only then resume. Panic-tuning a half-upgraded cluster just multiplies your problem space.</p><p>The second was hiding in the config dump. The cluster still carried osd_skip_check_past_interval_bounds. That option was a crutch introduced in Reef 18.2.5 (feature tracker <a href="https://tracker.ceph.com/issues/64002">#64002</a>, backported to Reef as <a href="https://tracker.ceph.com/issues/68501">#68501</a>) to let OSDs start despite a peering bug. The bug itself was past_interval start interval mismatch, tracker <a href="https://tracker.ceph.com/issues/49689">#49689</a>, and it was fixed all the way back in Reef 18.2.0. Because that underlying bug was already gone before Squid, the skip option was deliberately never carried into Squid. So dragging the flag forward across the upgrade means carrying a workaround for a bug that no longer exists. If you are on anything above 18.2.5, remove this setting.</p><p>This is a pattern, not a one-off. Workaround flags pile up in ceph config dump like sediment. Each one was added during some past incident, made sense at the time, and then nobody removed it. An upgrade is exactly the moment when a flag written for version N detonates on version N+1. The generalized rule lands in the checklist later.</p><p>For the stuck state itself, here is the recovery sequence that works. It is safe once the mgrs and mons are already upgraded:</p><pre># Give slow hosts room to breathe (default is 900)<br>ceph config set global mgr/cephadm/default_cephadm_command_timeout 1800<br><br># Refresh the device inventory the orchestrator is choking on<br>ceph orch device ls --refresh<br><br># Read what cephadm is actually doing<br>ceph log last 1000 debug cephadm<br><br># The escalation ladder<br>ceph orch upgrade pause<br>ceph orch upgrade resume<br><br># If resume doesn&#39;t bite: full restart of the upgrade loop<br>ceph orch upgrade stop<br>ceph mgr fail<br>ceph orch upgrade start --image quay.io/ceph/ceph:v19.2.2</pre><p>ceph mgr fail looks drastic but it isn&#39;t. It forces a mgr failover, which hands you a fresh orchestration loop without touching a single OSD.</p><h4>3.2 UPGRADE_REDEPLOY_DAEMON: the phantom daemon and a config that’s a directory</h4><p>A 27-OSD cluster upgrading 19.2.2 to 19.2.3 stopped with:</p><pre>Error: UPGRADE_REDEPLOY_DAEMON: Upgrading daemon osd.1 on host noc3 failed.</pre><p>The dashboard’s daemon-versions table showed two entries for osd.1: one at 19.2.2, one with a blank version. The cephadm log showed the redeploy dying because /var/lib/ceph/{fsid}/osd.1/config existed as a <em>directory</em> instead of a file:</p><pre>IsADirectoryError: [Errno 21] Is a directory:<br>  &#39;/var/lib/ceph/{fsid}/osd.1/config.new&#39; -&gt; &#39;/var/lib/ceph/{fsid}/osd.1/config&#39;</pre><p>The likely cause, and this one was never confirmed fixed, is an orphaned “legacy” daemon entry, the kind that cephadm-adopted clusters can carry over from their pre-cephadm days. The verification and cleanup:</p><pre>ceph orch ps | grep -w osd.1        # how many does the orchestrator see?<br>cephadm ls --no-detail              # on the affected host: any legacy entries?<br>cephadm rm-daemon --name osd.1 --fsid {FSID}   # remove the stale one, carefully</pre><p>That “carefully” matters, and so does the fact that this is a lead rather than a verified cure. One of those two osd.1 entries holds your data. Still, the direction is sound. Adopted clusters, meaning anything that migrated from ceph-deploy, ceph-ansible, or hand-rolled systemd units into cephadm, carry exactly this kind of archaeological debris, and an upgrade is when it surfaces. If your cluster was adopted rather than born in cephadm, an audit of cephadm ls against ceph orch ps on every host belongs in your pre-flight.</p><h4>3.3 UPGRADE_FAILED_PULL on mixed ARM64/AMD64: the repo-digest trap</h4><p>Remember that “resolve tag to digest” step? Here is where it bites. Picture a three-year-old cluster with ARM64 OSD hosts plus AMD64 (Intel) hosts for the mons, mgrs, and MDS daemons. The upgrade from 19.2.2 to 19.2.3 fails instantly with UPGRADE_FAILED_PULL, even though the image was pre-pulled on every host.</p><p>The clue was in ceph orch upgrade status: the target image was not the v19.2.3 tag that was specified, but a sha256 digest. By default (mgr/cephadm/use_repo_digest = true), cephadm resolves the multi-arch tag down to one specific digest, and here it resolved to the ARM64 image. On the AMD64 host, the container died with:</p><pre>ERROR (catatonit:2): failed to exec pid1: Exec format error</pre><p>This is a long-known limitation with multi-arch images. A fix was designed but never implemented, and three years of previous upgrades had simply been lucky. The fix:</p><pre>ceph config set mgr mgr/cephadm/use_repo_digest false<br># The option is not applied at runtime, so restart the mgrs:<br>ceph mgr fail</pre><p>After that, target_image shows the plain tag, each architecture pulls its own variant, and the upgrade proceeds.</p><h4>3.4 “cannot downgrade to a dev release”: moving from an RC to GA</h4><p>You ran a release candidate in your lab, which is good practice, because the QE process depends on it. Now you want to move that cluster to the GA release. The orchestrator refuses:</p><pre>ceph cannot downgrade to a dev release</pre><p>The reason is honest, if surprising. RC and dev containers identify themselves with a build string (in one reported case, 20.3.0-2957-g62bcf65e ... tentacle (dev)) that is version-wise <em>newer</em> than the 20.2.0 GA release. From the orchestrator&#39;s point of view, you are downgrading, and downgrades are refused. The &quot;dev&quot; wording is a quirk of the version check, which labels any same-major downgrade target as &quot;dev&quot;. The real reason for the refusal is the version comparison, because the running dev build is numerically ahead of 20.2.0.</p><p>The escape hatch that worked was not clean, and it is a workaround rather than a supported path. Redeploying daemons with an explicit image bypassed the check, but only for four of the five mgrs:</p><pre>ceph orch daemon redeploy mgr.&lt;name&gt; --image quay.io/ceph/ceph:v20.2.0</pre><p>The last mgr and all the mons had to be moved by hand-editing the container image in their unit.run files. And the final ceph orch upgrade start --ceph-version 20.2.0 only ran cleanly for the rest of the cluster <em>after</em> the cephadm breakage described next was fixed. The partial manual redeploys left the orchestrator itself broken first.</p><p>That second act is worth knowing about. After the manual redeploys, most ceph orch commands returned Error ENOENT: Module not found. The cephadm mgr module refused to load because the dev build had written a spurious editable field into all six cert/key JSONs in config-key storage, which the GA code choked on. It showed up in the traceback in the mgr crash metadata, so keep ceph crash ls and ceph crash info in mind when the orchestrator itself is the casualty. The blunter lesson: treat RC clusters as disposable, because the supported path from RC to GA may not exist.</p><h4>3.5 “unsafe to stop osd(s)”: when your own pools block the upgrade</h4><p>A small 7-OSD cluster, point release 19.2.2 to 19.2.3. The mon and mgr upgrade fine, then every single OSD reports:</p><pre>Error EBUSY: unsafe to stop osd(s) at this time (170 PGs are or would become offline)</pre><p>The cluster was HEALTH_OK. All PGs active+clean. And the orchestrator was <em>right</em> to refuse. The pool listing showed almost every pool configured with size 3 min_size 3. When min_size equals size, stopping any single OSD drops PGs below min_size and makes them inactive, so the ok-to-stop gate correctly concluded that no OSD can ever be stopped. This misconfiguration is worse than an upgrade blocker. It means every unplanned OSD failure takes PGs offline too.</p><pre>ceph osd pool ls detail              # look for: min_size == size<br>ceph osd pool set &lt;pool&gt; min_size 2  # for REPLICATED size-3 pools</pre><p>Two caveats before you paste that across every pool. The min_size 2 value is correct for replicated size-3 pools only. Erasure-coded pools follow a different rule, where min_size should be k + 1 rather than 2, so handle them separately. And min_size 1 is never the answer, because it trades the upgrade blocker for silent data-loss risk. Changing min_size to 2 on the replicated pools let the upgrade flow through immediately. The general point stands: the upgrade&#39;s safety gate is a free audit of your failure-domain math. If ok-to-stop balks on a healthy cluster, those pools could not have survived a real failure either.</p><h3>4. Failure Mode 2: OSDs That Don’t Come Back</h3><p>Stalls are frustrating. This next class is the one that produces the genuinely frightening incidents.</p><h4>4.1 “missing pg_pool_t for deleted pool”: the OSD that aborts on init</h4><p>Two independent incidents, barely three weeks apart (late September and mid-October 2025), hit the same fatal message at OSD startup:</p><pre>osd.21 init missing pg_pool_t for deleted pool 57 for pg 57.3s7;<br>please downgrade to luminous and allow pg deletion to complete before upgrading<br>./src/osd/OSD.cc: 3867: ceph_abort_msg(&quot;abort() called&quot;)</pre><p>The OSD is aborting in OSD::init() because it holds on-disk PG data for a pool that the osdmap says is deleted. A sanity check is tripping on state that should never exist. The &quot;downgrade to luminous&quot; advice is a fossil from the code path&#39;s origin, and it is actively dangerous.</p><blockquote>Whatever the assert message says: <strong>do not downgrade.</strong> Downgrades are unsupported, and going backward from here tends to break more than it fixes.</blockquote><p>In the first case, a Reef 18.2.7 to Squid 19.2.3 upgrade, too much was happening at once: the cluster was rebalancing onto new drives, and a new pool was created halfway through the upgrade. After a host reboot, half the OSDs on a 150 TiB host refused to start.</p><p>The second case is the nightmare version. A 306-OSD cluster on a rolling package upgrade from Octopus 15.2.17 to Quincy 17.2.7, combined with a CentOS 8.2 to 8.4 update, on machines with 500-plus days of uptime, on a cluster whose history included accidentally adding OSDs from a <em>different</em> cluster. OSDs started dying when about ten of forty servers remained. The monitors lost quorum. And ceph-objectstore-tool --op list-pgs on the affected OSDs showed only two or three &quot;ghost&quot; PGs referencing pools deleted long ago, with their hundreds of real PGs gone. The symptoms looked like every RocksDB instance in the cluster had been corrupted and partly rolled back in time. This one was never recovered. It is the single strongest argument for the checklist at the end of this article.</p><p>When you hit the pg_pool_t abort on isolated OSDs, the recommended approach comes with a hard prerequisite: ceph-objectstore-tool only runs against a stopped OSD. Operating on a running OSD&#39;s store risks corrupting it. And on a cephadm cluster, which is most of this article, the data path is not /var/lib/ceph/osd/ceph-21 but /var/lib/ceph/&lt;fsid&gt;/osd.21, reached through cephadm shell --name osd.21 -- ceph-objectstore-tool .... With that understood:</p><pre># 1. NEVER downgrade, whatever the assert message says.<br># 2. Stop the OSD daemon first (ceph orch daemon stop osd.21).<br># 3. Export the offending PG before touching anything:<br>ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-21 \<br>  --pgid 57.3s7 --op export --file /backup/pg57.3s7.export<br># 4. Remove it from ONE OSD, check whether that OSD starts, iterate.</pre><p>What prevents the whole thing: upgrade only when every PG is active+clean, and freeze pool lifecycle operations (create, delete, EC profile changes) for the duration. Both incidents shared the same root pattern. Pool state was in flux while daemon versions were in flux.</p><h4>4.2 OSD stuck at an old osdmap epoch: the set-osdmap “does not exist” trap</h4><p>After a Reef 18.2.4 to Squid 19.2.3 upgrade on a long-lived single-node cluster, 24 OSDs stayed down. Not crashed, though. Running. The containers were up, the processes booted, they loaded their 66 PGs, reported “done with init, starting boot process”, and then ticked forever at osdmap epoch 70297 while the cluster was at 72555, never registering with the mon. Injecting the current map failed:</p><pre>ceph osd getmap 72555 &gt; /tmp/osdmap.72555<br>ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-41/ \<br>  --op set-osdmap --file /tmp/osdmap.72555<br># osdmap (#-1:9c8e9ef2:::osdmap.72555:0#) does not exist.</pre><p>That error message is exquisitely unhelpful: you are trying to <em>create</em> that osdmap, and the tool complains that it does not exist. Reproduced on a test cluster, the answer turns out to be the --force flag, which makes the tool create the missing epoch, after which the OSD starts.</p><p>This is the most dangerous operation in the article, so handle it with matching care. ceph-objectstore-tool requires the OSD stopped. set-osdmap --force carries an explicit corruption warning in the tooling itself, that corruption is possible now or later, so treat it as a last resort and not a routine knob. Export the affected PGs first, run it against one stopped OSD, confirm that OSD rejoins, and never batch it across all 24. And there is no guarantee the force flag will work in your case.</p><pre># OSD stopped, PGs exported. One OSD. Then:<br>ceph-objectstore-tool --op set-osdmap \<br>  --data-path /var/lib/ceph/osd/ceph-41/ \<br>  --file /tmp/osdmap.72555 --force</pre><p>This particular case was never confirmed resolved, so treat the flag as a tested workaround for the injection error rather than a guaranteed fix for the underlying drift, whose root cause was never established. One hypothesis is worth amplifying, because it is checkable in advance: OSDs that have been down for a long time get “resurrected” by an upgrade and wake up epochs behind. Know the state of every OSD before you start, and be suspicious of any that have been down for weeks.</p><h4>4.3 The latent landmine: a DB migration that never set its LV tags</h4><p>This is the most instructive failure in the whole set, because it was planted months before the upgrade that triggered it.</p><p>RocksDB devices had been migrated from raw partitions to LVM volumes using ceph-bluestore-tool bluefs-bdev-migrate. It worked. The OSDs ran fine for months. Then the 18.2.7 to 19.2.3 upgrade came along with its daemon redeploys, and those OSDs would not activate:</p><pre>--&gt; Failed to activate via LVM: could not find db with uuid 6d676bcd-...<br>bdev(... /var/lib/ceph/osd/ceph-256/block) open stat got: (1) Operation not permitted<br>** ERROR: unable to open OSD superblock on /var/lib/ceph/osd/ceph-256</pre><p>ceph-volume lvm list still showed the old pre-migration partition. The root cause: ceph-bluestore-tool migrates the data but does not write the LV tags that ceph-volume relies on to discover OSD devices at activation time. The OSDs only stayed up because nothing had restarted them since the migration. The upgrade was simply the first full redeploy, and any reboot would have done the same.</p><p>The fix is to add the missing tags by hand with lvchange --addtag, copying the tag set from a known-good OSD of the same layout. The uncomfortable part is that there is no complete documentation of the required tag set. The audit that finds this before an upgrade:</p><pre>ceph osd metadata &lt;id&gt; -f json | jq -r &#39;.bluefs_dedicated_db,.devices&#39;<br>cephadm shell -- ceph-bluestore-tool show-label \<br>  --dev /var/lib/ceph/osd/ceph-&lt;id&gt;/block | grep osd_key<br>lvs -o lv_name,lv_tags | grep ceph   # do the tags match reality?</pre><p>The general lesson is bigger than this one bug. An upgrade is the first full restart your cluster has had in months, and it audits every piece of manual surgery you have performed since the last one. Hand-migrated devices, hand-edited unit files, disks swapped without the orchestrator’s knowledge: it all comes due at once, and it all looks like “the upgrade broke my OSDs.”</p><h4>4.4 No OSD starts at boot: the @CMAKE_INSTALL_PREFIX@ packaging bug</h4><p>Short and infuriating. After upgrading a package-installed (non-cephadm) test cluster from Squid 19.2.3 to Tentacle 20.2.0 on CentOS 9 Stream, no OSD started at boot on any node. Empty /var/lib/ceph/osd/ceph-* directories, no symlinks in /run/systemd/system, nothing in the logs. Diffing the packaged systemd units between versions reveals it:</p><pre># /usr/lib/systemd/system/ceph-volume@.service in Tentacle 20.2.0:<br>ExecStart=/bin/sh -c &#39;timeout $CEPH_VOLUME_TIMEOUT @CMAKE_INSTALL_PREFIX@/sbin/ceph-volume-systemd %i&#39;</pre><p>An unexpanded @CMAKE_INSTALL_PREFIX@ build placeholder had shipped in the unit file, so the activation service could never execute. Restoring the Squid version of the line (/usr/sbin/ceph-volume-systemd) fixed it, and ceph-volume lvm activate --all is the manual stopgap. This one was fixed in the 20.2.1 point release.</p><p>I include it not because you will hit this exact bug, since it is fixed, but because of the shape of it: a packaging defect in a brand-new major release, on the less-traveled non-cephadm path, that only surfaces at boot. Which leads straight to the question of <em>when</em> to adopt a new release. More on that in section 7.</p><h3>5. Failure Mode 3: Death by ceph-volume, the O(n²) raw-list regression in 19.2.3 (#73107)</h3><p>The most widely felt regression in this set hit clusters upgrading to Squid 19.2.3. It deserves its own section, because it teaches you how slowness turns into downtime.</p><p>The numbers, measured on hosts with 42 multipath spinning drives: cephadm ceph-volume raw list took 6 seconds on 18.2.7 and 4 minutes 32 seconds on 19.2.3. Print-debugging into the ceph-volume code traces it to a freshly introduced device-exclusion routine that constructs a Device() object per scanned item, and for multipath/mapper paths each construction re-runs the full device scan. Over 400 re-runs of the same expensive enumeration: textbook accidental O(n²), filed as tracker <a href="https://tracker.ceph.com/issues/73107">#73107</a>.</p><p>Now combine that with what you know from section 1. OSD activation runs ceph-volume inside an activation container, under a systemd timeout:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ele9bfuknuH8NPxisQj6FQ.png" /></figure><p>The shape of the damage shows up clearly on a fleet of around 90 clusters, where exactly one was hit hard. The one with 8 TB HDDs, five block.db partitions per SSD, LUKS encryption on every OSD, and old Xeon Silver CPUs. Its ceph-volume.log grew to 2.4 GB in a day from the subprocess storm (udevadm, lsblk, nsenter), a timed restart of one OSD took 3m46s, and OSDs needed host reboots to come back. The other 89 clusters, with fewer OSDs per host and faster CPUs, sailed through the same upgrade in two hours. That asymmetry is the lesson: regressions like this scale with device count per host, and your densest, oldest storage node is the canary.</p><p>The mitigations that worked, in increasing order of desperation:</p><ol><li>Raise the timeouts before the upgrade, not after it stalls. That means the cephadm command timeout (the mgr/cephadm/default_cephadm_command_timeout raise from section 3.1, applied this time preemptively) and, on affected hosts, the OSD service start timeout (720 seconds was enough in one case).</li><li>Time the operation on one host first. Run time cephadm ceph-volume raw list on your densest host, on the current version and, in a lab, on the target version. That tells you whether you are walking into this class of problem at all.</li><li>The desperate option is a locally patched container image that skips the raw-activation path entirely. It works, and I mention it for completeness rather than as a recommendation, because at that point you are maintaining a fork of Ceph in a Dockerfile.</li></ol><p>The strategic note: this regression landed in a point release. 19.2.2 was unaffected; 19.2.3 introduced it. Point releases get less suspicion than major jumps, and they deserve exactly as much.</p><h3>6. Failure Mode 4: The OS Upgrade Is Part of Your Blast Radius</h3><p>A pattern runs through the whole set. Four of the thirty failures were not really <em>Ceph</em> upgrades at all. They were operating-system upgrades that Ceph happened to be standing on. Four distinct mechanisms, one each.</p><p><strong>Ubuntu 20.04 to 22.04/24.04: the UID shift.</strong> After an in-place node upgrade, cephadm OSDs on that node fail with “Permission denied”. The container expects the ceph user at uid/gid 167, but the host&#39;s ceph user sat at 64045, which had worked fine on Focal and no longer did. The confirmed fix:</p><pre>usermod -u 167 ceph &amp;&amp; groupmod -g 167 ceph &amp;&amp; reboot</pre><p>Two traps live inside this one. First, changing the user’s uid does not re-own files that already belong to the old uid, so depending on your layout you may need to chown -R 167:167 the affected paths (/var/lib/ceph, logs, run dirs) unless everything is reached through container bind-mounts. Second, the container logs <em>claim</em> the OSD mounts are chowned to ceph:ceph (167:167), which sends you debugging in the wrong direction. Check the host-side uid before you believe a log line.</p><p><strong>Debian bullseye to trixie: the forgotten apt hold.</strong> An OS upgrade with the Ceph packages left unheld silently jumped Ceph from Quincy to Reef along the way, with no way back. The cluster survived, but the dashboard and 14 other mgr modules died with PyO3 modules do not yet support subinterpreters, a known incompatibility between Reef&#39;s mgr and trixie&#39;s Python stack (tracker <a href="https://tracker.ceph.com/issues/64213">#64213</a>, resolved upstream for the Tentacle generation and unfixable on Reef). The pragmatic answer: the cluster is operationally fine without its mgr modules, skipping a release is supported, so run dashboard-less on Reef and jump straight to Tentacle. A workable outcome, but the real lesson costs one line. Run apt-mark hold ceph* before every distribution upgrade, and do a deliberate Ceph upgrade afterwards.</p><p><strong>RHEL 9.6 to 9.7: the LVM devices file.</strong> After the point upgrade, HDD OSDs with DB/WAL on NVMe failed to activate, SATA-SSD OSDs were fine, and booting the old kernel fixed everything. The culprit was /etc/lvm/devices/system.devices, which is RHEL&#39;s LVM device allowlist, filtering out the OSD LVs after the update. A minor OS release changed LVM visibility semantics underneath the cluster. If your OSD topology involves LVM layering beyond what the installer created, that file belongs on your pre-upgrade diff list.</p><p><strong>The mixed-version mon quorum.</strong> An old cluster, 852 OSDs and 8.7 PiB, originally built in 2018, was upgrading Octopus to Quincy together with a CentOS 7 to Rocky 9 reinstall of the mon nodes. The freshly reinstalled Quincy mons refused to join the quorum, stuck in probing/electing, and while they were trying, ceph -s hung for everyone. The quorum at that moment was one Octopus mon plus two Quincy mons. Nothing was wrong with the network or the clocks. The empirical resolution: stop the last old-version mon, after which the new mons rapidly join the cluster. New monitors could not join a mixed-version quorum, and the precise root cause was never pinned down. The same pattern shows up elsewhere, sometimes with the inverse symptom, where the old mons crash as soon as two new-version mons join, until those hosts are upgraded too. Plan mon-node OS reinstalls so that you never need to <em>add</em> a monitor while the quorum spans major versions.</p><p>That same situation held a small landmine worth its own paragraph. The freshly upgraded Quincy mons had silently stopped writing to /var/log/ceph even though log_to_file was still true, and the reason was never established. Because Quincy&#39;s newly introduced log_to_journald option defaults to false (it does not exist in Octopus at all), nothing reached the journal either, so during the most critical debugging window the daemons logged to neither file nor journal. The only way to get debug output back was to explicitly set log_to_journald=true. Verify where your logs actually go after the first upgraded daemon, not at the moment you need them.</p><h3>7. Choosing the Path: Hops, Stepping Stones, and When to Adopt</h3><p>Upgrade planning circles a handful of hard rules and one perennial judgment call.</p><p>The hard rules, as the upgrade documentation describes them: Ceph tests and supports rolling upgrades from the last two stable releases. In practice that means skip at most one release (Octopus to Quincy is fine; Octopus to Reef is not), and skipping a single release is routine. Within those bounds, the terrain has potholes:</p><pre>Path / version               Gotcha (detail below table)                                                   Status<br>Pacific to Reef directly     Feature-bit conflict, premature OSD_UPGRADE_FINISHED                          Newly discouraged in 18.2.8 notes; many past jumps succeeded<br>Quincy 17.2.8 stepping stone BlueStore regression                                                          Field-reported<br>Quincy 17.2.9 stepping stone No container image was built                                                  Field-reported<br>Squid 19.2.3                 ceph-volume O(n²) activation slowness (#73107)                                Confirmed; see status note below<br>OSDs created on Squid        Corruption risk via bluestore_elastic_shared_blobs (#70390)                   Confirmed and resolved; disable the option post-upgrade<br>Tentacle 20.2.0              NFS-Ganesha broken (#74307); dashboard module failure;                        Dot-zero breakage; see status note below<br>                             ceph-volume@.service packaging bug (§4.4)</pre><p>A few details the table compresses. The Pacific-to-Reef warning is new in the 18.2.8 release notes: Pacific daemons used a deprecated connection feature bit that was later repurposed as the Reef-OSD marker, which can trigger a premature OSD_UPGRADE_FINISHED before all OSDs are actually upgraded. Out of caution, the project no longer recommends a direct Pacific-to-Reef jump, though many clusters have done it without trouble in the past. For OSDs created on Squid, the mitigation is ceph config set osd bluestore_elastic_shared_blobs 0 before creating or recreating any OSD; OSDs created before Squid are unaffected.</p><p>Two status notes the table cannot hold, both true as of mid-2026. The ceph-volume O(n²) fix (<a href="https://tracker.ceph.com/issues/73107">#73107</a>, via #74804) was merged to the squid and tentacle branches in April 2026 but has not shipped in any release yet. Squid 19.2.4 (June 2026) went out without it, so expect it in 19.2.5 or 20.2.2. And the Tentacle dot-zero wave: 20.2.1 (6 April 2026) worked through the first round, including the ceph-volume@.service packaging fix, while 20.2.2 was still in QE validation at the time of writing, so treat it as not yet released. The NFS-Ganesha trackers were still open.</p><p>The judgment call that planning keeps circling is <em>when</em> to adopt a new release, and the dot-zero pattern answers it. The 20.2.0 GA window produced a visible cluster of breakage that 20.2.1 then worked through. Unless you specifically need a dot-zero feature, the safe move is to let someone else find these.</p><p>On speed: cephadm redeploys OSDs strictly one at a time. On a cluster with around 2,350 OSDs this works out to roughly a week of wall-clock time for one point release, and parallel OSD upgrades are work in progress upstream but not available today. Budget upgrade duration like the serial operation it is, and use staggered upgrades (--daemon-types, --hosts) to break the work into supervised sessions. One important caveat:</p><blockquote><em>--limit is reliably honored only for OSDs. Across three release lines, the orchestrator has been observed overshooting </em><em>--limit 1 on mons, upgrading two of three. This is empirical, not documented behavior, so do not build a maintenance-window plan on </em><em>--limit 1 for your monitors. The enforced mgr, mon, crash, osd order protects you from reordering, but not from overshoot.</em></blockquote><p>A final planning datapoint: CLYSO maintains a public list of known critical bugs per Ceph release (<a href="https://docs.clyso.com/docs/kb/known-bugs/">docs.clyso.com/docs/kb/known-bugs</a>). It is worth checking alongside the official release notes, not in place of them, and it occasionally lags a fresh bug by a few days.</p><h3>8. The Pre-Flight Checklist</h3><p>Everything above, inverted into the checks that would have prevented it. This is the section to bookmark.</p><p><strong>Cluster state, the non-negotiables:</strong></p><pre>ceph -s                       # HEALTH_OK, and *why* if not<br>ceph pg stat                  # 100% active+clean. Not &quot;mostly&quot;.<br>ceph osd tree down            # any long-dead OSDs? Resolve them BEFORE, not during<br>ceph crash ls                 # outstanding crashes you haven&#39;t triaged?</pre><p>No rebalancing, no backfill, no draining hosts, and a hard freeze on pool operations (create, delete, EC-profile changes) from now until done. Both pg_pool_t disasters in section 4.1 broke exactly this rule.</p><p><strong>Configuration debt, the flag audit:</strong></p><pre>ceph config dump</pre><p>Read every line and ask: do I know why this is set, and is it still valid on the target version? Workaround flags from past incidents (osd_skip_check_past_interval_bounds is the canonical example) must be understood or removed before the jump. While you are there:</p><pre>ceph osd pool ls detail | grep -E &#39;size|min_size&#39;   # min_size &lt; size, everywhere</pre><p><strong>Daemon hygiene:</strong></p><pre>ceph versions                 # one version per daemon type, no stragglers<br>ceph orch ps --daemon-type osd --format json | jq &#39;.[] | select(.status_desc==&quot;error&quot;)&#39;<br># On adopted clusters, per host:<br>cephadm ls --no-detail        # legacy/orphaned daemon entries?</pre><p><strong>Storage-surgery debt</strong> (if you ever migrated DB/WAL devices, replaced disks by hand, or edited unit files):</p><pre>ceph osd metadata &lt;id&gt; -f json | jq -r &#39;.bluefs_dedicated_db,.devices&#39;<br>lvs -o lv_name,lv_tags | grep -c ceph   # tags present for every OSD LV?</pre><p><strong>Environment:</strong></p><ul><li>Mixed CPU architectures? Set mgr/cephadm/use_repo_digest false (and restart the mgrs) before, not after, UPGRADE_FAILED_PULL.</li><li>Dense or old hosts? Run time cephadm ceph-volume raw list on the worst one, and raise mgr/cephadm/default_cephadm_command_timeout preemptively.</li><li>Does the target image exist and pull for <em>your</em> architectures? (Remember 17.2.9: a release with no container image.)</li><li>OS upgrade in the same maintenance window? Don’t. If it is unavoidable, run apt-mark hold ceph* or the dnf versionlock equivalent first, check the host ceph uid against 167 on containerized clusters, and on RHEL diff /etc/lvm/devices/system.devices across the OS versions.</li></ul><p><strong>Homework:</strong></p><ul><li>Release notes for the target version and every version you pass through.</li><li>The CLYSO known-bugs page for the target release.</li><li>Search the public bug tracker for your target version before you jump. Most of the failures in this article were visible in the open months in advance.</li><li>After a Squid upgrade specifically: ceph config set osd bluestore_elastic_shared_blobs 0 before you create or recreate any OSD.</li></ul><p><strong>And the meta-rule</strong> that generalizes section 4.3: schedule the upgrade as if every host were about to have its first full restart in a year. Because it is, and it will audit every debt you have built up since the last one.</p><p><em>More field guides like this are coming in this series. Follow to catch the cephadm OSD provisioning deep-dive next.</em></p><h3>9. If You Are Stuck Right Now</h3><p>You did not read this in advance. You found it with a paused upgrade and a health warning. Triage order:</p><ol><li><strong>Breathe. A mixed-version Ceph cluster is a supported state.</strong> Nothing about a paused upgrade is an emergency in itself.</li><li><strong>Find the actual blocker.</strong> Run ceph orch upgrade status, ceph health detail, and ceph log last 1000 debug cephadm. The headline warning is usually noise. Look for the one daemon in error state or the one timeout that keeps repeating.</li><li><strong>If the mgrs and mons are already upgraded</strong>, and they go first so they almost certainly are, then pausing, stopping, and restarting the upgrade loop is safe: pause, then resume, then stop plus ceph mgr fail plus start again.</li><li><strong>Do not change what you don’t understand.</strong> No reformatting OSDs, no config tuning, no pool changes while the cluster is mid-upgrade. Diagnose first. The cluster that wiped osd.19 met the same bug again on osd.9.</li><li><strong>Never downgrade.</strong> Not even when an assert message tells you to. Especially not then.</li><li><strong>Ask for help, with the right data.</strong> The Ceph community is responsive when you arrive prepared. Bring ceph -s, ceph health detail, ceph versions, the exact log lines, and your deployment method, and you will get a real answer instead of twenty questions.</li></ol><h3>10. Closing Thoughts</h3><p>After thirty-odd failures, the pattern that stays with me is not any single bug. It is that almost none of these upgrades failed because of the version jump itself. They failed because the upgrade was the first event in months that restarted every daemon, re-activated every device, re-pulled every image, and re-checked every config flag, and each of those steps surfaced some piece of debt that had been quietly wrong for a long time. A stale workaround flag here, a min_size that equaled size there. The migrated DB device whose LV tags were never written. An orphaned daemon left behind by a cephadm adoption years earlier. A ceph user sitting at the wrong uid. None of it was created by the upgrade. The upgrade just found it.</p><p>That reframing changes how you prepare. You are not really testing whether Ceph N+1 works, because the QE process, dot-zero caveats and all, is good. You are testing whether your cluster’s actual state matches the state your orchestrator believes in. The pre-flight checklist in section 8 is nothing more than that comparison, done deliberately, on a calm Tuesday, instead of implicitly and all at once, mid-upgrade.</p><p>And when something does break anyway, the recovery sequences in this article all share one shape. The pause/stop/mgr-fail ladder. The objectstore-tool export-before-touch discipline. The one-OSD-first rule for anything risky. Make the smallest reversible move, verify, then iterate. The operators who get out cleanly are the ones who resist the urge to do something big.</p><p>This is article one of a series on where Ceph operations actually hurt, ranked by how much real pain each topic generates. Next up: the cephadm OSD provisioning maze, covering DriveGroup specs, DB/WAL on shared NVMe, and the disk-replacement runbook the documentation never wrote. <strong>Follow me here on Medium so the next one lands in your feed.</strong> And if this saved you a 4 a.m. incident, a clap or a comment with your own upgrade horror story helps it reach the next operator who needs it.</p><p><em>Every incident, error message, and version detail in this article is real, drawn from production Ceph upgrades across the Reef, Squid, and Tentacle lines. Tracker references and release status were verified against tracker.ceph.com and ceph.io at the time of writing. Nothing here is hypothetical.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=df4f2e4c161d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Ceph RGW Deep Dive: Building an S3 Endpoint with BGP and ECMP Load Distribution]]></title>
            <link>https://georgisteffenhagen.medium.com/ceph-rgw-deep-dive-building-an-s3-endpoint-with-bgp-and-ecmp-load-distribution-44f0026b9655?source=rss-65de2a1960a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/44f0026b9655</guid>
            <category><![CDATA[haproxy]]></category>
            <category><![CDATA[storage]]></category>
            <category><![CDATA[ceph]]></category>
            <category><![CDATA[networking]]></category>
            <category><![CDATA[s3]]></category>
            <dc:creator><![CDATA[Georgi Steffenhagen]]></dc:creator>
            <pubDate>Tue, 18 Nov 2025 16:17:21 GMT</pubDate>
            <atom:updated>2025-11-18T16:17:21.918Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rADAxOAXVmaAzS2ug2zxiA.png" /></figure><h3>A Scalable S3 Ingress Architecture Using Ceph RGW, HAProxy and VyOS</h3><p>Modern storage systems increasingly need to present a highly available and horizontally scalable S3 interface. Ceph RGW has emerged as one of the most flexible S3 gateways available, but to truly unlock its potential you need a resilient ingress layer that can distribute traffic across multiple gateway nodes without relying on traditional active standby patterns such as VRRP.</p><p>In this deep dive, we design and implement a compact, reproducible S3 ingress architecture that uses <strong>BGP</strong> and <strong>Equal Cost Multipath Routing (ECMP)</strong> to distribute traffic across multiple HAProxy instances. The goal is to create a fully active active S3 entry point where every gateway node participates simultaneously in request handling. This model mirrors large scale production deployments, but is built entirely inside a KVM based lab environment to make it easy to reproduce the concepts and understand how the components interact.</p><p>All networking is virtualized on top of KVM to create a reproducible, portable lab environment. The setup is intentionally simplified and serves as a controlled test installation to demonstrate the underlying mechanics and end to end behavior of the architecture.</p><h4>1. Overview of the Architecture</h4><p>The design consists of:</p><ul><li>A three node Ceph cluster, each running a colocated RGW instance.</li><li>Two HAProxy nodes forming the S3 ingress tier.</li><li>One VyOS router acting as the routing layer that performs BGP peering and ECMP flow distribution.</li><li>One client host that uploads objects through the S3 VIP.</li></ul><p>The key idea is simple. Each HAProxy node advertises the same S3 VIP into BGP. VyOS receives two equally valid routes for that VIP and installs both as next hops. With ECMP enabled, VyOS load balances flows across both HAProxy nodes without any shared state or failover protocol.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q9IIpDOMKUuPXrbEFmDIzQ.png" /></figure><p>The result is a clean, fully distributed design: no floating IPs, no keepalived, no leader node, and no single point of failure on the S3 ingress layer.</p><h4>2. Logical Network Topology</h4><p>The environment uses two logical networks:</p><ul><li>A Service Fabric Network (100.64.0.0/16) that interconnects VyOS and the two HAProxy nodes.</li><li>A Client Access Network (10.90.0.0/24) that connects the client to VyOS.</li></ul><p>The RGW nodes live behind the HAProxy tier and are not directly routed.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e6hQ4ZUFSt7W2uFczD0c_A.png" /></figure><h4>3. BGP and ECMP in Practice</h4><p>Each HAProxy node runs FRR and advertises the S3 VIP as a host route:</p><pre>network 10.80.0.10/32</pre><p>Both nodes advertise the same route and use the same AS number. From VyOS’s perspective, the two advertisements are fully equal. When ECMP is enabled, VyOS installs both next hops into the routing table:</p><pre>10.80.0.10/32<br>  nexthop 100.64.0.11<br>  nexthop 100.64.0.12</pre><p>This is true Layer 3 active active load balancing. There is no leader election. There is no VIP floating. The routing fabric automatically balances the flows.</p><p>To confirm ECMP behavior on VyOS:</p><pre>ip route get 10.80.0.10</pre><p>Running the command repeatedly shows alternating next hops as the kernel hashes the flow keys.</p><h4>4. How Multipart Uploads Enable Parallelism</h4><p>S3 multipart upload is inherently parallel. When a client uploads a file with several gigabytes in size, it typically splits the object into many<br>independent parts. Each part results in a separate HTTP PUT request and therefore a separate TCP connection.</p><p>The ECMP router treats each connection independently. Some connections are hashed to HAProxy1, others land on HAProxy2. This perfectly aligns with Ceph RGW’s architecture where each RGW node is stateless and writes directly to the Ceph object store. The parts converge when the final multipart completion request is made.</p><p>The sequence looks like this:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ewouyPg25ofROghX5ipfCg.png" /></figure><p>This is not session sharing. It is flow based parallelization, and it fits perfectly with the multipart model.</p><h4>5. Verifying Load Distribution</h4><p><strong>On VyOS<br></strong>Check BGP state:</p><pre>show ip bgp summary</pre><p>Inspect route installation:</p><pre>show ip route 10.80.0.10</pre><p>Test ECMP hashing:</p><pre>ip route get 10.80.0.10</pre><p><strong>On HAProxy<br></strong>List active sessions:</p><pre>ss -tn sport = :443</pre><p>Query HAProxy statistics:</p><pre>echo &quot;show stat&quot; | socat stdio /var/run/haproxy.sock</pre><p><strong>On RGW Nodes<br></strong>Track real time ingress:</p><pre>tail -f /var/log/ceph/ceph-client.rgw.*.log</pre><p>Count active connections:</p><pre>ss -tn | grep :7480 | wc -l</pre><p><strong>On Ceph<br></strong>Inspect multipart state:</p><pre>radosgw-admin multipart list --bucket &lt;bucket&gt;</pre><p>Inspect bucket stats:</p><pre>radosgw-admin bucket stats --bucket &lt;bucket&gt;</pre><p>This combination of tools provides full visibility into each step of the traffic flow.</p><h4>6. Failure Scenarios</h4><p>This architecture gracefully handles node failures without any floating IP mechanism.</p><p><strong>HAProxy Failure<br></strong>If one HAProxy node goes offline, it simply withdraws its BGP advertisement. VyOS removes that next hop from the ECMP set. All new connections automatically go to the surviving HAProxy.</p><p><strong>RGW Failure<br></strong>Since RGWs are stateless and access Ceph directly, losing one affects only a subset of multipart parts. HAProxy routes around the missing backend.</p><p><strong>VyOS Failure<br></strong>Because the core logic sits in VyOS, it should run on a reliable host. If you want redundancy, you can extend the model with a pair of VyOS routers and an upstream BGP speaker.</p><h4>7. Summary</h4><p>This lab demonstrates a clean, scalable, and highly parallel S3 ingress architecture using Ceph RGW, HAProxy, and BGP ECMP. By letting the routing fabric carry the VIP and distribute flows, the need for shared state or failover protocols is eliminated. Each HAProxy node participates actively, and the multipart nature of S3 uploads ensures strong parallelism across the entire path.</p><p>The result is a design that mirrors large scale production deployments yet remains accessible and reproducible using nothing more than KVM, VyOS, HAProxy, and a small Ceph cluster. It is a practical example of how modern distributed object storage can be exposed in a resilient and load balanced way using pure Layer 3 techniques.</p><h4>Hands-On: Full Configuration for VyOS, HAProxy and FRR</h4><p>This section shows the exact configuration used in the lab. The goal is not to provide a production hardened blueprint, but to give a reproducible reference that demonstrates how BGP, ECMP, HAProxy and Ceph RGW work together end to end.</p><h4>1. Network Layout and Assigned Addresses</h4><p><strong>Service Fabric Network (between VyOS and HAProxy nodes)</strong></p><pre>Service Fabric Network (between VyOS and HAProxy nodes)<br>  VyOS       eth0     100.64.0.10/16<br>  HAProxy1   eth0     100.64.0.11/16<br>  HAProxy2   eth0     100.64.0.12/16<br><br>Client Network (between Client and VyOS)<br>  VyOS       eth0     10.90.0.1/24<br>  Client     br-sfn   10.90.0.10/24</pre><p><strong>VIP announced by both HAProxy nodes</strong></p><pre>10.80.0.10/32</pre><h4>2. VyOS Configuration (Routing Layer)</h4><p>The VyOS router receives BGP announcements from both HAProxy nodes and installs both as equal-cost routes.</p><p>Enter configuration mode:</p><pre>configure</pre><p>Set basic system parameters:</p><pre>set system host-name vyos<br>set system ipv6 disable</pre><p><strong>Interface configuration</strong></p><pre>set interfaces ethernet eth0 address 100.64.0.10/16<br>set interfaces ethernet eth0 address 10.90.0.1/24</pre><p><strong>BGP configuration (AS 65000)</strong></p><pre>set protocols bgp 65000 router-id 1.1.1.0<br>set protocols bgp 65000 parameters bestpath as-path multipath-relax<br>set protocols bgp 65000 maximum-paths ebgp 2</pre><p><strong>BGP neighbors (both HAProxy nodes)</strong></p><pre>set protocols bgp 65000 neighbor 100.64.0.11 remote-as 65001<br>set protocols bgp 65000 neighbor 100.64.0.11 address-family ipv4-unicast<br>set protocols bgp 65000 neighbor 100.64.0.12 remote-as 65001<br>set protocols bgp 65000 neighbor 100.64.0.12 address-family ipv4-unicast</pre><p>Commit everything:</p><pre>commit<br>save<br>exit</pre><p><strong>Verify:</strong></p><pre>show ip bgp summary<br>show ip route 10.80.0.10<br>ip route get 10.80.0.10</pre><p>If ECMP is working, you will see:</p><pre>10.80.0.10<br>  * via 100.64.0.11<br>  * via 100.64.0.12</pre><h4>3. FRR Configuration on HAProxy Nodes</h4><p>Each HAProxy node runs FRR and advertises the same VIP.</p><p><strong>FRR config on HAProxy1<br></strong>File: /etc/frr/frr.conf</p><pre>frr version 8.4<br>frr defaults traditional<br>hostname haproxy1<br>service integrated-vtysh-config<br><br>router bgp 65001<br>  bgp router-id 100.64.0.11<br>  no bgp ebgp-requires-policy<br>  no bgp default require-policy<br>  neighbor 100.64.0.10 remote-as 65000<br>  address-family ipv4 unicast<br>    neighbor 100.64.0.10 activate<br>    network 10.80.0.10/32<br>    no bgp network import-check<br>    redistribute connected<br>  exit-address-family<br>!</pre><p><strong>FRR config on HAProxy2<br></strong>File: /etc/frr/frr.conf</p><pre>frr version 8.4<br>frr defaults traditional<br>hostname haproxy2<br>service integrated-vtysh-config<br><br>router bgp 65001<br>  bgp router-id 100.64.0.12<br>  no bgp ebgp-requires-policy<br>  no bgp default require-policy<br>  neighbor 100.64.0.10 remote-as 65000<br>  address-family ipv4 unicast<br>    neighbor 100.64.0.10 activate<br>    network 10.80.0.10/32<br>    no bgp network import-check<br>    redistribute connected<br>  exit-address-family<br>!</pre><p>Restart FRR:</p><pre>sudo systemctl restart frr</pre><p>Verify BGP:</p><pre>vtysh -c &quot;show ip bgp summary&quot;</pre><p>Both should be in Established state.</p><h4>4. HAProxy Configuration</h4><p>Each HAProxy node acts as a reverse proxy for the RGW instances. The backend servers are the RGW ports on each Ceph node.</p><p>File: /etc/haproxy/haproxy.cfg</p><pre>global<br>    maxconn 10000<br>    log /dev/log local0<br><br>defaults<br>    log global<br>    mode http<br>    option httplog<br>    timeout connect 5s<br>    timeout client  300s<br>    timeout server  300s<br>frontend s3_frontend<br>    bind *:80<br>    bind *:443 ssl crt /etc/haproxy/certs/s3.pem<br>    default_backend rgw_backend<br>backend rgw_backend<br>    balance roundrobin<br>    server rgw1 10.&lt;ceph-node1-ip&gt;:7480 check<br>    server rgw2 10.&lt;ceph-node2-ip&gt;:7480 check<br>    server rgw3 10.&lt;ceph-node3-ip&gt;:7480 check</pre><p>Reload:</p><pre>sudo systemctl reload haproxy</pre><h4>5. Client-Side Routing</h4><p>The client routes the S3 VIP and the service fabric network through VyOS, without touching the default gateway.</p><pre>ip addr add 10.90.0.10/24 dev br-sfn<br>ip route add 10.80.0.10/32 via 10.90.0.1<br>ip route add 100.64.0.0/16 via 10.90.0.1</pre><h4>6. Testing the End-to-End Path</h4><p>Upload a 10 GB test file using the MinIO client:</p><pre>mc cp file_10g.bin s3/test-bucket</pre><p>During the upload:</p><ul><li>ss -tn sport = :443 on HAProxy shows flows arriving on both nodes.</li><li>ip route get 10.80.0.10 on VyOS alternates between next hops.</li><li>RGW logs show multipart PUTs arriving on several nodes in parallel.</li></ul><h4>Load Distribution in Practice</h4><p>To validate the end-to-end behavior, the HAProxy statistics view provides a clear picture of how traffic is distributed across both gateway nodes and all three RGW backends. During a large multipart upload, each HAProxy instance receives an active share of incoming S3 requests, and each request is forwarded to one of the RGW daemons behind it.</p><p>Below is the statistics view from the first HAProxy node, captured in the middle of a 10 GB multipart upload:</p><p><strong>HAProxy Node 1 (H1) — Active Sessions and Backend Utilization</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4Ox0wzKhr61B4G5FbT_gKA.png" /></figure><p>This snapshot shows multiple active frontend connections and an even distribution across the three RGW backends. Because S3 multipart uploads create numerous parallel PUT requests, the load naturally spreads across all available nodes.</p><p>The second HAProxy instance receives its own share of flows. Since VyOS installs both next hops via ECMP, each TCP session is independently hashed and forwarded to either gateway.</p><p><strong>HAProxy Node 2 (H2) — Active Sessions and Backend Utilization</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XHqFMLdhSb2C574IfDunWQ.png" /></figure><p>The behavior closely matches the first node. Both HAProxy instances act as fully active ingress points, and all three RGWs receive multipart PUT requests concurrently.</p><p>Together, the two screenshots demonstrate the exact goal of this design: <strong>traffic is evenly balanced across both HAProxy nodes and all RGW daemons, with no shared IP failover mechanism and no single node acting as a bottleneck.</strong></p><p>This confirms full ECMP load distribution.</p><h4>Closing Thoughts</h4><p>This lab shows how much efficiency you gain when you stop treating load balancing as a shared IP problem and instead let the routing layer handle it. By advertising the VIP through BGP and allowing VyOS to install multiple equal-cost paths, the S3 ingress tier becomes fully active. Both HAProxy nodes contribute live capacity, and the RGWs handle traffic in parallel without any coordination beyond what Ceph already provides.</p><p>The environment is intentionally small, but the principles scale cleanly. Whether you operate a handful of gateways or a larger edge footprint, the behavior remains predictable and the failure domains stay simple. One of the most compelling aspects of this pattern is its minimalism. There are no clustering daemons, no state synchronization mechanisms, and no leader election logic. The routing fabric carries the VIP, HAProxy terminates TLS and distributes traffic, and Ceph preserves the object semantics underneath.</p><p>If you want to extend the lab further, you can introduce a second VyOS router, test more advanced BGP policies, or explore different HAProxy balancing strategies. All of these variations build on the same foundation demonstrated here, and every component remains easy to reason about as the design grows.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=44f0026b9655" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Teil 7: SDS Ceph für KMU’s — Skalierung und Performance von CephFS-Metadaten]]></title>
            <link>https://georgisteffenhagen.medium.com/teil-7-sds-ceph-f%C3%BCr-kmus-skalierung-und-performance-von-cephfs-metadaten-f5413fd39085?source=rss-65de2a1960a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/f5413fd39085</guid>
            <category><![CDATA[ceph]]></category>
            <category><![CDATA[software-defined-storage]]></category>
            <category><![CDATA[linux]]></category>
            <category><![CDATA[it-infrastructure]]></category>
            <category><![CDATA[storage]]></category>
            <dc:creator><![CDATA[Georgi Steffenhagen]]></dc:creator>
            <pubDate>Wed, 16 Jul 2025 10:55:03 GMT</pubDate>
            <atom:updated>2025-07-16T10:55:03.198Z</atom:updated>
            <content:encoded><![CDATA[<h3>Teil 7: SDS Ceph für KMU’s — Skalierung und Performance von CephFS-Metadaten</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ULhLB3nSRwNyhHrfPVOwwg.png" /></figure><p>In dieser Reihe haben wir uns bereits intensiv mit den Grundlagen, der Kostenstruktur und den betrieblichen Herausforderungen von Open‑Source‑Software‑Defined‑Storage für kleine und mittlere Umgebungen beschäftigt.</p><p>In Teil 7 richten wir nun unseren Blick auf CephFS, das letzte Front‑End von Ceph, und beleuchten, wie Sie die Metadaten‑Leistung optimieren und gleichzeitig hohe Verfügbarkeit sicherstellen.</p><h4>Warum Metadaten‑Performance entscheidend ist</h4><p>CephFS unterscheidet sich von RBD und RGW dadurch, dass es ein POSIX‑Dateisystem auf dem RADOS‑Cluster abbildet. Während die Objektspeicherung (RBD, RGW) vor allem von Netzwerk‑ und Festplattendurchsatz profitiert, hängt CephFS in großem Maße von der Geschwindigkeit der Metadaten‑Server (MDS) ab:</p><ul><li><strong>Verzeichnisauflösungen</strong>, <strong>Dateiöffnungen</strong> und <strong>Schreib‑Locks</strong> werden über MDS gesteuert.</li><li>Jeder neue Pfadzugriff führt zu CPU‑arbeit auf dem MDS.</li><li>Schlechte MDS‑Performance kann sich in langen Latenzen und sinkendem Durchsatz niederschlagen.</li></ul><p>Für kleine Umgebungen mit wenigen Clients mag ein einzelner MDS genügen. Ab einer gewissen Anzahl gleichzeitiger Zugriffe oder bei IO‑intensiven Workloads stößt man jedoch schnell an Grenzen.</p><h4>Single‑Threaded MDS: CPU‑Takt schlägt Kernzahl</h4><p>Ein zentrales Detail, das oft übersehen wird, ist: <strong>Der CephFS‑MDS‑Daemon ist single‑threaded.</strong> Das bedeutet:</p><ul><li>Hoher CPU‑Takt &gt; viele Kerne.</li><li><strong>Empfohlene CPUs:</strong> Intel Xeon Gold oder AMD EPYC mit hohem GHz‑Wert.</li><li><strong>Unnötige Mehrkern‑Server</strong> beschleunigen keinen einzelnen MDS‑Prozess.</li></ul><p>Praktisch heißt das: Stellen Sie sicher, dass Ihre MDS‑Hosts mindestens vier oder mehr Kerne mit 3,0 GHz+ bieten, statt 16‑ oder 32‑Kern‑Systeme mit niedrigerem Single‑Core‑Boost.</p><h4>Skalierung über mehrere aktive MDS</h4><p>Ab Ceph Jewel (v10.2.0) ist CephFS offiziell „production ready“ und unterstützt <strong>mehrere aktive MDS‑Dienste</strong> pro Dateisystem:</p><ul><li><strong>Multi‑Active‑MDS</strong> erlaubt, Metadaten‑Last auf mehrere Instanzen zu verteilen.</li><li>Jeder aktive MDS kümmert sich um einen Teilbaum im Dateisystem (Metadaten‑Sharding).</li><li>Sie steigern so die Anzahl paralleler Operationen, etwa bei vielen Verzeichnis‑Lookups oder Snapshots.</li></ul><p><strong>Praxis:</strong> Für z. B. ein zentrales Home‑Verzeichnis mit vielen Nutzern empfiehlt sich der Betrieb von 2–4 aktiven MDS‑Instanzen.</p><h4>Hohe Verfügbarkeit: Standby‑Replay und Cooperative Standby</h4><p>Um Ausfälle abzufedern und Failover‑Zeiten zu minimieren, sollten Sie je aktivem MDS mindestens zwei zusätzliche MDS‑Instanzen betreiben:</p><ol><li><strong>Standby‑Replay‑MDS<br></strong>Der Standby‑Replay‑MDS liest fortlaufend das Journal des aktiven MDS und repliziert dessen Metadaten‑Operationen, um bei Ausfall des aktiven MDS eine nahtlose Übernahme zu ermöglichen.</li><li><strong>Cooperative Standby‑MDS<br>- </strong>Ein normaler Standby ohne Replay‑Funktion.<br>- Wartet im Hintergrund, um bei Mehrfachausfällen zu springenden.</li></ol><h4>MDS‑Typen</h4><ul><li><strong>Active MDS (x Instanzen)<br>- </strong>Rolle: Verarbeitet Metadaten‑Operationen<br>- Failover‑Eigenschaft: keine</li><li><strong>Standby‑Replay MDS (x Instanzen)<br>- </strong>Rolle: Liest fortlaufend das Journal des aktiven MDS für schnelles Failover<br>- Failover‑Eigenschaft: Downtime &lt; 1 Sekunde</li><li><strong>Cooperative Standby MDS (1 Instanz)<br>- </strong>Rolle: Reserve für zusätzliche Sicherheit<br>- Failover‑Eigenschaft: startet nach aktivem Failover</li></ul><h4>Beispiel: Fünf‑Knoten‑MDS‑Cluster</h4><p>Für viele kleine bis mittlere Installationen hat sich dieses Setup bewährt:</p><ul><li><strong>2 Active MDS</strong></li><li><strong>2 Standby‑Replay MDS</strong> (je einer pro Active)</li><li><strong>1 Cooperative Standby MDS</strong></li></ul><p>Damit haben Sie:</p><ul><li><strong>Zweistufiges Failover</strong></li><li><strong>Lastverteilung</strong> für Metadata‑Sharding</li><li><strong>Resilienz</strong> auch bei Mehrfachausfällen (bis 2 MDS gleichzeitig)</li></ul><h4>Fazit</h4><p>Mit CephFS haben Sie ein hochflexibles, verteiltes Dateisystem, dessen Performance vor allem von der MDS‑Architektur abhängt. Die wichtigsten Takeaways:</p><ul><li><strong>Single‑Threaded MDS</strong>: Setzen Sie auf CPUs mit hohem Single‑Core‑Boost.</li><li><strong>Multi‑Active‑MDS</strong>: Skalieren Sie Metadaten‑Last horizontal.</li><li><strong>Standby‑Replay &amp; Co‑Op Standby</strong>: Sorgen Sie für schnelle Failover und zusätzliche Resilienz.</li><li><strong>5‑Knoten‑Setup</strong>: Ein häufiger “Sweet Spot” für kleine und mittlere Umgebungen.</li></ul><h4>Vorhergehendes Thema:</h4><p><a href="https://georgisteffenhagen.medium.com/teil-6-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-b7ba2655e01b">Teil 6: Installation und Konfiguration von Ceph</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f5413fd39085" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Teil 6: Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und…]]></title>
            <link>https://georgisteffenhagen.medium.com/teil-6-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-b7ba2655e01b?source=rss-65de2a1960a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/b7ba2655e01b</guid>
            <category><![CDATA[linux]]></category>
            <category><![CDATA[ceph]]></category>
            <category><![CDATA[software-defined-storage]]></category>
            <category><![CDATA[storage]]></category>
            <category><![CDATA[it-infrastructure]]></category>
            <dc:creator><![CDATA[Georgi Steffenhagen]]></dc:creator>
            <pubDate>Mon, 07 Jul 2025 15:41:21 GMT</pubDate>
            <atom:updated>2025-07-16T10:59:52.974Z</atom:updated>
            <content:encoded><![CDATA[<h3>Teil 6: Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und mittelständische Unternehmen</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ULhLB3nSRwNyhHrfPVOwwg.png" /></figure><h3>Installation und Konfiguration von Ceph</h3><p>Ob SDS und damit Ceph kleinen und mittelständischen Unternehmen empfohlen werden kann, hängt vom Aufwand und den Kosten ab, die mit der Installation und dem Betrieb von Ceph verbunden sind. Um diesen Aufwand, die Kosten und die Probleme abschätzen zu können, wird ein Ceph Cluster installiert und konfiguriert.</p><p>In dieser Testumgebung installieren wir Ceph zunächst manuell auf dem KVM-basierten Virtualisierungs-Host, um die Basiskomponenten (MONs, OSDs, MGRs) sowie alle Abhängigkeiten und Konfigurationsparameter nachvollziehbar zu erfassen und die Herangehensweise vollständig zu verstehen.</p><p>Anschließend provisionieren wir die virtuellen Server automatisiert über <a href="https://developer.hashicorp.com/terraform">Terraform</a> und nutzen <a href="https://cloud-init.io/">cloud-init</a>, um daraufhin die komplette Installation und Konfiguration des Ceph-Clusters vollautomatisch durchzuführen.</p><p>So entsteht ein reproduzierbares, skalierbares End-to-End-Deployment, in dem sowohl das VM-Provisioning als auch das Ceph-Cluster-Provisioning vollständig orchestriert abläuft.</p><p>Dieses Vorgehen ermöglicht eine präzise Abschätzung von Aufwand, Kosten und potenziellen Herausforderungen für den produktiven Einsatz in kleinen und mittelständischen Unternehmen.</p><p>Für ein reales Bare-Metal-Deployment auf physischer Hardware widmen wir uns in späteren Kapiteln dem entsprechenden Produktions-Setup.</p><p><em>Hinweis: Ab sofort werden die einzelnen Installationsschritte ausschließlich in englischer Sprache beschrieben.</em></p><p>For our test setup, to simplify matters we will deploy a 3-node Ceph cluster in which each VM hosts both a MON daemon and an OSD.</p><p>Each Ceph node in our test cluster is provisioned with the following hardware and network configuration:</p><ul><li><strong>Memory:</strong> 4 GB RAM</li><li><strong>vCPUs:</strong> 4 virtual CPUs</li><li><strong>Operating System:</strong> Ubuntu 24.04 Server LTS</li><li><strong>Disks:<br>- </strong>1 × OS disk (for system and Ceph binaries)<br>- 2 × OSD disks (for Ceph object storage daemons)</li><li><strong>Network Interfaces:<br>- </strong>eth0: Public network (client and management traffic)<br>- eth1: Cluster network (cluster replication and heartbeat)</li></ul><h4><strong>Step 1: Configure host name resolution via FQDN</strong></h4><p>On each node, populate the /etc/hosts file with all cluster members’ internal IP addresses and their fully-qualified domain names. This guarantees that every Ceph daemon (MON, OSD, MGR) can reliably resolve its peers by FQDN.</p><p>For example, on ceph-node-0 you might add:</p><pre>10.10.0.2 ceph-node-0<br>10.10.0.3 ceph-node-1<br>10.10.0.4 ceph-node-2</pre><p>Repeat the corresponding entries on ceph-node-1 and ceph-node-2, adjusting IPs and hostnames as appropriate.</p><h4>Step 2: Refresh the APT package index</h4><p>On each node, run:</p><pre>sudo apt update</pre><h4>Step 3: Install Ceph bootstrap tools and utilities (on ceph-node-0 only)</h4><p>On ceph-node-0, install the Ceph orchestration tool along with the common packages and utilities:</p><pre>sudo apt install -y cephadm ceph-common ceph-mgr-dashboard ntp podman qemu-guest-agent bash-completion</pre><h4>Step 4: Install required Ceph packages and utilities (on ceph-node-1 and ceph-node-2 only)</h4><p>On ceph-node-1 and ceph-node-2, install the Ceph client tools, manager dashboard plugin, time-sync daemon, container runtime, guest agent and shell enhancements:</p><pre>sudo apt install -y ceph-common ceph-mgr-dashboard ntp podman qemu-guest-agent bash-completion</pre><h4>Step 5: Switch to root and configure passwordless SSH between all nodes</h4><p>On each node, elevate to root and generate an RSA keypair (once per node), then distribute the public key to the other two nodes:</p><p><strong>Become root</strong></p><pre>sudo -i</pre><p><strong>Generate an RSA keypair</strong></p><pre>ssh-keygen -t rsa -b 4096 -f /root/.ssh/id_rsa -N &quot;&quot;</pre><p><strong>Distribute the public key</strong></p><p><strong>On </strong>ceph-node-0, push the key to ceph-node-1 and ceph-node-2</p><pre>ssh-copy-id -i /root/.ssh/id_rsa.pub root@ceph-node-1<br>ssh-copy-id -i /root/.ssh/id_rsa.pub root@ceph-node-2</pre><p><strong>On </strong>ceph-node-1, push the key to ceph-node-0 and ceph-node-2</p><pre>ssh-copy-id -i /root/.ssh/id_rsa.pub root@ceph-node-0<br>ssh-copy-id -i /root/.ssh/id_rsa.pub root@ceph-node-2</pre><p><strong>On </strong>ceph-node-2, push the key to ceph-node-0 and ceph-node-1</p><pre>ssh-copy-id -i /root/.ssh/id_rsa.pub root@ceph-node-0<br>ssh-copy-id -i /root/.ssh/id_rsa.pub root@ceph-node-1</pre><p><strong>Verify passwordless SSH connectivity</strong></p><pre>ssh root@ceph-node-1<br>ssh root@ceph-node-2</pre><p>You should be able to connect from any node to any other without being prompted for a password.</p><h4><strong>Step 6: Bootstrap the Ceph orchestrator on </strong>ceph-node-0</h4><p>On ceph-node-0, install and configure the Ceph orchestration framework by running:</p><pre>cephadm install</pre><p>Once complete, ceph-node-0 is ready to perform the initial cephadm bootstrap and bring the MON/OSD daemons online.</p><h4><strong>Step 7: Bootstrap the Ceph cluster on ceph-node-0</strong></h4><p>On ceph-node-0, initialize the cluster by running:</p><pre>cephadm bootstrap \<br>  --mon-ip &quot;10.10.0.2&quot; \<br>  --initial-dashboard-user admin \<br>  --initial-dashboard-password &lt;strong_password&gt; \<br>  --dashboard-password-noupdate \<br>  --allow-fqdn-hostname \<br>  --cluster-network 10.10.0.0/24</pre><p>After this completes, you’ll have a single MON running and the manager module (with dashboard) deployed, ready to accept additional OSD hosts.</p><h4><strong>Step 8: Extract and distribute the Ceph SSH public key</strong></h4><p>On ceph-node-0, export the Ceph orchestration public key and distribute it to every node (including itself) so that cephadm can SSH as root across the cluster:</p><p><strong>Export the public key</strong></p><pre>cephadm get-pub-key &gt; /root/ceph.pub</pre><p><strong>Distribute to </strong>ceph-node-1<strong> and </strong>ceph-node-2</p><pre>ssh-copy-id -i /root/ceph.pub root@ceph-node-1<br>ssh-copy-id -i /root/ceph.pub root@ceph-node-2</pre><p><strong>Install locally (</strong>ceph-node-0<strong>)</strong></p><pre>cat /root/ceph.pub &gt;&gt; /root/.ssh/authorized_keys</pre><p>After these commands, the cephadm user on ceph-node-0 (root) can connect password-lessly to root@ceph-node-0, root@ceph-node-1, and root@ceph-node-2.</p><h4><strong>Step 9: Register all cluster hosts with the Ceph orchestrator</strong></h4><p>On ceph-node-0, tell the orchestrator about each VM so it can schedule daemons to them:</p><pre>ceph orch host add ceph-node-1 ceph-node-2</pre><h4><strong>Step 10: Provision OSD daemons on all available OSD devices</strong></h4><p>On ceph-node-0, instruct the orchestrator to scan every host for free block devices and deploy one OSD per device:</p><pre>ceph orch apply osd --all-available-devices</pre><p>Once complete, you will have six OSD daemons (two per node) integrated into the Ceph cluster, ready for use.</p><p>With the Ceph cluster now fully deployed and accessible via the dashboard at https://10.10.0.2:8443/.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OaxIFp3PbGWSKu-cMlwqOw.png" /></figure><h4>Im nächsten Thema geht es um die:</h4><p><a href="https://georgisteffenhagen.medium.com/teil-7-sds-ceph-f%C3%BCr-kmus-skalierung-und-performance-von-cephfs-metadaten-f5413fd39085">Teil 7: Skalierung und Performance von CephFS-Metadaten</a></p><h4>Vorhergehendes Thema:</h4><p><a href="https://georgisteffenhagen.medium.com/teil-5-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-424ec8b74b43">Teil 5: Open Source SDS Ceph</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b7ba2655e01b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Teil 5: Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und…]]></title>
            <link>https://georgisteffenhagen.medium.com/teil-5-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-424ec8b74b43?source=rss-65de2a1960a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/424ec8b74b43</guid>
            <category><![CDATA[it-infrastructure]]></category>
            <category><![CDATA[software-defined-storage]]></category>
            <category><![CDATA[storage]]></category>
            <category><![CDATA[linux]]></category>
            <category><![CDATA[ceph]]></category>
            <dc:creator><![CDATA[Georgi Steffenhagen]]></dc:creator>
            <pubDate>Wed, 02 Jul 2025 11:06:26 GMT</pubDate>
            <atom:updated>2025-07-07T17:31:48.696Z</atom:updated>
            <content:encoded><![CDATA[<h3>Teil 5: Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und mittelständische Unternehmen</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-mPktUt6XP7Qxy-YyOopBg.png" /></figure><h3>Open Source SDS Ceph</h3><p>Ceph wurde erstmalig 2007 an der University of California in Santa Cruz von Sage A. Weil in seiner <a href="https://www.ceph.com/assets/pdfs/weil-thesis.pdf">Dissertation</a> mit dem Titel: »CEPH: RELIABLE, SCALABLE, AND HIGH-PERFORMANCE DISTRIBUTED STORAGE«, definiert.</p><p>Ceph basiert auf einem verteilten, autonomen und redundant nativen Object Store namens RADOS.</p><p>RADOS steht für:</p><blockquote><em>»Reliable Autonomic Distributed Object Store«</em></blockquote><p>Ceph mit RADOS ist ein nahtlos skalierender Object Store. Ein Object Store ist ein Speicheradressraum, der beliebig groß, ortsunabhängig und dynamisch wächst oder schrumpft. Er fasst den Speicherraum von beliebig vielen Festplatten transparent zusammen. Der Object Store stellt den Anwendungen Abschnitte des Speicheradressraumes über einen eindeutigen Namen (ID) zur Verfügung.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9NJOvH6211eDwznX7DjirQ.png" /><figcaption>Darstellung eines Ceph Cluster mit Monitoring Server, OSD Storage Nodes und Client.<br>Zugang über Netzwerk (auch Internet).</figcaption></figure><h4>Skalierbarkeit</h4><p>Bevor auf die Funktionsweise eingegangen wird, ist nachfolgend die Skalierbarkeit im Kontext von Ceph erklärt.</p><p>Die Skalierbarkeit beschreibt die Erweiterung von Leistung mit Hinblick auf die Leistungsdimension (CPU, RAM, Storage). Die Skalierbarkeit in Ceph bezieht sich auf die Storage Erweiterung, indem neue Festplatten einem Storage Cluster hinzugefügt werden.</p><p>Die Skalierung unterscheidet zwei wesentliche Arten:</p><p><strong>Vertikale Skalierung (Scale Up)<br></strong>Die Leistungserweiterung erfolgt in einem Rechner durch das Hinzufügen oder Ersetzen von leistungsstärkeren Komponenten. Diese Art der Skalierung stößt natürlich baubedingt an ihre Grenze.</p><p><strong>Horizontale Skalierung (Scale Out)<br></strong>Zusätzliche Rechner werden miteinander verbunden und können, mit Hinblick auf Ceph, umfangreiche Daten auf mehreren Systemen verteilen.</p><h4>Funktionsweise</h4><p>Im Wesentlichen besteht RADOS aus zwei Komponenten:</p><p>Den sogenannten Object Storage Demons (OSDs) und den Monitoring Servern (MONs).</p><p>OSDs sind standardmäßig einzelne Festplatten, die auf Hardwareebene nicht im RAID Verbund konfiguriert werden sollten, da sich Ceph um die Redundanz kümmert.</p><p><strong>Monitoring Server (MONs), haben drei Hauptaufgaben.</strong></p><ul><li>Überprüfung und Pflege der inneren Struktur eines Clusters.</li><li>Prüfen der gegenseitigen Erreichbarkeit und ermitteln, ob sie Teil einer Cluster Partition sind.</li><li>Führen eines Protokolls über vorhandene MONs und OSDs, indem sie OSD und MON Maps erstellen, die Informationen aller vorhandenen OSDs und MONs an den Client weitergeben.</li></ul><p>MONs sind auch der “Initial Points of Contact” für jeden Client, der auf Block Storage innerhalb eines Ceph Cluster zugreifen will.</p><h4>Data Placement</h4><p>Eine Anwendung (Client) muss zu einem MON (oder Gateway) Kontakt aufnehmen, um eine Object Store Übersicht zu bekommen. MONs benötigen statische IP Adressen/ FQDNs, damit Clients zu ihnen zuverlässig Verbindungen aufbauen können, um Daten zu speichern.</p><p>Zum Speichern zerlegt der Client die Daten in binäre Objekte und organisiert diese in Gruppen, den sogenannten Placement Groups.</p><p>Mithilfe der Placement Groups verteilt der Client die binären Objekte auf die zu den Placement Groups gehörenden OSDs und weiß deshalb immer, welche Objekte zu welchen OSDs gehören.</p><p>Der Speichervorgang ist parallelisiert und damit auch bei langsamerer Hardware immer noch schneller als die gewöhnliche Blockspeicherung.</p><h4>Redundante Speicherung</h4><p>Der Client kümmert sich nicht darum Daten redundant zu speichern. Diese Aufgabe übernehmen OSDs automatisch und teilen die dafür notwendige Arbeit unter sich auf. Der Client schreibt das zu speichernde Objekt nur einmal auf den Primary OSD bzw. die zur Placement Group gehörende Festplatte. Die Replikation zwischen den OSDs wird vollständig autonom ausgeführt.</p><h4>Woran macht Ceph fest, welche OSDs die Ziele für eine bestimmte<br>Placement Group sind?</h4><p>Im Gegensatz zu anderen Datenspeichersystemen, die z. B. Hash Tabellen für das Data Placement nutzen, um zu bestimmen, welche Objekte auf welchen Servern gespeichert werden müssen, nutzt Ceph dafür den speziell entwickelten CRUSH Algorithmus. CRUSH <strong>verhindert</strong> Engpässe beim Abfragen von Speichermetadaten, die normalerweise auftreten, wenn nur normale Hash Tabellen verwendet werden.</p><p>CRUSH steht für:</p><blockquote>»Controlled Replication Under Scalable Hashing«</blockquote><p>Der CRUSH Algorithmus arbeitet pseudozufällig. Das heißt, für jede im Cluster existierende Placement Group bestimmt CRUSH eine zufällige aber reproduzierbare OSD Liste, die zur Placement Group gehört. Der Client ermittelt also über eine Berechnung, die zur Placement Group gehörenden primären und sekundären OSDs. Defekte OSDs werden vom CRUSH Algorithmus ignoriert.</p><p>Die Zuweisung der Objekte zu den zugehörigen Speicherorten erfolgt rein rechnerisch und ist deshalb um ein vielfaches leistungsfähiger. Administratoren können das Data Placement über den CRUSH Algorithmus beeinflussen. Das bedeutet, sie können entscheiden welche OSDs in welchen Rechenzentren bzw. welche OSDs aus unterschiedlichen Racks bei einem Replikationsvorgang verwendet werden sollen.</p><p>Zu replizierende Objekte müssen vollständig im OSD Journal registriert sein, bevor der Client autorisiert wird den Schreibvorgang der Daten abzuschließen. Lesevorgänge benötigen keine Meta-Informationen, z. B. aus Index Strukturen, um ausgeführt werden zu können. Über die Objekt ID errechnet der CRUSH Algorithmus, auf welchen OSDs das Objekt gespeichert ist.</p><p>Fällt eine OSD aus, erzeugt Ceph automatisch Kopien von den noch vorhandenen Replikaten und schreibt sie nach dem Austausch der ausgefallenen OSD auf die ersetzte OSD. Repliziert wird nur auf funktionstüchtige OSDs.</p><h4>Clients</h4><p>Anwendungen speichern Daten in Ceph über Interfaces, die von Ceph direkt oder indirekt über das Betriebssystem zur Verfügung gestellt werden.</p><p>Ceph bietet File- und Object Storage einen Block Device Driver (RADOS Block Device, RBD), der Speicher in Form einer Festplattenemulation zur Verfügung stellt.</p><p>Das RBD gibt es in zwei verschiedenen Varianten:</p><ul><li><strong>Linux Kernel-Modul</strong><br>Administratoren stellen darüber Ceph Speicherplatz als Festplattenemulation zur Verfügung. Im Linux Betriebssystem erscheint der Ceph Speicher dann als reguläres Linux Device. Z. B. /dev/rbd/ oder /dev/rbd0/</li><li><strong>Qemu-RBD Modul<br></strong>Qemu-RBD ist ein Storage Treiber für Qemu und stellt virtuellen Servern (VMs) Ceph Speicher als virtuelle Festplatte zur Verfügung.</li></ul><p>Ceph Speicher kann auch über eine RESTful API genutzt werden, worüber Anwendungen direkt über das HTTP Protokoll Zugriff auf Ceph haben.</p><p>Das RADOS Gateway (radosgw) erlaubt Ceph Daten in Diensten wie Google Drive oder Dropbox zu integrieren. Es bietet eine HTTP Schnittstelle zu Ceph, die auf fastCGI basiert und vom eingesetzten Webserver unterstützt sein muss. Ceph Objekte können dann direkt über ein HTTP Interface genutzt werden.</p><p>CephFS ist ein von Ceph zur Verfügung gestelltes Dateisystem, das wie jedes Standard Dateisystem, von Anwendungen genutzt werden kann. Anwendungen können auch direkt mit Ceph kommunizieren, indem sie die Ceph C Bibliothek LIBRADOS einbinden. Für Script-Sprachen, wie z. B. Python werden ebenfalls APIs zur Verfügung gestellt.</p><h4>Im nächsten Thema geht es um die:</h4><p><a href="https://georgisteffenhagen.medium.com/teil-6-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-b7ba2655e01b">Teil 6: Installation und Konfiguration von Ceph</a></p><h4>Vorhergehendes Thema:</h4><p><a href="https://georgisteffenhagen.medium.com/teil-4-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-e7425ceba83a">Teil 4: Anforderungen und Herausforderungen an Speichersysteme</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=424ec8b74b43" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Teil 4: Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und…]]></title>
            <link>https://georgisteffenhagen.medium.com/teil-4-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-e7425ceba83a?source=rss-65de2a1960a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/e7425ceba83a</guid>
            <category><![CDATA[ceph]]></category>
            <category><![CDATA[it-infrastructure]]></category>
            <category><![CDATA[linux]]></category>
            <category><![CDATA[storage]]></category>
            <category><![CDATA[software-defined-storage]]></category>
            <dc:creator><![CDATA[Georgi Steffenhagen]]></dc:creator>
            <pubDate>Tue, 01 Jul 2025 06:03:10 GMT</pubDate>
            <atom:updated>2025-07-04T20:34:56.213Z</atom:updated>
            <content:encoded><![CDATA[<h3>Teil 4: Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und mittelständische Unternehmen</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4MZDGOqAlo9rdHr-bATz9g.jpeg" /></figure><h3>Anforderungen und Herausforderungen an Speichersysteme</h3><h4>Was tun, wenn die Speicherung von Daten bei Cloud Dienstleistern ausgeschlossen ist?</h4><p>Rechtliche, technische und/oder sicherheitsrelevante Gründe können das Speichern von Daten bei Dienstleistern ausschließen. Handelt es sich bei den Daten z. B. um <strong>Geschäftsgeheimnisse</strong>, ist angesichts jüngster Entwicklungen zur <strong>Datensicherheit</strong> und <strong>Spionage</strong> die Sorge berechtigt, ob bestimmte Daten bei Dritten sicher aufgehoben sind.</p><p>Selbst wenn man keine der genannten Bedenken hat, können es dennoch Sicherheitsvorschriften, Richtlinien, Normen z. B. Konformitätsanforderungen <strong>unmöglich</strong> machen, Daten bei Cloud Dienstleistern zu speichern.</p><p>Ist die <strong>einzige Lösung</strong>, ein Datenspeichersystem selbst wirtschaftlich zu betreiben, ohne auf professionelle Funktionen zu verzichten, dann sind Open Source Storage Lösungen in der Regel eine gute Wahl.</p><p>Sind <strong>Hochverfügbarkeit</strong> und <strong>Zuverlässigkeit</strong> bei der Datenspeicherung wichtig, und sogar die redundante Speicherung über Rechenzentren hinweg erwünscht, bietet <strong>Open Source</strong> Software Defined Storage <strong>passende Lösungen</strong>.</p><h4>Können professionelle Open Source SDS Lösungen von KMUs heute schon produktiv und wirtschaftlich eingesetzt werden?</h4><p>Zur Beantwortung dieser Frage werde ich für Sie die professionelle Open Source SDS Lösung <a href="https://ceph.com/">Ceph</a> untersuchen.</p><p>Anhand eines realen laufenden Ceph Storage Cluster werde ich Ihnen zeigen, welche Anforderungen SDS Speicherlösungen an <strong>Unternehmen</strong> stellt und welche <strong>Rahmenbedingungen</strong> erfüllt sein müssen, damit Sie Open Source SDS <strong>produktiv</strong> und <strong>wirtschaftlich</strong> einsetzen können.</p><h4>Welche Herausforderungen hat eine selbst betriebene Open Source<br>Speicherlösung?</h4><p>Open Source Software steht <strong>kostenlos</strong> zur Verfügung und ist einfach herunterzuladen. Das bedeutet in der Regel aber <strong>nicht</strong>, dass diese Software auch leicht zu <strong>installieren</strong> und zu <strong>konfigurieren</strong> ist.</p><p><strong>Allgemein</strong> und oft sind <strong>spezifische</strong> und <strong>detaillierte</strong> Kenntnisse auf Informatiker Niveau notwendig, um Hardwareeinstellungen, Betriebssystemen und deren Befehle zur <strong>sicheren</strong> und <strong>effizienten</strong> Administration von Servern zu betreiben.</p><p>Liegen diese Kenntnisse nicht vor oder können nur <strong>teuer</strong> zugekauft werden, muss frühzeitig entschieden werden, ob der Betrieb des Datenspeichersystems <strong>selbst</strong> bewältigt werden kann oder z. B. auch aus <strong>Kostengründen</strong> besser einem Dienstleister <strong>überlassen</strong> werden sollte.</p><h4>Im nächsten Thema geht es um die:</h4><p><a href="https://medium.com/@georgisteffenhagen/teil-5-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-424ec8b74b43">Teil 5: Open Source SDS Ceph</a></p><h4>Vorhergehendes Thema:</h4><p><a href="https://georgisteffenhagen.medium.com/teil-3-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-534814d2983b">Teil 3: Ziele von SDS — Software Defined Storage</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e7425ceba83a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Teil 3: Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und…]]></title>
            <link>https://georgisteffenhagen.medium.com/teil-3-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-534814d2983b?source=rss-65de2a1960a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/534814d2983b</guid>
            <category><![CDATA[linux]]></category>
            <category><![CDATA[storage]]></category>
            <category><![CDATA[ceph]]></category>
            <category><![CDATA[it-infrastructure]]></category>
            <category><![CDATA[software-defined-storage]]></category>
            <dc:creator><![CDATA[Georgi Steffenhagen]]></dc:creator>
            <pubDate>Mon, 30 Jun 2025 08:57:01 GMT</pubDate>
            <atom:updated>2025-07-01T06:21:37.824Z</atom:updated>
            <content:encoded><![CDATA[<h3>Teil 3: Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und mittelständische Unternehmen</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4MZDGOqAlo9rdHr-bATz9g.jpeg" /></figure><h3>SDS — Software Defined Storage</h3><p>SDS hat zum Ziel, sämtliche Funktionen eines Datenspeichersystems ausschließlich oder soweit wie möglich in Software abzubilden und den Anwendungen Speicherfunktionen transparent über das Netzwerk zur Verfügung zu stellen. Die Anwendungen und die Betriebssysteme auf denen diese laufen, greifen nicht direkt auf die Datenträger zu oder werden von diesen nicht direkt verwaltet. Datenträgermanagement wird transparent vom SDS Speichersystem ausgeführt.</p><p>Dadurch ist es z. B. auch möglich, beliebig viele, auch unterschiedliche Speichermedien, die über unabhängige Data Center verteilt sind, zu einem oder mehrere Storage Cluster zusammenzufügen. Speicher kann also nahtlos, über Ortsgrenzen hinweg, aggregiert und skaliert werden.</p><p>Storage Cluster können von beliebigen Rechnern verwaltet werden, sofern<br>entsprechende Administratorrechte vorliegen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CgHnDmh7r-5ckAeqgsdKFQ.png" /><figcaption>Darstellung eines SDS Datenspeichersystems mit Administrator. Speicherung kann verteilt auf verschiedene, ortsunabhängige Data Center erfolgen.</figcaption></figure><h4>Im nächsten Thema geht es um:</h4><p><a href="https://georgisteffenhagen.medium.com/teil-4-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-e7425ceba83a">Teil 4: Anforderungen und Herausforderungen an Speichersysteme</a></p><h4>Vorhergehendes Thema:</h4><p><a href="https://georgisteffenhagen.medium.com/teil-2-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-31e9f0574521">Teil 2: Welche Speicherlösungen gibt es?</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=534814d2983b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Teil 2: Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und…]]></title>
            <link>https://georgisteffenhagen.medium.com/teil-2-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-31e9f0574521?source=rss-65de2a1960a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/31e9f0574521</guid>
            <category><![CDATA[storage]]></category>
            <category><![CDATA[it-infrastructure]]></category>
            <category><![CDATA[software-defined-storage]]></category>
            <category><![CDATA[linux]]></category>
            <category><![CDATA[ceph]]></category>
            <dc:creator><![CDATA[Georgi Steffenhagen]]></dc:creator>
            <pubDate>Mon, 30 Jun 2025 08:41:41 GMT</pubDate>
            <atom:updated>2025-06-30T08:58:24.961Z</atom:updated>
            <content:encoded><![CDATA[<h3>Teil 2: Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und mittelständische Unternehmen</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4MZDGOqAlo9rdHr-bATz9g.jpeg" /></figure><h3>Welche Speicherlösungen gibt es?</h3><h4>NAS — Network Attached Storage</h4><p>NAS stellt Speicherkapazität über ein Netzwerk, vergleichbar wie ein Dateiserver, zur Verfügung. Über verschiedene Standardprotokolle wird der Zugriff und die Verwaltung von Dateien ermöglicht. Ein NAS ist in der Regel ein speziell dimensionierter Rechner (Hard- und Software), der bewusst eingeschränkt, spezialisiert und optimiert ist, um kostengünstig Dateidienste über ein Netzwerk anzubieten.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YUpqyjwG8ul7nMdaqIGclw.png" /><figcaption>Darstellung eines NAS. Zugriff auf den Speicher erfolgt über ein Netzwerk</figcaption></figure><h4>Cloud Storage</h4><p>Cloud Storage ist eine Speicherlösung, um Daten über Netzwerke (auch Internet) in entfernten Rechenzentren zu speichern. Eine Vielzahl von Unternehmen bieten heute diverse Business- und Privatlösungen für Cloud Storage an. Bekannte Anbieter sind z. B. Dropbox, Google, Amazon und Microsoft. Bekannte Open Source Lösungen sind — für z. B. File und Object Storage — OwnCloud, Nextcloud und MinIO. Das National Institute for Standards and Technology (NIST) definiert folgende vier Modelle von Cloud Storage.</p><h4>Public Cloud</h4><p>Die Cloud Dienste werden für die allgemeine Öffentlichkeit oder einer industriellen Gruppe zur Verfügung gestellt. Die Cloud Infrastruktur ist proprietär und Eigentum des Cloud Betreibers.</p><h4>Private Cloud</h4><p>Die Cloud Infrastruktur wird ausschließlich von einer Organisation genutzt und für diese betrieben. Der Zugriff auf die Cloud erfolgt von autorisierten Personen oder IT-Systemen. Die Cloud wird von der Organisation, die sie nutzt oder von beauftragten Dienstleistern verwaltet. Private Clouds werden entweder auf dem eigenen Firmengelände oder Dienstleistungsrechenzentren betrieben.</p><h4>Hybrid Cloud</h4><p>Hybrid Clouds bestehen aus mindestens zwei Clouds: privat oder gemeinschaftlich bzw. öffentlich. Sie bleiben eigene Instanzen, werden aber durch standardisierte oder firmeneigene Technologien miteinander verbunden (Load-Balancing zwischen Clouds), um Daten und Anwendungen auszutauschen.</p><h4>Community Cloud</h4><p>Community Clouds werden von mehreren Organisationen geteilt und unterstützen spezifische Gemeinschaften mit gemeinsamen Zielen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yJc2XtFSuL8VGKA__yyOuA.png" /><figcaption>Darstellung eines Cloud-Speichers. Zugriff auf den Speicher eines entfernten Rechenzentrums erfolgt über ein Netzwerk, z. B. Internet.</figcaption></figure><h4>File Server Storage</h4><p>File Server unterscheiden sich von NAS Speicherlösung nur dadurch, dass auf ihnen auch größere Anwendungssysteme laufen können. Entsprechend mächtig ist dann im Einzelfall die Dimensionierung der Hard- und Software. File Server sind nicht wie NAS auf Dateidienste festgelegt, sondern betreiben parallel dazu oft Datenbank-, E-Mail-, Web- und Print-Server.</p><p>Im nächsten Thema geht es um:</p><p><a href="https://georgisteffenhagen.medium.com/teil-3-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-534814d2983b">SDS — Software Defined Storage</a></p><p>Vorhergehendes Thema:<br><a href="https://georgisteffenhagen.medium.com/nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-12aed03a0d99">Einführung Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und mittelständische Unternehmen</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=31e9f0574521" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und…]]></title>
            <link>https://georgisteffenhagen.medium.com/nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-12aed03a0d99?source=rss-65de2a1960a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/12aed03a0d99</guid>
            <category><![CDATA[storage]]></category>
            <category><![CDATA[linux]]></category>
            <category><![CDATA[software-defined-storage]]></category>
            <category><![CDATA[ceph]]></category>
            <category><![CDATA[it-infrastructure]]></category>
            <dc:creator><![CDATA[Georgi Steffenhagen]]></dc:creator>
            <pubDate>Sat, 28 Jun 2025 15:50:25 GMT</pubDate>
            <atom:updated>2025-06-30T08:43:26.487Z</atom:updated>
            <content:encoded><![CDATA[<h3>Nutzung und Wirtschaftlichkeit von Open Source Software Defined Storage für kleine und mittelständische Unternehmen</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4MZDGOqAlo9rdHr-bATz9g.jpeg" /></figure><p>Der Unternehmensbetrieb und Geschäftserfolg hängt heute immer mehr vom Vorhalten und Verarbeiten massiver digitaler Datenbestände ab. Einschränkungen im Zugriff auf diese Daten oder sogar der Verlust der Daten ist etwa so katastrophal, wie der Verlust der Stromversorgung für einen Produktionsbetrieb. Das fordert Unternehmen ständig heraus, zuverlässige und ausfallsichere Datenspeicher zu betreiben.<br> <br>Fallen Datenspeicher unerwartet aus, drohen dem Unternehmen schon ab der ersten Minute nach dem Ausfall Kosten im erheblichen Umfang. Das zeigt sich anhand von Mitarbeitern, die ihre Arbeit nicht fortsetzen können, Produktionsmaschinen die stillstehen, Umsätze die nicht getätigt werden können oder Kunden, die Preis- und Produktunterlagen nicht mehr erreichen können. Damit wird klar, dass jeder Aufwand in ausfallsichere Datenspeichersysteme eine gute Investition ist. Dies gilt vor allem dann, wenn die Daten möglicherweise nicht dem eigenen Betrieb gehören, sondern Eigentum der Kunden sind.</p><p>Ausfallsichere Datenspeichersysteme kann man von Dritten betreiben lassen oder mit eigenem Personal evtl. auch zusammen mit externen Beratern selbst betreiben. Für KMUs kommen beide Methoden infrage. Entscheidet man sich, diese Datenspeichersysteme selbst zu betreiben, können heute KMUs grundsätzlich die gleichen professionellen Datenspeichersysteme erwerben und betreiben wie Großbetriebe und professionelle Rechenzentren. Dies gilt insbesondere dann, wenn Software Defined Storage (SDS) Datenspeichersysteme zum Einsatz kommen sollen. Unklar ist, ob SDS Datenspeichersysteme von KMUs technologisch, organisatorisch und wirtschaftlich beherrschbar sind.</p><p>Ich versuche für euch diese Frage exemplarisch am Beispiel des Open Source SDS Datenspeichersystem <a href="https://ceph.com/">Ceph</a> zu beantworten.</p><p>Teil 2: <a href="https://georgisteffenhagen.medium.com/teil-2-nutzung-und-wirtschaftlichkeit-von-open-source-software-defined-storage-f%C3%BCr-kleine-und-31e9f0574521">Welche Speicherlösungen gibt es?</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=12aed03a0d99" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>