<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Max Dargatz on Medium]]></title>
        <description><![CDATA[Stories by Max Dargatz on Medium]]></description>
        <link>https://medium.com/@maxdargatz?source=rss-ff2fd61d9809------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*QAzLu20Q03JFrxwpwgKyHw.jpeg</url>
            <title>Stories by Max Dargatz on Medium</title>
            <link>https://medium.com/@maxdargatz?source=rss-ff2fd61d9809------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 09:06:08 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@maxdargatz/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Containertechnologie und die deutsche Verwaltungs-IT — Das Betriebsteam (Teil 4/4)]]></title>
            <link>https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-das-betriebsteam-teil-4-4-8e146788fa01?source=rss-ff2fd61d9809------2</link>
            <guid isPermaLink="false">https://medium.com/p/8e146788fa01</guid>
            <category><![CDATA[operations]]></category>
            <category><![CDATA[germany]]></category>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[containers]]></category>
            <category><![CDATA[government]]></category>
            <dc:creator><![CDATA[Max Dargatz]]></dc:creator>
            <pubDate>Fri, 29 Jan 2021 09:52:22 GMT</pubDate>
            <atom:updated>2021-01-29T17:31:47.346Z</atom:updated>
            <content:encoded><![CDATA[<h3>Containertechnologie und die deutsche Verwaltungs-IT — Das Betriebsteam (Teil 4/4)</h3><p>Im Betrieb legt man Wert auf Stabilität und Sicherheit. Als Betrieb ist man bisher immer ein Stück weit Dienstleister für die Entwicklung und indirekt auch für die Fachabteilung. Die Fachabteilung schlägt sich mit Ausfällen der IT-Infrastruktur herum oder wartet — gefühlt zu lange — auf ein neues Feature. Vor allem wenn sie von der Entwicklungsabteilung die Mitteilung bekommt, dass es doch längst fertig sei. Es ist offensichtlich, dass Containertechnologie kaum in der Lage sein kann, dieses Spannungsfeld aufzulösen. Zumal Kubernetes im Betrieb zwangsläufig den größten Aufbau von Wissen erfordert — Kubernetes ist eine Ops-Plattform. Denn es ist — im Vergleich zur virtuellen Maschine oder gar dem physischen Server — in erster Linie eine dynamischere und flexiblere Art, Anwendungen zu betreiben. In Teil 1 wurden folgende Top 3 Vorteile von Kubernetes genannt:</p><ol><li>automatisierte Verwaltung, Skalierung und Vernetzung von Anwendungen,</li><li>abstrahiert, auf einer Vielzahl von Servern,</li><li>stabil und nachvollziehbar betrieben, wie der Nutzer es „beschrieben“ hat.</li></ol><p>Die Frage ist: Wie erreicht man diese Vorteile am Besten?</p><p>In diesem Teil soll diese Frage aus der Perspektive der täglichen Arbeit mit bereits zur Verfügung stehenden Clustern im Vordergrund stehen und erst am Ende ein kurzer Blick auf die Installation von Kubernetes Clustern geworfen werden. Die Installation von Kubernetes ist einerseits ein sehr spezielles Thema und verliert für den Anwender insofern an Relevanz, als dass Enterprise Kubernetes Angebote die Installation mit jedem neuem Release erheblich vereinfachen.</p><h3>Kubernetes ist zuerst eine Betriebs-Plattform</h3><p>Zunächst soll auf einen grundsätzlichen Unterschied zwischen der Arbeit mit Clustern im eigenen, limitierten Rechenzentrum und dem bei einem Hyperscaler hingewiesen und nochmal die “Pets vs. Cattle” Analogie bemüht werden.</p><p>Auf einer Public Cloud kann es sinnvoll sein, auch die virtuellen Maschinen und Kubernetes Cluster für Entwicklungs- und Testumgebungen nur nach Bedarf vorzuhalten. Das sind extreme Kosteneinsparungen und ein starkes Argument für ein hybrides Modell. Damit wird nämlich nicht nur der Container, sondern eben der ganze Kubernetes-Cluster zum “Cattle”.</p><p>Die ganze Bandbreite der Vorteile von Infrastructure-as-Code und Kubernetes gibt es deshalb nur in pay-as-you-go Modellen wie bei den großen Hyperscalern. Aber auch für das eigene Rechenzentrum gibt es noch genügend Vorteile. Dort wird sich die Vorgehensweise allerdings weiterhin mehr am “Pet” — also dem permanenten Betrieb des Kubernetes Cluster — orientieren. Im Gegensatz zu Cloud-Angeboten ist für den Betrieb qualifiziertes Personal erforderlich. Lösungen wie RedHat OpenShift machen es der Administratorin einfacher, den Cluster und seine Applikationen selber zu verwalten. Dies gelingt durch integrierte Funktionen, die nicht nur aus Entwicklerinnensicht, wie bereits in Teil 3 dargestellt, sondern auch aus Administratorinnensicht viele Vorteile bietet. Logging, Monitoring und Cluster Management sind sowohl für Infrastruktur als auch Applikationen vorbereitet und berücksichtigen “Security-by-Design” Konzepte.</p><p>Wie bereits erwähnt: Kubernetes ist eine Ops-Plattform. Und egal in welchem Stadium sich die Zusammenarbeit mit der Entwicklungsabteilung aktuell bewegt, kann vom Betrieb erwartet werden, dass er diesen Wissensaufbau anführt. Kubernetes basiert auf Linux und führt letztlich viele bereits bekannte Linuxkonzepte fort.</p><p>Die Rolle der Kubernetes-Administratorin ist allerdings nicht klar definiert. Es lassen sich jedoch zwei Richtungen unterscheiden.</p><p><strong>Rolle 1 </strong>entspricht dem klassischen Infrastrukturbetrieb. Hierbei ist es notwendig, die Architektur von Kubernetes selber zu verstehen. Auch wenn man auf eine Enterprise Lösung setzt, welche der Administratorin extrem viel abnimmt. Man muss bei Ausfällen von Nodes, Nicht-Verfügbarkeit von Storageklassen oder Netzwerkproblemen reagieren können. Außerdem macht man Upgrades, Patches, BackUps und verwaltet das Monitoring. Wenn man die Cluster selber betreibt, ist diese Rolle noch umfassender. Die Aufgaben werden am Ende dieses Teils nochmal aufgegriffen.</p><p><strong>Rolle 2</strong> hat entweder einen Hintergrund als Softwareentwicklerin mit zusätzlicher Operations-Erfahrung oder als Systemadministratorin mit Softwareentwicklungsfähigkeiten. Denn jetzt geht es um die Interaktion mit den Anwendungsentwicklerinnen und um die Bereitstellung, Konfiguration und Überwachung von Code sowie Verfügbarkeit, Latenz, Änderungsmanagement, Notfallreaktion und Kapazitätsmanagement von Services in der Produktion. Wie im „vanilla-Kubernetes“ findet man auch in OpenShift, VMWare Tanzu oder Rancher die Begriffe Deployment, Replica Set, Pod, DaemonSet, Helm Release uvm. Kubernetes Know-How ist also auch hier unverzichtbar. Ein populärer Terminus, der dieser Rolle nahekommt, ist “Site Reliability Engineer” (SRE) (Site Reliability Engineering: How Google Runs Production Systems, 2016).</p><p>Die beiden Rollenprofile verdeutlichen, dass die Betriebsorganisation nicht ein dediziertes Team sein wird. Vielmehr wird Rolle 2 Teil der verschiedenen Entwicklungs- bzw. DevOps-Teams und Rolle 1 kümmert sich übergreifend um die Infrastruktur.</p><blockquote>Empfehlung 1: Kubernetes-Expertise aufzubauen, ist ein Muss und es sollten neue Rollen zur direkten Zusammenarbeit mit der Entwicklung geschaffen werden.</blockquote><h3>Die erdrückende Vielfalt rund um Kubernetes — revisited</h3><p>In Teil 2 wurde die Vielfalt an zusätzlichen Werkzeugen für Kubernetes bereits beschrieben. Die Empfehlung lautete, auf “kubernetes-native” Werkzeuge zu setzen, welche die Erweiterbarkeit von Kubernetes ausnutzen. Dies bedingt üblicherweise die Implementierung neuer Kubernetes-API Endpunkte und Controller. Kubernetes-Controller überwachen zu jeder Zeit den Status einer Ressource. Außerdem integrieren diese Tools sich sehr einfach über die Kubernetes-Standards für Netzwerk (CNI), Storage (CSI) und die entsprechende Container Runtime (CRI). Nicht zuletzt kann man sie — wie alle Kubernetes Ressourcen — mit dem Kubernetes Kommandozeilenwerkzeug ‘kubectl’ steuern. Als Kubernetes Ressourcen lassen sie sich auch in das Kubernetes Role-Based Access Control (RBAC) sowie Logging und Monitoring integrieren. Darüber hinaus sind sie als Helm-Chart oder “Kubernetes Operator” automatisiert installierbar. Diese Operatoren sind praktisch in Code verpackte Installations- und Betriebslogik. Auf <a href="https://operatorhub.io/">https://operatorhub.io/</a> findet man viele für den Betrieb wesentliche Werkzeuge für Monitoring, Logging, Tracing und Storageverwaltung. Prominente Beispiele sind Prometheus, Grafana, Splunk oder Elasticsearch. Kubernetes Operatoren gehen dabei über das reine Installieren hinaus und automatisieren bspw. auch Updates und Patches.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*STCpPfY-n-73mnY3" /></figure><p>Eine große Herausforderung bei der Vielfalt an Tools und der engen Integration mit Kubernetes ist das Supportkonzept. Die Fehlersuche bei einer so engen Integration kann sich sehr schwierig gestalten. Eine Möglichkeit zur Bewältigung dieser Herausforderung bietet OpenShift. Es integriert Open Source Werkzeuge, damit der Nutzer jederzeit auf eine geprüfte Container Runtime, virtuelle Netzwerkschicht, DNS-Lösung, Storagetreiber und weitere Komponenten setzt. Denn es ist mitnichten so, dass Kubernetes in der Organisation ohne weitere Werkzeuge betrieben werden kann. Vor allem dann nicht, wenn man es sicher betreiben möchte. Um dies zu vereinfachen, helfen Operatoren sehr, lösen jedoch die Supportfrage nicht auf.</p><p>OpenShift bietet aus diesem Grund die Möglichkeit, von Red Hat zertifizierte Operatoren zu installieren und damit einen ganzheitlichen Support für die Kubernetes-Plattform zu erhalten. Die Alternative dazu ist entweder sehr viel Wissen entsprechend der Rolle 1 — Kubernetes Administratorin — aufzubauen oder dieses Wissen am Markt einzukaufen.</p><blockquote>Empfehlung 2: Das Supportkonzept sollte ganzheitlich gedacht werden und darf sich nicht auf Kubernetes alleine beziehen.</blockquote><h3>Tausende Container — Wie behält man den Überblick?</h3><p>Wenn die Nutzung von Kubernetes für immer mehr Projekte zum Tragen kommt, müssen entweder die Cluster größer werden oder man erhöht deren Anzahl. Bei öffentlichen Organisationen erfordern verschiedene Projekte häufig eine BSI-konforme Mandantentrennung. Diese Trennung kann physisch oder logisch erfolgen. Eine logische Trennung auf der Ebene des Hypervisors ist dabei durch das BSI für verschiedene Lösungen zugelassen. Dies auf Ebene von Kubernetes-Namespaces umzusetzen, kann technisch sinnvoll sein, ist allerdings vom BSI nicht geprüft bzw. zugelassen.</p><p>Deshalb erhöht man die Anzahl der Cluster, um die Trennung konform zu realisieren. Hier wird erneut deutlich, dass es egal ist, ob Kubernetes Cluster als “Pet” oder “Cattle” betrachtet werden — eine automatisierte Provisionierung von Infrastruktur zu ermöglichen, verkürzt die Bereitstellungszeiten. Hinzu kommt danach das Management der verschiedenen Cluster und die Verwaltung der Applikationen.</p><p>Einige Aufgaben der Infrastrukturverwaltung sind:</p><ul><li>Security-Policies für Netzwerk (Portfreigaben, Ingress- &amp; Egresstraffix) &amp; DNS (Zertifikate, Domains) setzen</li><li>Konfiguration von Kubernetes Master- &amp; Worker-Nodes ausführen</li><li>Storage-Klassen verwalten und Data Retention Policies einrichten</li><li>Rollen- und Rechte für Nodes &amp; Storagekomponenten überwachen und anpassen</li><li>Node-Skalierung &amp; Hochverfügbarkeit von Komponenten z.B. durch Multi-Region Cluster verwalten</li><li>Node-Typen mit Labeln kennzeichnen z.B. BigMem oder GPU Nodes</li><li>Zugänge zu Container Registry einrichten und verwalten</li><li>Logging &amp; Monitoring der Infrastruktur</li></ul><p>Einige Aufgaben der Applikationsverwaltung sind:</p><ul><li>Security Policies für Namespaces (z.B. default deny Policies), Pods (z.B. non-root Container) &amp; Volumes setzen</li><li>Automatische Skalierung von Applikationsinstanzen einrichten (Horizontal Pod Autoscaling)</li><li>Ressourcenanforderungen und Limits beim Aufsetzen von Namespaces und/oder Pods einfordern</li><li>Rollen- und Rechte für Namespaces verwalten und sogenannte Verbs (wer darf „view“, „read“, „update“ usw.) definieren für Nutzer und Service Accounts</li><li>Labelling Konzept für alle Bestandteile der Applikationen entwerfen und konsequent umsetzen; Beispiel-Labels für ein Kubernernetes Deployment sind Applikationsnamen, Versionen, Owner, Maintainer, Phase, Release Nummern, Tiering, Projekt-IDs, Kunden-IDs, TechnologieStack</li><li>einige Labels werden von Kubernetes vordefiniert und finden bei verschiedenen Visualisierungstools Verwendung: <a href="https://kubernetes.io/docs/concepts/overview/working-with-objects/common-labels/">https://kubernetes.io/docs/concepts/overview/working-with-objects/common-labels/</a></li><li>Logging und Monitoring der Applikationen, welches durch ein einheitliches Labeling verbessert wird</li></ul><p>Einige Aufgaben sind cluster-spezifisch, die meisten davon können aber zentral für alle Cluster verwaltet werden. Dazu benötigt man ein Cluster Management Werkzeug. Über dieses erfolgt entweder direkt auch die Provisionierung des Kubernetes Clusters, insbesondere aber die Verwaltung zur Laufzeit und die Ausführung der zuvor genannten Aufgaben. Idealerweise verfügt das Cluster Management Werkzeug über Controller, welche die Durchsetzung und Kontrolle von Policies zu Labelling oder Netzwerk jederzeit ermöglichen und auch ein Abweichen vom Standard aufzeigen, wenn bspw. jemand direkt im Cluster Änderungen vornimmt.</p><p>In diesem Kontext fällt häufig das Schlagwort Multi-Cloud-Management. Die Definition von Cloud umfasst in diesem Zusammenhang das Vorhandensein von verschiedenen Kubernetes Clustern an verschiedenen Standorten. Zu den Standorten können neben den eigenen Rechenzentren der Organisation natürlich auch AWS, die IBM Cloud, Google Cloud Platform oder Microsoft Azure zählen.</p><p>Bei der Auswahl des Cluster Management Werkzeugs kommt es darauf an, was damit erreicht werden soll. Folgende Fragen helfen bei der Orientierung:</p><ul><li>Geht es einem darum ausschließlich Kubernetes- bzw. OpenShift-Cluster im eigenen RZ und bei Cloud-Providern zu verwalten?</li><li>Möchte man Infrastructure-as-Code Werkzeuge wie Vagrant, Terraform und Ansible vollständig integrieren?</li><li>Soll sich die Verwaltung auch auf Storage- und Netzwerkkomponten sowie Hypervisor beziehen?</li><li>Und möchte man darüber hinaus auch noch verwaltete Datenbank-, KI oder Analyseservices von Public Cloud Providern einbeziehen?</li></ul><p>Beantwortet man nur Frage 1 mit „ja“, kann man beginnen, sich Werkzeuge wie RedHat Advanced Cluster Management oder Rancher anzusehen. Die restlichen Fragen umfassen letztendlich ein ganzheitliches Cluster- &amp; Infrastrukturmanagement, welches über Kubernetes hinaus geht. Dafür gibt es ebenfalls — deutlich mehr Funktionalität umfassende — Werkzeuge z.B. auch von IBM.</p><blockquote>Empfehlung 3: Bei steigender Anzahl von Clustern sollten Sicherheitsvorgaben sowie Cluster — und Applikationsverwaltung zentral über ein Cluster Management Werkzeug gesteuert werden.</blockquote><p>Eine wesentliche Komponente des Cluster Management ist Logging und Monitoring der Infrastruktur sowie der Applikationen. Nun verfügt jede IT-Abteilung der öffentlichen Hand heute bereits über ein Konzept und bestehende Werkzeuge. Es stellt sich also die Frage, ob Kubernetes und Container in dieses Konzept eingebunden werden können. Die kurze Antwort ist: natürlich geht das. Alle großen Hersteller kommerzieller Lösungen und OpenSource Projekte bieten Log Collection und Monitoring von Kubernetes Ressourcen an. Üblicherweise nicht nur das, gleichzeitig sind sie auch als das was zuvor als “kubernetes-nativ” beschrieben wurde verfügbar, d.h. man kann sie direkt auf Kubernetes betreiben und sie sind dafür optimiert.</p><p>Wer also bisher bspw. auf Elasticsearch, Logstash und Kibana (ELK Stack) für Logging und auf Prometheus für Metrik-Überwachung setzt, kann dies weiter tun. Für Logging werden auf jedem Knoten der zu verwaltenden Kubernetes Cluster Agenten installiert, die Container-Logs aggregiert und durch Elasticsearch aufbereitet. Die Visualisierung erfolgt dann mit Kibana. Prometheus funktioniert hingegen ohne Agenten um Metriken wie RAM- und CPU Auslastung, Anzahl von Request oder Nutzung von Storage zu überwachen. Prometheus überbrückt den Unterschied zu virtuellen Maschinen, bei denen IPs üblicherweise gleich bleiben, durch ein Service Discovery Feature, welches auf die Kubernetes-API zugreift und dadurch immer alle zu einer Applikation zugehörigen Pods entsprechend vermisst, auch wenn sich IPs ändern bzw. neue Instanzen z.B. durch Skalierung hinzukommen.</p><p>Von der Überwachung einer Umgebung auf Basis von virtuellen Maschinen unterscheidet sich Kubernetes also insbesondere aufgrund der Anzahl an anzubindenden Quellen und der zusätzlichen virtualisierten Schicht bzw. der dynamischen Ressourcen. Die Herausforderung besteht darin, Metriken und Logs von vielen Services konstant im Blick zu haben. Außerdem benötigt man ein für Kubernetes optimiertes Alerting-System, welches auf RAM- und CPU Auslastung, Anzahl von Request oder Nutzung von Storage jedes einzelnen Services reagiert.</p><blockquote>Empfehlung 4: Das bestehende Logging &amp; Monitoring Konzept sollte um Kubernetes-optimiertes Alerting erweitert werden.</blockquote><h3>Verteilte Systeme — Schuld ist das Netzwerk!?</h3><p>Häufig liegen Probleme in einem verteilten System in der Kommunikation verschiedener Services begraben. Kubernetes hat den gleichzeitigen Betrieb von vielen hunderten Containern und mehr möglich gemacht. Eine goldene Regel lautet: Je autonomer die einzelnen Services die sich dahinter verbergen sind, desto besser. Man spricht hier auch von “smart endpoints — dumb pipes”.</p><p>Diese Autonomie wirft aber Probleme auf. Wenn jeder Service den anderen als Blackbox behandelt und sich auf dessen “smartness” verlässt, fehlt der Überblick über das Gesamtsystem. Zwei Services haben einen Kommunikationsweg, drei haben sechs und zehn haben bereits neunzig Kommunikationswege. Um den Überblick zurückzugewinnen und alle Kommunikationswege</p><p>a) überwachen,</p><p>b) abzusichern,</p><p>c) zu kontrollieren und</p><p>d) konfigurieren</p><p>zu können, kommt ein Service Mesh zum Einsatz.</p><p><strong>Überwachen</strong></p><p>Überwachen im Kontext der Microservice-Kommunikation bedeutet in erster Linie, das “Mesh” zu visualisieren. Also zu zeigen, welche Services wann, wie oft und über welche Protokolle miteinander kommunizieren. Jede Kommunikation zwischen Services im Cluster wird aufgezeichnet und abgeleitet, ob diese erfolgreich war oder nicht. In der Abbildung ist das anhand der HTTP-Codes dargestellt. Die Visualisierung stammt aus dem Monitoringtool Kiali, welches das Open Source Service Mesh Istio direkt mitbringt.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/602/1*VXq2EsB4BuFu9-3c9pSaEg.png" /><figcaption>Abbildung 1: Service Mesh Visualisierung</figcaption></figure><p>Der entscheidende Vorteil von Service Mesh Technologien ist, dass diese Funktionalität nicht Bestandteil des Applikationscodes ist. Es wird dazu neben jedem Container ein weiterer Container im gleichen Kubernetes Pod gestartet, welcher die Kommunikation abfängt, auswertet, und weiterleitet (auch Sidecar-Proxy genannt). In diesem Container läuft ein Service-Proxy, der die gesamte Kommunikation des eigentlichen Applikationscontainers abfängt, auswertet und danach weiterleitet. Das lässt sich vollständig automatisieren, sodass ein Service Mesh ohne Anpassung der Applikation eingerichtet werden kann. Beim Starten jedes neuen Containers wird einfach gleichzeitig der Sidecar-Proxy gestartet. Die zusätzlichen Metriken können dann wiederum in Prometheus für Monitoring und Alerting eingesetzt werden. Damit ist das auch für bestehende, lediglich nach Kubernetes portierte Anwendungen anwendbar.</p><p>Mit dieser Technologie kann auch eine weitere Frage, welche nicht erst im Betrieb extrem wichtig ist, beantwortet werden: Wie lange benötigt eine Anfrage an das System insgesamt und wie lange pro Service?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/602/1*YRp0cQD0bEHHxx6Tr97PiA.png" /><figcaption>Abbildung 2: Distributed Tracing in Jaeger</figcaption></figure><p>Dieses “Distributed Tracing” lässt sich leider heute noch nicht ohne Anpassung der Anwendung umsetzen, da das Service Mesh nicht in der Lage ist, eine einzelne Anfrage an das System durch die Kette der Services zu verfolgen. Dafür wird ein einheitlicher Identifier benötigt. Und genau diese Request-ID muss jeder Service weiterreichen. Diese sogenannte Header-Propagation ist erforderlich, damit eine Korrelation erfolgen kann. Bei einer neuen Entwicklung ist der Aufwand nicht groß — es gibt für alle relevanten Frameworks wie bspw. Springboot oder Microprofile in Java kurze Code Snippets bzw. Bibliotheken, die das umsetzen. Bei bestehenden Anwendungen ist der Aufwand möglicherweise nicht immer gerechtfertigt.</p><p><strong>Absichern</strong></p><p>Da man durch das Service Mesh an jedem Service einen Proxy angeheftet hat, kann man die Kommunikation neben der reinen Überwachung noch deutlich besser absichern. Der sicherste Weg ist die gesamte Kommunikation zwischen Services im Cluster zu verschlüsseln. Dazu stellt das Service Mesh eine zentrale Zertifikatsverwaltung bereit, die alle Sidecar-Proxies mit TLS Zertifikaten ausstattet und dadurch im gesamten Cluster sogenannte mutualTLS (mTLS) Kommunikation ermöglicht.</p><p><strong>Kontrollieren</strong></p><p>Die Sidecar-Proxies ermöglichen auch, Netzwerkpolicies für alle eingehenden und ausgehenden Traffic zu definieren. Sowohl whitelisting als auch blacklisting können eingesetzt werden, um die Erreichbarkeit des Services bzw. den Zugriff auf andere Services einzuschränken. Darüber hinaus können zeitliche Einschränkungen oder die Limitierung von Request eingerichtet werden.</p><p>Zuvor war bereits ersichtlich, dass das Service Mesh die HTTP-Codes, also alle Antworten bei Service-Requests, aufzeichnet. Wenn ein Kubernetes Service bspw. über fünf Instanzen einer Applikation verfügt und die Requests immer der Reihe nach an diese fünf verteilt werden, eine dieser Instanzen aber fehlerhaft antwortet, dann wird dies sichtbar. In diesem Falle zum Beispiel durch 500er HTTP Error Codes. In einem verteilten System ziehen fehlerhafte Antworten häufig Konsequenzen in der ganzen Kette der miteinander kommunizierenden Services nach sich. Daher muss eine fehlerhaft oder auch zu langsam antwortende Instanz schnell aus der Verteilung von Requests ausgeklammert werden. Auch das kann man mit einem Service Mesh erreichen und z.B. bei drei fehlerhaften Antworten innerhalb von 30 Sekunden eine Instanz für zehn Minuten keine weiteren Requests annehmen lassen oder direkt neustarten. Das nennt man <strong>Circuit Breaking,</strong> weil dadurch praktisch der Schalter umgelegt und die Leitung zu dieser Instanz gekappt wird.</p><p>Da man durch die Sidecar-Proxies vollen Zugriff auf die Kommunikation hat, kann man diese sogar manipulieren und somit testen, ob Hochverfügbarkeit und Circuit Breaking im System tatsächlich funktionieren. Dazu manipuliert man entweder die angesprochenen HTTP-Antwortcodes und lässt einen Services bspw. bei 30% aller Anfragen fehlerhaft antworten. Genauso kann man für einen bestimmten Prozentsatz Antwortzeitverzögerung einbauen. Dabei spricht man von Fault Injection oder <strong>Chaos Engineering</strong>.</p><blockquote>Empfehlung 5: Ein Service Mesh sollte bei größeren Umgebungen eingesetzt werden um das Monitoring zu verbessern und um weitere Metriken zu erweitern, Fehler zu finden, die Sicherheit zu erhöhen und das Gesamtsystem resilienter zu machen.</blockquote><p><strong>Konfigurieren (Release Management)</strong></p><p>Kubernetes bringt bereits sehr gute Möglichkeiten mit, um das Deployment von Applikationen zu vereinfachen. Die Kubernetes-Ressource “Deployment” beeinhaltet bereits standardmäßig die Funktion rollierende Updates zu machen. Das heißt, wenn eine neue Version der Anwendung ausgerollt werden soll, kann diese ohne Downtime geschehen. Ausnahmen bestätigen natürlich die Regel, je nach dem welche Abhängigkeiten die Anwendung zu Datenbankschema oder Storage hat.</p><p>Mit Kubernetes Services könnte man außerdem auch gleichzeitig auf zwei oder mehr Versionen seiner Anwendung zeigen, um etwa ein neues Feature nur bei jedem 10. Request verfügbar zu machen. Dazu bräuchte man aber neun Instanzen der alten und eine der neuen Version. Man würde hier bereits von einem<strong> Canary Release</strong> sprechen — allerdings einem sehr unhandlichen.</p><p>Nutzt man die Möglichkeiten des Service Meshs und der Sidecar-Proxies kann man so ein Canary Release dediziert einstellen indem man die Proxies so konfiguriert, dass ein definierter Prozentsatz bei der neuen Version ankommt. Und zwar unabhängig von der Anzahl an Instanzen, welche tatsächlich laufen. Und wenn das Feature vielversprechend ist, kann man den Prozentwert sukzessive anheben. Es besteht auch die Möglichkeit das Routing zu einer neuen Version auf Basis weiterer Regeln, wie etwa dem genutzten Browser zu konfigurieren. Dies basiert auf den für Tracing genannten HTTP-Headern. Man kann auch einen eigenen Header konfigurieren und auf diese Weise die neue Version in Produktion ausrollen, jedoch nur dem zugänglich machen, der den Service über diesen selber definierten Header anspricht. Dann spricht man von einem <strong>Dark Release.</strong></p><p>Solange diese Techniken nicht im Mainstream angekommen sind, stellt sich die Frage ob man nun auf eine Staging Umgebung verzichten kann sicher noch nicht, aber das sollte einen nicht davon abhalten sich der Möglichkeiten zu bedienen.</p><blockquote>Empfehlung 6: Kubernetes vereinfacht Release Management erheblich, was in Kombination mit einem Service Mesh genutzt werden sollte.</blockquote><h3>Installation eines Clusters</h3><p>Nun wollen viele öffentliche Behörden, Bundes-, Landes-, und kommunale Rechenzentren aus verschiedensten Gründen Kubernetes — also die “private Cloud” — in ihr eigenes Rechenzentrum bringen. Mit allen Anforderungen an Security, die die Bürgerinnen und das Gesetz an die öffentliche Hand stellen.</p><p>Das Kubernetes Do-It-Yourself nicht ganz so einfach ist, wurde in Teil 2 bereits angesprochen. Gemeint ist mit DIY die verschiedenen Kubernetes Komponenten aus dem Github Repository zu clonen und als Services auf den entsprechenden Nodes zu starten. Alternativ kann man auf fertige Container Images der Kubernetes Komponenten vom Dockerhub zurückzugreifen und diese starten. Das ist — sofern virtuelle Maschinen oder physische Server und die Netzwerkkonfiguration bereits vorbereitet wurden für einen erfahrenen Linuxadministrator auch innerhalb von einem Tag erledigt. Er trifft aber entlang dieses Weges bereits einige Entscheidungen, z.B. auf welchem Betriebssystem er aufsetzt, welche Netzwerklösung eingesetzt wird, wie er den Cluster Hochverfügbar auslegt, ob er Kubernetes Binaries oder die Container Images verwendet, ob er Master Nodes nur für Kubernetes Managementaufgaben oder auch Applikationsbetrieb aufsetzt oder ob er den lokalen Key-Value Speicher verschlüsselt oder nicht. Alle Aspekte zur Umsetzung der Anforderungen an Verfügbarkeit, Performance und insbesondere Sicherheit zu bedenken, erfordert jedoch viel mehr Zeit und Erfahrung. Es kommt zudem eine weitere Anforderung der öffentlichen Rechenzentren hinzu: Systeme werden üblicherweise ohne Netzwerkzugriff, also „air-gapped“, aufgesetzt. Spätestens dann sollte man auf einen Partner setzen der die Installation so vorbereitet hat, dass sie auf physischen Servern oder dem Hypervisor der Organisation reibungslos aufgesetzt werden kann.</p><p>OpenShift ermöglicht eine „air-gapped“ Installation technisch, indem es die Möglichkeiten bietet, vor der Installation eine Mirror Container Registry mit allen notwendigen Container Images in der eigenen Organisation aufzubauen, welche dann während einer automatisierten Installation genutzt wird. Da OpenShift viel mehr als Kubernetes ist und bei einer Installation mehr als einhundert verschiedene Images benötigt werden, ist das sehr wichtig. Diese Variante ist bei einer gültigen Subscription auch vollständig durch RedHat unterstützt.<a href="#_ftn1">[1]</a></p><blockquote>Empfehlung 7: Will man Kubernetes selber betreiben sollte man auf ein Angebot setzen, dass „air-gapped“ Installation und automatisierte Updates nicht nur ermöglicht sondern auch durch den Hersteller unterstützt.</blockquote><p>OpenShift nimmt im Übrigen die Beschreibung von Kubernetes als neues Betriebssystem wörtlich und hat Kubernetes aus diesem Grund fest mit dem Linuxbetriebssystem CoreOS verdrahtet. Denn entgegen der gängigen Praxis von Linux Administratoren, Softwarepakete und Konfigurationen per ssh login auf einem Node direkt auszuführen, skaliert dies nicht in einer cloud-first bzw. container-first Umgebung. Direkte manuelle Anpassungen auf einem (wegwerfbarem) Node riskieren den Systembetrieb und Änderungen werden durch Updates oder Operatoren überschrieben.</p><h3>Wrap-Up</h3><p>Bestenfalls konnte diese Serie dem Einsteiger und auch dem ein oder anderen Erfahrenen neue Aspekte und Blickwinkel auf den Einsatz von Containern und Kubernetes bieten. Die Technologie hat einen hohen Reifegrad erreicht und die Vorteile sind tausendfach belegt — ob im eigenen Rechenzentrum oder bei einem Cloud Provider. Und auch jetzt entwickelt sich der Bereich immernoch rasend schnell weiter — öffnet sich bspw. für Windows, kapselt ganze virtuelle Maschinen in Kubernetes Pods oder steuert sich selbst durch lernende Algorithmen.</p><p>Jeder und jedem der es bis hierher geschafft hat: Vielen Dank fürs Dranbleiben und schon vorab für jede Rückmeldung, Anfrage oder Anregung ( oder Korrekturvorschläge :) ).</p><p><a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-intro-teil-1-4-81b92936ee57">Teil 1</a> — <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-it-entscheiderin-teil-2-4-b8fbaf43a7c6">Teil 2</a> — <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-entwicklerin-teil-3-4-1c2104509ed1">Teil 3</a> — <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-das-betriebsteam-teil-4-4-8e146788fa01">Teil 4</a></p><h3>Referenzen</h3><p><a href="#_ftnref1">[1]</a> <a href="https://docs.openshift.com/container-platform/4.6/installing/installing_vsphere/installing-restricted-networks-vsphere.html">https://docs.OpenShift.com/container-platform/4.6/installing/installing_vsphere/installing-restricted-networks-vsphere.html</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8e146788fa01" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Containertechnologie und die deutsche Verwaltungs-IT — Die Entwicklerin (Teil 3/4)]]></title>
            <link>https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-entwicklerin-teil-3-4-1c2104509ed1?source=rss-ff2fd61d9809------2</link>
            <guid isPermaLink="false">https://medium.com/p/1c2104509ed1</guid>
            <category><![CDATA[germany]]></category>
            <category><![CDATA[verwaltung]]></category>
            <category><![CDATA[containers]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[kubernetes]]></category>
            <dc:creator><![CDATA[Max Dargatz]]></dc:creator>
            <pubDate>Thu, 28 Jan 2021 16:11:59 GMT</pubDate>
            <atom:updated>2021-01-29T17:13:28.464Z</atom:updated>
            <content:encoded><![CDATA[<h3>Containertechnologie und die deutsche Verwaltungs-IT — Die Entwicklerin (Teil 3/4)</h3><p>Die Ziele von Entwicklerinnen sind vielfältig und das hier Geschriebene basiert natürlich auf persönlicher Erfahrung. Es lässt sich aber sicher sagen, dass jede Entwicklerin ihren Code gerne Mehrwert liefern sehen möchte. Üblicherweise bedeutet das, der Code ist in Produktion und Nutzer können ein neues Feature verwenden. Außerdem möchte sich die Entwicklerin auf das Entwickeln konzentrieren und dabei mit möglichst wenig Restriktionen und Overhead konfrontiert werden. Diese Restriktionen sind in Behörden traditionell das Warten auf verfügbare Umgebungen, die Freigabe von Werkzeugen und — vermutlich am schwerwiegendsten — die Abstimmungen, welche Änderungen wann, wo und wie gemacht werden können und dürfen.</p><h3>Das Versprechen von Containern und Kubernetes</h3><p>Containertechnologie, insbesondere in Verbindung mit einer Kubernetes-basierten Entwicklungsumgebung, macht der Entwicklerin — ohne die Regularien &amp; Restriktionen einer großen Organisation — eine Reihe von Versprechen.</p><ol><li>Umgebungen sind praktisch auf Knopfdruck im Self-Service verfügbar.</li><li>Der Zugriff auf Software — Open Source und Proprietär — ist extrem einfach und schnell.</li><li>Releases erfolgen regelmäßig, sind einfach zu patchen oder zurückzunehmen.</li></ol><p>Alle drei Punkte haben technische und organisatorische Facetten. Im Folgenden sollen vorerst die technischen Facetten im Fokus stehen, bevor auf die anspruchsvolleren organisatorischen eingegangen wird.</p><p>Deshalb erfolgt der Einstieg bei der Wahl des Containertools für die Entwicklerinnen. Damit ist das Werkzeug gemeint, mit dem Container Images lokal gebaut und ausgeführt werden. Der Platzhirsch ist immernoch Docker. Aber es gibt Alternativen, wie etwa Podman, das sich vollständig an Kubernetes orientiert und auf einen zentralen Daemon verzichtet. Damit hat es einige Vorzüge. Wichtig ist letztlich: das Containertool muss sich am OCI-Standard orientieren, damit die gebauten Images in Kubernetes lauffähig sind.</p><blockquote>Empfehlung 1: Setzen Sie auf eine Container-Engine die auf dem OCI-Standard basiert und große Community hat, wie Podman oder Docker.</blockquote><p>Um das erste oben genannte Versprechen einzulösen, wird meist mehr benötigt als der eigene Code. Gemeint sind Dinge wie die SQL oder no-SQL Datenbank, ein Cache wie bspw. redis, der Liberty Applikationsserver oder ein Tool zum Testen und Mocken von Schnittstellen wie Postman. Große öffentliche Containerregistries, wie der DockerHub, sind aus dem Organisationsnetz nicht verfügbar und der Einsatz beliebiger Software, auch wenn Open Source, ist stark eingeschränkt. Es gibt aber eine Reihe von Angeboten geprüfter Software z.B. vom Red Hat Marketplace oder bitnami. Diese Software wird über eine gespiegelte Containerregistry in der Organisation verfügbar gemacht und dort werden wiederum nur diese Images zugelassen, welche auch der Unternehmensarchitekt freigegeben hat. Das betrifft übrigens die ganze Middleware-Palette, denn auch eigene Applikationen setzen auf einem Container Image z.B. einem RHEL 8 mit OpenJDK, Ubuntu mit Python 3.6, Alpine mit Node.JS oder, oder, oder … auf.</p><blockquote>Empfehlung 2: Entwicklerinnen sollten freien Zugriff auf geprüfte Software über einen (Container)-Organisationsmarkplatz haben.</blockquote><h3>Für Kubernetes entwickeln — aber gemeinsam mit dem Betrieb!</h3><p>Die rein technischen Voraussetzungen zu schaffen, um Versprechen 1 und 2 einzulösen, ist also auch im internen Netz der Behörde möglich. Um die Möglichkeiten dann auch zu nutzen, braucht es jedoch Akzeptanz und das entsprechende Know-how. Und das hängt auch mit dem dritten Versprechen zusammen. Nämlich, dass Code schnell in Produktion geht und man wenig Overhead hat. Da dies wesentlich von der Art und Weise der Zusammenarbeit mit dem Betrieb abhängt, erfolgt erneut die Orientierung an Abbildung 1, welche schon aus dem letzten Teil bekannt ist.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/602/1*jSXJJx8SuLOdiE5bBFFGuA.png" /><figcaption>Abbildung 1: Wie Betrieb und Entwicklung zusammenarbeiten sollten um das meiste aus Kubernetes herauszuholen</figcaption></figure><p>Variante 1 — “Software bauen wie immer und den Betrieb den Rest machen lassen” — soll nicht betrachtet werden, da es für die Entwicklerin praktisch keine Veränderung bedeutet und zudem nicht erstrebenswert ist. Es geht also los mit Variante 2 “Für Container entwickeln und Images über den Zaun werfen”.</p><p>Wenn Entwicklerinnen mit den in Empfehlung 1 und 2 definierten Rahmenbedingungen entwickeln, müssen sie sich automatisch mit Containertechnologie auseinandersetzen, denn sie werden auf Basis der im Organisationsmarktplatz zur Verfügung gestellten Images ihren Code in eigene Images paketieren und diese laufen lassen.</p><p>Für jede neue Anwendung sollte nun auf einer Vorlage aufgesetzt werden. Hat man sich in der Organisation z.B. auf Node.JS oder Java Microprofile im Backend und Python für Data Science verständigt, werden für diese Frameworks zentral Vorlagen zur Verfügung gestellt. Diese enthalten dann bereits die grundlegende Applikationsstruktur. Außerdem ist ein Dockerfile — also der Bauplan für das Containerimage — enthalten, welches auf ein freigegebenes Basisimage aus dem Organisationsmarktplatz referenziert. Basisimages sind im Container paketierte Betriebssysteme mit unterschiedlichem Funktionsumfang. Zwischen Entwicklung und Produktion kann dieses Basisimage durchaus noch mal geändert werden, da in Produktion ein leichtgewichteres Image eingesetzt werden kann. In der Vorlage ist außerdem auch die Anleitung zum Deployment nach Kubernetes (die YAML-Dateien) enthalten.</p><blockquote>Empfehlung 3: Stellen Sie den Entwicklerinnen Applikationsvorlagen inkl. Dockerfiles &amp; Kubernetes Manifesten zur Verfügung.</blockquote><p>Wenn eine Entwicklerin oder mehrere Entwicklerinnen zusammenarbeiten, bringt Docker eine sehr einfach zu nutzende Erweiterung mit: docker-compose. Mit docker-compose kann man viele Services mit einem Befehl starten und für diese virtuelle Netzwerke zur Inter-Service Kommunikation erstellen. Man bewegt sich damit schon in Richtung der Art, wie Kubernetes funktioniert, allerdings auf einem lokalen PC oder Server. Für Variante 2 aus der Abbildung 4 ist das gut, aber für Variante 3 geht es besser.</p><p>In Variante 3 der Zusammenarbeit — “Für Container entwickeln und Deployment mit dem Betrieb gemeinsam optimieren &amp; automatisieren” — kommen deshalb ein paar neue Methoden zum Einsatz. Als Erstes wird Code lokal überhaupt nicht mehr ohne im Container zu laufen ausgeführt oder getestet, sondern Plugins ermöglichen es, dass man Code entwickelt, und Container Images nach jeder Code-Änderung aktualisiert und neu gestartet werden. Dadurch ist das Gefühl das gleiche, als würde man den Code auf seinem Betriebssystem ausführen. Dort sind dann auch Dashboards, welche Startzeiten, CPU- und Arbeitsspeicherverbrauch des Containers aufzeigen, enthalten. Dies ist natürlich auch in Variante 2 schon empfehlenswert. Damit läuft der Container aber immernoch lokal und nicht in seiner Zielumgebung — nämlich in einem Pod in Kubernetes. Für den Anfang ist das in Ordnung und wenn man zum Entwickeln Abhängigkeiten zu zwei bis drei kleinen Services hat, kann man diese z.B. mit docker-compose ebenfalls lokal starten. Insbesondere bei größeren Anwendungen mit einer Vielzahl von Services und der Umsetzung von “Security-by-Design” bietet es sich an, seinen Service direkt in Kubernetes zu entwickeln und zu testen. Security-by-Design im Kontext der Appliktionsentwicklung heißt hier, von vornherein auf geprüften Images aufzusetzen, Kubernetes Service Accounts mit eingeschränkten Rechten für Applikationen einzusetzen und geheime Zugangsdaten und Konfigurationen als Kubernetes Secrets abzulegen. Bei komplexeren Umgebungen sollte sofort auf ein zentrales Schlüsselmanagement-Werkzeug, wie Vault, gesetzt werden, bei dem die Secrets über Tokens abgerufen werden.</p><p>Wie kommt der Container denn in den Kubernetes Pod? Der Status-Quo sieht folgendermaßen aus:</p><ol><li>Code wird lokal entwickelt / geändert</li><li>Container Image wird gebaut</li><li>Container Image wird in die Container Image-Registry der Organisation hochgeladen</li><li>Im Kubernetes Entwicklungscluster (oder auch Integrationscluster) wird das neue Image referenziert</li><li>Der Cluster lädt das Image und startet die aktualisierte Anwendung</li></ol><p>Wenn man diese fünf Schritte für die Entwicklung und den Entwicklerinnentest jedes mal manuell ausführt, ist das sehr langsam und aufwendig. An diesen fünf Schritten lässt sich nichts ändern, man kann aber den Automatisierungsgrad und die Frequenz anpassen und natürlich Schritte hinzufügen. Die einzig “richtige” Lösung gibt es dafür heute noch nicht. Für kleine Anwendungen mag es ausreichen, auf dem lokalen Rechner direkt im Container zu entwickeln und zu testen. Wenn es mehrere Services werden, nutzt man docker-compose und entwickelt daraus später das Deployment für Kubernetes. Wenn man viele Funktionen von Kubernetes nutzt, bspw. die Speicherverwaltung oder das Secretmanagement von Kubernetes, dann kann man mit minikube oder CodeReadyContainers auch lokal einen Kubernetes Cluster erstellen. Bei großen Anwendungen mit Abhängigkeiten zu verschiedenen anderen Services bietet es sich wiederrum an, seinen Service direkt in einem Entwicklungscluster zu entwickeln, weil es spätere Integrationstests erheblich erleichtert, man nicht an Ressourcenlimits der eigenen Maschine gebunden ist und das Anwendungsverhalten direkt für die Zielplatform optimiert. Und je mehr man während der Entwicklung an die Zielplatform Kubernetes heranrückt, umso sinnvoller ist eine enge Integration mit dem Betrieb. Abbildung 2 gibt einen ersten Einblick, welche Werkzeuge in der Praxis zum Einsatz kommen — dazu mehr in einem anderen Artikel (link folgt sobald er fertig ist), denn das würde hier zu weit führen.</p><blockquote>Empfehlung 4: Nutzen Sie die neue Betriebsplattform, um die Zusammenarbeit zwischen Betrieb und Entwicklung schon während der Codeentwicklung zu intensivieren. Definieren Sie wie die Zusammenarbeit aussehen soll und unterstützen Sie dies durch Prozesse und Tools.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*V5IajYNjfhpg9capnkYRhw.png" /><figcaption>Abbildung 2: Tools zur Entwicklung für Kubernetes und Zusammenarbeit zwischen Entwicklung und Betrieb</figcaption></figure><h3>Alles wird „Code“</h3><p>Noch spannender wird es, wenn die Applikation selber mit der Kubernetes-API interagiert, um z.B. Jobs zu starten oder Konfigurationen anzulegen. Es ist selbstverständlich, dass man dazu direkt in einem Kubernetes Cluster entwickeln muss. Die in Abbildung 1 und 2 dargestellte Variante “Entwicklung mit dem Betrieb zusammen bis zur Steuerung von Infrastruktur” bedingt deshalb endgültig die Verzahnung von Entwicklung und Betrieb, da der Automatisierungsgrad weiter erhöht werden muss und die Applikation mit dem “Infrastructure-as-Code”-Konzept verschmilzt. Hier ist gemeint, dass die Applikation selber in Kubernetes Infrastruktur verwaltet. In diesem Fall ist es wichtig, einen Überblick über die einzelnen Services und Abhängigkeiten dieser zu behalten. Dabei hilft der Entwicklerin bspw. RedHats Enterprise-Kubernetes Angebot OpenShift, da es eine hervorragende GUI liefert, um den Überblick über alle Ressourcen einer Applikation zu behalten. Darüber hinaus bietet es schnellen Zugriff auf die Kommandozeile von Containern sowie deren Logs und Performancestatistiken. Zusätzlich integriert es Tracing und Telemetrie einer verteilten Anwendung. Nachfolgende Abbildung zeigt beispielhaft eine Topologie in der OpenShift GUI.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/602/1*jXtbmX9V6SDPq3TeCn1N4w.png" /><figcaption>Abbildung 3: Grafische Nutzeroberfläche der Containeranwendungsplattform OpenShift.</figcaption></figure><p>Bisher wurden ausschließlich die Entwicklung von Code und der direkte Test durch die Entwicklerin beleuchtet. Dabei fiel schon einige Male das Schlagwort “Automatisierung”. Bisher ging es dabei aber nur um die Automatisierung, diesen Code für die Entwicklungsphase im Container laufen zu lassen.</p><p>Nun soll es darum gehen, wie dieser Code auch in die Integrations-, Staging und Produktionsumgebungen gelangt: durch Continuous Delivery. Continuous Delivery ist die Fähigkeit, Änderungen an einer Anwendung <em>regelmäßig</em> mit allen neuen Features, Änderungen an der Konfiguration, Bug Fixes oder eben kleinen Experimenten in die Produktion zu bringen. Das klingt nun schon nach dem oben genannten Versprechen 3 an die Entwicklerin.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/232/1*dLmHK2poFVeq-MGsNi6PKQ.png" /></figure><p>Die <em>Regelmäßigkeit</em> ist davon abhängig, wie autonom Teams Ihre Anwendungen entwickeln können und wie gut die Entwicklung mit dem Betrieb abgestimmt ist. Diese Abstimmung manifestiert sich in der Qualität und dem Automatisierungsgrad der Deployment Pipeline. Container und moderne Continuous Delivery Werkzeuge machen viel möglich — es kommt aber auf das Vertrauen zwischen Entwicklung, Test und Betriebsabteilung an, sowie darauf, wie viel Automation man sich als Organisation zutraut. Ein automatisierter Freigabe- und Deploymentprozess sollte deshalb unbedingt gemeinschaftlich erarbeitet werden.</p><blockquote>Empfehlung 5: Sorgen Sie dafür, dass es mit “git commit” getan ist — allerdings nur, wenn vorher gemeinsam alle Rahmenbedingungen dafür geschaffen wurden.</blockquote><h3>Der einzige Ort der Wahrheit — die Quellcodeverwaltung</h3><p>Das Stichwort “git” führt direkt zu einem weiteren wichtigen Thema. In Teil 2 wurde bereits erläutert, was deklarativ bedeutet: Ressourcen mit YAML oder JSON Files zu beschreiben und diese in der Quellcodeverwaltung versioniert abzulegen. Gleiches gilt bereits seit langem für Code und ist in fast allen Behörden gängige Praxis. Davon muss heute keine Entwicklerin mehr überzeugt werden.</p><p>In das git-Repository gehört aber bei voller Integration in eine Continuous Delivery Pipeline mehr als der Code. Im Mindesten sind hier Dockerfiles, Kubernetes-Manifeste und Helm-Charts zu nennen. Echte Portabilität und Flexibilität erreicht man allerdings dann, wenn auch die Pipeline inkl. einer Beschreibung ihrer Phasen und der einzelnen Aufgaben als Datei in der Quellcodeverwaltung liegt. Alternativ kann dies auch ein Verweis auf eine Pipeline in einem zentralen Repository sein, dann gehört in die Quellcodeverwaltung allerdings, mit welchen Parametern diese ausgeführt werden soll. Parameter können natürlich auch geheime Werte sein. In diesem Falle kommt eine Schlüsselverwaltungssoftware zum Einsatz und die geheimen Schlüssel bzw. Tokens für diese werden per API-Call bei der Ausführung abgerufen oder über das CI/CD Werkzeug zur Verfügung gestellt.</p><p>Damit eine Anwendung tatsächlich voll im Quellcodeverwaltung dokumentiert ist und ein Build sofort und vollständig reproduziert werden kann, ist Disziplin notwendig, denn die Verlockung “noch mal schnell” eine Anpassung direkt im Kubernetes Cluster vorzunehmen oder eine Umgebungsvariable zur Ausführung der CI/CD Pipeline über die Kommandozeile zu definieren, ist groß.</p><blockquote>Empfehlung 6: Code und wie dieser deployed werden soll sowie die zugehörige Delivery Pipeline und zugehörige Parameter, gehören in die Quellcodeverwaltung.</blockquote><p>Bisher wurden Microservices nicht zu sehr in den Mittelpunkt gerückt, da man diese einerseits völlig unabhängig von Containern entwickeln kann und andererseits der Inhalt eines Containers keinem Microservice entsprechen muss. Man kann auch sehr schwergewichtige Applikationen im Container betreiben — mit allen Problemen die von einem langwierigen Deployment der Artefakte auf virtuellen Maschinen bekannt sind, allerdings mit einigen Vorteilen von Kubernetes.</p><h3>Das richtige Framework</h3><p>Die volle Bandbreite der Vorteile auszuschöpfen, bedingt auch eine grundsätzliche Anpassung der Entwicklung. Ein Blick auf die Definition von Microservices verdeutlicht das:</p><p><em>In short, the microservice architectural style is an approach to developing a single application as a suite of small services, each running in its own process and communicating with lightweight mechanisms, often an HTTP resource API. These services are built around business capabilities and independently deployable by fully automated deployment machinery. There is a bare minimum of centralized management of these services, which may be written in different programming languages and use different data storage technologies.</em></p><p>— <a href="https://martinfowler.com/articles/microservices.html">James Lewis and Martin Fowler (2014)</a></p><p>Denn genau dafür ist Kubernetes schließlich gemacht. Viele kleine Einheiten schnell zu starten, einzelne dynamisch zu skalieren, bei Bedarf oder Problemen sofort zu stoppen bzw. neu zu starten. Dafür eignen sich nahezu alle Programmiersprachen — faktisch aber doch einige mehr und andere weniger. Sogar COBOL Programme lassen sich im Container ausführen — IBM und Microfocus haben in 2020 dazu verschiedene Vorschläge veröffentlicht. Persönliche Erfahrungen zur Produktionstauglichkeit über Hello-World Versuche hinaus fehlen mir an dieser Stelle, aber für die in der Einleitung genannten Fachverfahren kann es relevant sein, wenn Funktionalitäten gekapselt werden sollen.<a href="#_ftn1">[1]</a></p><p>Wie oben beschrieben, ist das, um dem Microservice Pattern gerecht zu werden, nicht genug. Wenn man sich traditionelle Spring oder Java EE Anwendungen ansieht, stellen sich einige Herausforderungen. Wenn etwa für HTTP Requests jeder einzelne Service einen traditionellen Webserver mitbringt, dann überlegt man sich genau, wie klein man Services tatsächlich schneidet, da der Ressourcenverbrauch erheblich ist. Auch dynamische Skalierung ist schwierig, wenn die Startzeiten des Containers mehrere Sekunden betragen. Java ist dennoch auch weiterhin aufgrund des am Markt verfügbaren Know-Hows und seiner großen Community eine sehr gute Wahl. Für Microservices sollten aber leichtgewichtige Webserver wie OpenLiberty eingesetzt werden. Ob dabei nun SpringBoot oder MicroProfile genutzt wird, kommt auf die Präferenz der Organisation an, da sich die Funktionalität immer mehr angleicht. Durch den Einsatz von neuen (Micro)-Frameworks, wie dem von RedHat entwickelten Quarkus in Kombination mit MicroProfile, kann man den traditionellen Webserver eliminieren, aber weiter viele der gewohnten Funktionalitäten nutzen. Im Ergebnis stehen Container Images mit extrem schnellen Startzeiten und geringerem Ressourcenverbrauch.</p><blockquote>Empfehlung 7: Entwicklungsframeworks müssen zu Containern und Kubernetes passen, wenn man die gesamte Bandbreite der Vorteile nutzen möchte.</blockquote><p>Obwohl dieser Teil vorrangig den Entwicklerinnen gewidmet sein sollte, haben extrem viele Aspekte auch den Betrieb betroffen. Das überrascht eigentlich nicht, da genau dies das Ziel ist. Einige Aspekte, wie Cluster-Management, Installation und Security in Kubernetes, bleiben aber dennoch übrig. Und deshalb geht es im nächsten Teil um den Betrieb.</p><p>Hier geht’s weiter mit <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-das-betriebsteam-teil-4-4-8e146788fa01">Teil 4</a> und 7 Empfehlungen für das Betriebsteam wenn es um Container und Kubernetes geht.</p><p><a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-intro-teil-1-4-81b92936ee57">Teil 1</a> — <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-it-entscheiderin-teil-2-4-b8fbaf43a7c6">Teil 2</a> — <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-entwicklerin-teil-3-4-1c2104509ed1">Teil 3</a> — <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-das-betriebsteam-teil-4-4-8e146788fa01">Teil 4</a></p><h3>Referenzen</h3><p><a href="#_ftnref1">[1]</a> <a href="https://www.microfocus.com/documentation/visual-cobol/vc60/Containers_Best_Practices.pdf">https://www.microfocus.com/documentation/visual-cobol/vc60/Containers_Best_Practices.pdf</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1c2104509ed1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Containertechnologie und die deutsche Verwaltungs-IT — Die IT-Entscheiderin (Teil 2/4)]]></title>
            <link>https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-it-entscheiderin-teil-2-4-b8fbaf43a7c6?source=rss-ff2fd61d9809------2</link>
            <guid isPermaLink="false">https://medium.com/p/b8fbaf43a7c6</guid>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[verwaltung]]></category>
            <category><![CDATA[germany]]></category>
            <category><![CDATA[containers]]></category>
            <category><![CDATA[management-and-leadership]]></category>
            <dc:creator><![CDATA[Max Dargatz]]></dc:creator>
            <pubDate>Thu, 28 Jan 2021 16:07:33 GMT</pubDate>
            <atom:updated>2021-01-29T16:47:27.530Z</atom:updated>
            <content:encoded><![CDATA[<h3>Containertechnologie und die deutsche Verwaltungs-IT — Die IT-Entscheiderin (Teil 2/4)</h3><p>Der <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-intro-teil-1-4-81b92936ee57">Einführungsteil</a> hat gezeigt, dass Containertechnologie auch in deutschen Behörden langsam ankommt. Aber <strong>dass</strong> diese Organisationen es einsetzen ist nicht das Spannende, sondern die Gründe und worauf dabei besonders geachtet werden muss. Dieser Teil widmet sich der IT-Entscheiderin. Was motiviert sie zum Einsatz von Containertechnologie, welche Herausforderungen treten immer wieder auf und welche Empfehlungen kann man ihr geben?</p><p>Der Druck geht in der öffentlichen Verwaltung häufig vom Gesetzgeber aus. Drei Beispiele, die 2020 viel Initiative erzeugt haben, sind das Onlinezugangsgesetz, die Einführung einer neuer Rentenform — nämlich der Grundrente — und die Open Data Direktive der EU. Alle drei verursachen in verschiedensten Behörden erheblichen Druck zum Aufbau neuer IT-Infrastruktur und neuer digitaler Dienste. Natürlich ist es nicht nur der Gesetzgeber, sondern auch Eigeninitiative und Innovationsbereitschaft liefern neue Impulse. Mitarbeiter unkonventiell für die Heimarbeit auszustatten oder Bürgerinnen durch digitale Angebote zu informieren, sind ganz aktuelle Beispiele. Es zeigt sich aber auch, dass man in der Breite heute nicht aufgestellt ist, neue digitale Services schnell anzubieten.</p><h3>Warum der Hype um Kubernetes und wie bringt man die Vorteile in die Organisation?</h3><p>Eigeninitiative und Innovationsbereitschaft entstehen aus der Möglichkeit, effektiv zusammenzuarbeiten, IT-Lösungen schnell zu entwicklen und zu verproben sowie diese dann auch getestet zügig in Produktion bringen zu können, damit Verwaltungsmitarbeiterinnen und Bürgerinnen sie nutzen können. Dadurch nimmt jede Einzelne im Fachbereich und der IT den Beitrag ihrer Arbeit auch wahr.</p><ol><li>Entwicklungs- und Testumgebungen bereitzustellen dauert zu lange.</li><li>Es wird mehr Zeit auf Abstimmung als auf Entwicklung verwendet.</li><li>Unterschiede in Entwicklung, QS und Produktion rufen unerwartete Fehler hervor.</li><li>Wiederverwendbarkeit von Services innerhalb der Organisation gestaltet sich kompliziert.</li><li>Neue Open Source Technologien können nicht genutzt werden, weil Freigabeprozesse eingehalten werden müssen.</li></ol><p>Legt man diese und weitere Herausforderungen mit den im ersten Teil aufgeführten Vorteilen der Containertechnologie übereinander, dann wird schnell deutlich, dass das gut zusammenpasst. Um es direkt gegenüber zu stellen, liefern Container und Kubernetes:</p><p>★ Schnelle Bereitstellung von Umgebungen, um schnell zu entwickeln und in verschiedenen, gleich konfigurierten Umgebungen zu testen</p><p>★ Paketierbarkeit, um zwischen einzelnen Arbeitsschritten Code inkl. Laufzeitumgebung weiterzureichen</p><p>★ Portabilität, um Funktionalitäten unabhängig(er) von Hardwareplattformen, Hypervisoren und Betriebssystemen zur Verfügung zu stellen</p><p>★ Wiederverwendbarkeit, um Dienste anderen zur Verfügung stellen zu können bzw. selber Funktionalitäten darauf aufzusetzen</p><p>★ Zugriff auf Open Source Werkzeuge im Container über Marktplätze wie Dockerhub, bitnami oder RedHat Marketplace</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/284/1*FoVAO7h4PnKGTw3nwdwN7A.png" /></figure><p>Um diese Vorteile nutzen zu können, kommt man nicht umhin, doch einen genauen Blick auf die Zusammenarbeit zwischen Entwicklung und Betrieb zu werfen. Das Schlagwort dazu ist DevOps. Diese Zusammenarbeit soll ganz konkret am Beispiel von Containern und Kubernetes untersucht werden. Denn obwohl DevOps schon zwei Jahrzehnte alt ist, hat es dadurch eine neue Facette bekommen. Vier vereinfachte Beispiele der Zusammenarbeit zwischen Entwicklung und Betrieb sind in der folgenden Abbildung 1dargestellt und werden im Folgenden erläutert.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/602/1*jSXJJx8SuLOdiE5bBFFGuA.png" /><figcaption>Abbildung 1: Wie Betrieb und Entwicklung zusammenarbeiten können, um das meiste aus Kubernetes herauszuholen.</figcaption></figure><p>Variante 1: Die Entwicklerinnen können natürlich von der neuen Betriebsplattform nahezu unbehelligt bleiben, sofern sichergestellt wird, dass der Code, den sie bauen, in Container Images paketierbar und anschließend lauffähig ist. Dadurch kann in fast traditioneller Art und Weise der Übergabe verweilt werden, was dem Betrieb allerdings nicht passen wird, da er allein verantwortlich wäre, die Fähigkeiten im Umgang mit Container und Kubernetes aufzubauen.</p><p>Variante 2: Schon besser ist es, wenn die Entwicklerinnen das Konzept von Container Images in ihre Entwicklung integrieren und alles, was sie an Code schreiben, direkt im Container ausführen und testen, um dadurch Indikationen über das Last- und Performanceverhalten ihres Codes zu gewinnen. Diese können gemeinsam mit Code und einem Container Image an den Betrieb übergeben werden, welcher sich anschließend ggf. selbst um eine optimierte Variante des Container Images und das Deployment für Kubernetes kümmert.</p><p>Variante 3: Diesen letzten Schritt — das Deployment — gemeinsam mit den Entwicklerinnen zu gehen, ist natürlich sehr viel einfacher, denn die Entwicklerinnen haben verinnerlicht, welche Schnittstellen ihr Code benötigt und bedient, welchen Ressourcenverbrauch ihr Code unter bestimmten Bedingungen zeigt und auch wie lange es dauern darf, bis bestimmte Services starten. Mit diesem Wissen lässt sich das Deployment deutlich effizienter gestalten und vor allem auch automatisieren.</p><p>Variante 4: Kubernetes führt oberhalb der physischen oder virtuellen Server eine komplette software-defined Infrastruktur ein und diese wird über die Kubernetes-API gesteuert. Da es sich um eine REST-Schnittstelle handelt, kann diese auch aus Applikationen selber heraus gesteuert werden und da Kubernetes für die Orchestrierung hunderter oder sogar tausender Container optimiert ist, gibt es Situationen in denen das extrem sinnvoll ist. Wenn die Applikationen z.B. selber Pods (Pods sind Wrapper für Container Prozesse) startet, Netzwerkpolicies für diese konfiguriert und Speicher in Anspruch nimmt, sind dies Themen, die Entwicklung und Betrieb gemeinsam planen müssen. Früher hätte dies dem Start einer neuen virtuellen Maschine mit allen dazugehörigen Spezifikationen — wie Betriebssystem, CPU, RAM, Disk-Speicher und Netzwerk — aus der Applikation heraus entsprochen. Das ist mit VMware oder OpenStack heute natürlich möglich, aber sicher nicht die Regel. Die Verzahnung der Applikation mit der Infrastruktur ist also so eng, dass der Betrieb alleine große Probleme haben wird, das Anwendungsverhalten nachzuvollziehen. Schon in die erste Entwicklungsphase gehört also Betriebsexpertise.</p><p>Genau hier haben Behörden aufgrund ihrer starren, bisweilen hierarchischen Organisationsstruktur besondere Herausforderungen. Es müssen nicht sofort die durch Amazon bekannt gewordenen “two-pizza teams” und das Motto “you built it, you own it” umgesetzt werden, aber die Grundideen müssen berücksichtigt werden und ein „Geht nicht!“ gilt nicht, wenn man die Vorteile ausschöpfen möchte.</p><blockquote>Empfehlung 1: Führt man Container und Containerorchestrierung ein, sollte die Zusammenarbeit zwischen Entwicklung und Betrieb angepasst werden.</blockquote><h3>Die erdrückende Vielfalt rund um Kubernetes</h3><p>Die erste Empfehlung für Containerorchestrierung ist auf Basis der Statistiken aus Teil 1 sehr einfach.</p><blockquote>Empfehlung 2: Setzen Sie für eine Containerorchestrierung auf Kubernetes.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/103/1*rgGzy_6lNSze80Z4qdsmCA.png" /></figure><p>Im ersten Teil klang jedoch schon an, dass eine Entscheidung für Kubernetes, eine Vielzahl weiterer Entscheidungen mit sich bringt. In allen dort genannten Lösungen steckt im Kern Kubernetes. Dabei sollte es sich um ein durch den CNCF Konformitätstest zertifiziertes Kubernetes handeln, denn das stellt (in der Theorie*) sicher, dass Workloads auf andere Kubernetes-Plattformen migriert werden können, die Version nicht veraltet ist, und dass es sich tatsächlich um ein unverändertes Kubernetes handelt. Alle seriösen Anbieter bieten ein unverändertes, konformes Kubernetes an.</p><p>Und was ist mit selber machen? Kubernetes ist schließlich Open Source! Es gibt einige Artikel und Kostenabschätzungen, um Kubernetes selbst zu bauen.<a href="#_ftn1">[1]</a> Die „vanilla Kubernetes“-Variante kommt dabei nicht gut weg. Es wird einheitlich davon abgeraten, da sowohl der Aufwand es aufzusetzen, als auch der Betrieb, viel Wissen, Erfahrung und Zeit kosten. Am Ende von Teil 4 dieser Serie werde ich darauf etwas genauer eingehen. Jedem, der ein Gefühl dafür bekommen möchte, warum das so ist, sei folgende Anleitung empfohlen: <br> <a href="https://github.com/kelseyhightower/kubernetes-the-hard-way">https://github.com/kelseyhightower/kubernetes-the-hard-way</a></p><blockquote>Empfehlung 3: Setzen Sie nicht auf „vanilla Kubernetes“, sondern auf ein optimiertes Enterprise Kubernetes-Angebot.</blockquote><p>Bezüglich der Migration von der einen auf die andere Kubernetes-Plattform wurde bereits erwähnt, dass dies “in der Theorie” möglich sei. Ebenso wie man eine virtualisierte Infrastruktur mit vielen zusätzlichen Werkzeugen ausstattet, ist das bei Kubernetes nicht anders. Unmittelbare Werkzeuge im Kubernetes-Umfeld sind CI/CD Pipelines, Monitoring und Logging und eine Container Registry. Damit ist jedoch längst nicht Schluss, denn sobald man eine größere Organisation hat, wird man mehrere Cluster betreiben und diese mit einheitlichen Rollen, Rechten und Security Policies ausstatten, was wieder weitere Tools nach sich zieht, wie den Cluster-Manager. Kubernetes ist vorrangig eine Betriebsplattform und hat die Entwicklerinnen nur bedingt im Blick. Werkzeuge zur Vereinfachung mit Containern zu entwickeln, diese ohne großes Kubernetes Know-How zu testen oder direkt den Entwicklerinnenarbeitsplatz im Cluster zur Verfügung zu stellen, sind also sehr attraktiv. Es entsteht schnell eine komplexe neue Umgebung, welche aufeinander abgestimmt sein muss, aus vielen Tools besteht und ein gutes Supportkonzept erfordert. Und je mehr dieser Tools nicht direkt in Kubernetes laufen, umso anstrengender wird es, deshalb zu wechseln.</p><blockquote>Empfehlung 4: Das gewählte Kubernetes Angebot sollte wesentliche Werkzeuge für Entwicklung, Betrieb und Security bereitstellen und sich in eine Cluster-Management-Plattform einbinden lassen.</blockquote><h3>Wer A sagt — sollte auch B sagen</h3><p>Man hat sich also für Kubernetes als Betriebsplattform entschieden und möchte diese als eine zentrale Plattform etablieren. Unter anderem, weil der Betrieb vereinfacht wird, die Abhängigkeit zur Hardware reduziert wird und man seinen Anwendungsbetrieb sukzessive darauf standardisieren kann. Dann sollte man auch bei allen unterstützenden Werkzeugen darauf achten, dass diese nicht nur auf Kubernetes betrieben werden können, sondern sogar dafür optimiert sind. Ein Schlagwort für diese Werkzeuge ist “Kubernetes-nativ”. Dies soll kurz am Beispiel CI/CD erläutert werden.</p><p>Bei CI/CD Werkzeugen hat sich das Tool Jenkins aufgrund seiner intuitiven Oberfläche und der Erweiterbarkeit mit Plugins stark verbreitet. Es hat des Weiteren eine große Community hinter sich und ist Open Source. Jenkins agierte jedoch lange mit einer statischen Infrastruktur zur Ausführung von Deployment-Aufgaben und die Pipelines wurden imperativ — d.h. ohne irgendwo dokumentiert zu sein — erstellt. Statische Infrastrukturen waren virtuelle Maschinen oder auch statische Container bzw. Kubernetes Pods — statisch, mit Blick auf IPs und Zertifikate. “Kubernetes-nativ” ist eine Lösung, die deklarativ alles, was sie ausführt, vorher in Code beschreibt und Kubernetes überlässt, wo es zur Ausführung kommt. Projekte wie Jenkins X und Tekton tun genau das. Dadurch kann man seine Applikationen samt CI/CD Pipelines sehr schnell aufbauen, abbauen sowie erweitern und jede Änderung ist in einer deklarativen Beschreibung (z.B. einer json oder yaml-Datei) reflektiert.</p><blockquote>Empfehlung 5: Lösungen rund um das Kubernetes Angebot sollten “Kubernetes-nativ” sein und eine Community hinter sich haben.</blockquote><p>Für den Betrieb von Fachverfahren und Geschäftsanwendungen gilt dies — wenn überhaupt — nur eingeschränkt. Wenn man jedoch die Modernisierung des Fachverfahrens oder eines Bürgerservices mit Containertechnologie vorantreibt, bestehen dabei oft Abhängigkeiten zu 3rd-Party- und kommerzieller Software. Dazu gehören etwa Content Management Systeme, Webserver oder Geschäftsprozesswerkzeuge. Diese sollten vom Hersteller ebenfalls als Container ausgeliefert werden — optimiert für Kubernetes mit automatisierter Installation, reibungslosen Updates sowie Lifecycle-Features. Dies wird z.B. durch das Kubernetes Operator Konzept umgesetzt. Ein Beispiel ist der WebServer Open Liberty: <a href="https://operatorhub.io/operator/open-liberty">https://operatorhub.io/operator/open-liberty</a></p><p>Nur dadurch kann eine Standardisierung vorgenommen, der Aufwand für Fremdsoftware verringert und Kubernetes als führende Betriebsplattform aufgebaut werden.</p><blockquote>Empfehlung 6: 3rd-Party Software sollte für den Container-Betrieb optimiert sein.</blockquote><h3>Neue Virtualisierungsschicht — neue Angriffsfläche?</h3><p>Die durch Software definierte Abstraktionsschicht von Kubernetes und die große Abhängigkeit vom Netzwerk birgt zweifellos auch neue Angriffsvektoren. Beispiele hierfür sind</p><p>( a ) Schwachstellen in Container-Images, z.B. geöffnete Ports oder Call-Home Risiken,</p><p>( b ) ungeschützte administrative Zugänge,</p><p>( c ) Ausführung von eigentlich isolierten Container Prozessen, aber mit privilegiertem User, welcher dann auf die darunter liegende virtuelle Maschine gelangt und</p><p>( d ) auf unverschlüsselte Kommunikation im Cluster lauscht oder</p><p>( e ) unverschlüsselte Daten auf den Maschinen ausliest</p><p>( f ) und sogar an geheime Schlüssel z.B. von der Datenbank gelangt, wegen mangelhaftem Secret-Managements,</p><p>( g ) oder von außen eine Applikation mit Distributed Denial of Service (DDoS) Attacke lahmlegt, weil er (richtig) vermutet, dass die automatische Skalierung zwar aktiviert wurde, um Lastspitzen abzufangen, aber nicht limitiert wurde, und nun der ganze Cluster blockiert ist.</p><p>Die Vernetzung erhöht also gleichzeitig das Potential für Angreifer von innen und außen. Es gibt aber für alle genannten Szenarien erprobte Methoden, Werkzeuge und Best-Practises zur Absicherung. Einige Beispiele sind:</p><ul><li>Container-Image Scanning auf Sicherheitsrisiken durch die Container Registry,</li><li>ausschließlich unprivilegierte Nutzer im Container via Kubernetes Policy zu erlauben</li><li>und verschlüsselte Kommunikation im Cluster zu erzwingen.</li></ul><p>Während einerseits neue Risiken auftreten, lassen sich andere wiederum minimieren. Auch dafür gibt es konkrete Beispiele. Da die Betriebssysteme, welche auf den physischen oder virtuellen Maschinen laufen, ausschließlich Kubernetes Komponenten betreiben müssen, kann man jede Funktionalität, die dafür nicht gebraucht wird, aussparen. Damit reduziert man die Angriffsvektoren in dieser Schicht extrem. RedHat verfolgt diesen Ansatz mit dem speziell für Kubernetes ausgelegten CoreOS Linux-Betriebssystem.<a href="#_ftn2">[2]</a> In Verbindung mit Kubernetes wird auf dieses Betriebssystem auch überhaupt nicht direkt zugegriffen, sondern die Verwaltung kann vollständig durch die Containerplattform erfolgen. Das verdeutlicht nochmal, warum Kubernetes den in Teil 1 verwendeten Begriff „Betriebssystem der Cloud“ absolut verdient.</p><p>Bei der Verarbeitung schützenswerter Daten und sensibler Inhalte ist es hilfreich, wenn der Kubernetes-Anbieter das zur Verfügung stellt, was gebraucht wird, um diese Risiken abzustellen, bzw. dies sogar schon in seinem Angebot mitbringt. Eine Umfrage mit mehr als 1300 Teilnehmer während der größten Kubernetes Konferenz KubeCon in 2019 unterstreicht das. Security ist unter den Top 3 der größten Herausforderungen für Containerbetrieb.<a href="#_ftn3">[3]</a></p><blockquote>Empfehlung 7: Auch Kubernetes unterliegt der Prämisse “Security-by-Design”. Verstehen und planen Sie deshalb von Beginn an, wie den neuen Angriffsvektoren begegnet werden soll.</blockquote><p>Die öffentliche Hand unterliegt bei den oben genannten Fachverfahren und dem Angebot von Bürgerservices verschiedenen Richtlinien. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) wird im nächsten Grundschutzkompendium voraussichtlich einen dedizierten Baustein einbauen, welcher die oben genannten Aspekte adressiert, sodass ein grundschutzkonformer Betrieb zukünftig obige Gefährdungen ausschließt. Die Richtlinie existiert auch heute schon<a href="#_ftn4">[4]</a> und es gibt sogar Erfahrungen für einzelne Enterprise-Kubernetes Angebote zur Umsetzung.<a href="#_ftn5">[5]</a> Das BSI macht auch Vorgaben, um aus der Cloud verwaltete Kubernetes-Angebote zu nutzen (relevant für Zeile 1 aus Tabelle 1 des ersten Teils). Für die Bundesverwaltung ist der C5-Cloud Computing Katalog, welcher technische und organisatorische Sicherheitsmaßnahmen für Cloud Services definiert, maßgeblich. Die Umsetzung des Grundschutzes und die Einhaltung der im C5 Katalog definierten Maßnahmen ergeben sich aus einem ganzheitlichen Security-by-Design Ansatz. Konkrete Aspekte von Security-by-Design werden im Verlauf der Serie immer wieder aufgegriffen.</p><p>Damit es etwas zu schützen gibt, braucht es Software, die im Container läuft. Aus diesem Grund geht es im nächsten Teil mit der Entwicklerin weiter. Was ändert sich in der Entwicklung, wenn der Code im Container ausgeführt wird? Wie entwickelt man ideal für Kubernetes und was bedeutet das für den Betrieb? Teil 3 liefert die Antworten.</p><p>Hier geht’s weiter mit <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-entwicklerin-teil-3-4-1c2104509ed1">Teil 3</a> und 7 Empfehlungen für die Entwicklerin, wenn es um Container und Kubernetes geht.</p><p><a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-intro-teil-1-4-81b92936ee57">Teil 1</a> — <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-it-entscheiderin-teil-2-4-b8fbaf43a7c6">Teil 2</a> — <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-entwicklerin-teil-3-4-1c2104509ed1">Teil 3</a> — <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-das-betriebsteam-teil-4-4-8e146788fa01">Teil 4</a></p><h3>Referenzen</h3><p><a href="#_ftnref1">[1]</a> <a href="https://medium.com/appranix/the-real-cost-of-do-it-yourself-kubernetes-management-8d9f5e7acee3">https://medium.com/appranix/the-real-cost-of-do-it-yourself-kubernetes-management-8d9f5e7acee3</a> , <a href="https://twitter.com/copyconstruct/status/1020880388464377856">https://twitter.com/copyconstruct/status/1020880388464377856</a></p><p><a href="#_ftnref2">[2]</a> <a href="https://www.redhat.com/de/resources/kubernetes-public-sector-datasheet">https://www.redhat.com/de/resources/kubernetes-public-sector-datasheet</a></p><p><a href="#_ftnref3">[3]</a> <a href="https://platform9.com/blog/six-enterprise-kubernetes-takeaways-from-kubecon-2019-san-diego/">https://platform9.com/blog/six-enterprise-kubernetes-takeaways-from-kubecon-2019-san-diego/</a></p><p><a href="#_ftnref4">[4]</a> <a href="https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/Grundschutz/Drafts/Community_Draft/SYS_1_6_Container_CD.html">https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/Grundschutz/Drafts/Community_Draft/SYS_1_6_Container_CD.html</a></p><p><a href="#_ftnref5">[5]</a> <a href="https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/Grundschutz/IT-Grundschutz-Modernisierung/Benutzerdefinierte_BS/openshift.html">https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/Grundschutz/IT-Grundschutz-Modernisierung/Benutzerdefinierte_BS/OpenShift.html</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b8fbaf43a7c6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Containertechnologie und die deutsche Verwaltungs-IT — Intro (Teil 1/4)]]></title>
            <link>https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-intro-teil-1-4-81b92936ee57?source=rss-ff2fd61d9809------2</link>
            <guid isPermaLink="false">https://medium.com/p/81b92936ee57</guid>
            <category><![CDATA[container-orchestration]]></category>
            <category><![CDATA[deutschland]]></category>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[öffentliche-verwaltung]]></category>
            <category><![CDATA[containers]]></category>
            <dc:creator><![CDATA[Max Dargatz]]></dc:creator>
            <pubDate>Thu, 28 Jan 2021 15:53:52 GMT</pubDate>
            <atom:updated>2021-02-05T11:34:41.741Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HxmpDEiqllyqmosdQSH5eg.png" /></figure><h3>Containertechnologie und die deutsche Verwaltungs-IT</h3><h4>Intro (Teil 1/4)</h4><h4>Zielgruppe</h4><p>Der Beitrag ist für alle, die sich für Container und Containerorchestrierung mit Kubernetes interessieren, und beschreibt, was Sie tun können, damit es ihre Organisation voranbringt. <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-intro-teil-1-4-81b92936ee57">Teil 1</a> ordnet Containertechnologie ein und beleuchtet, wie weit die öffentliche Verwaltung damit schon ist. <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-it-entscheiderin-teil-2-4-b8fbaf43a7c6">Teil 2</a> richtet sich konkret an die IT-Entscheiderin, <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-entwicklerin-teil-3-4-1c2104509ed1">Teil 3</a> an die Entwicklerin und <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-das-betriebsteam-teil-4-4-8e146788fa01">Teil 4</a> an das Betriebsteam.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/291/1*l4x8M6ibWvUJbqh-VamHqQ.png" /></figure><p><strong>Disclaimer</strong><br>Ich arbeite für IBM (und damit jetzt irgendwie auch ein Stück weit für Red Hat) — ich bin also ein bisschen vorbelastet. Nichtsdestotrotz versuche ich durch meine Erfahrungen mit unterschiedlichen Containerwerkzeugen und Kubernetes Angeboten, einen klaren Blick zu wahren. :) Der vorliegende Beitrag gibt mein persönliches Wissen, Erfahrungen und Ansichten wieder. Die Inhalte stellen nicht notwendigerweise Positionen, Strategien oder Meinungen von IBM oder Dritten dar.</p><h3>Einleitung</h3><p>In 2020 hat die Digitalisierung und der Wunsch digitale Services schnell auf die Beine zu stellen, eine ganz neue Priorität bekommen. Und auch ohne Covid-19 hätte die deutsche Verwaltung genug große IT-Projekte in 2020 auf der Agenda gehabt. Da wären die Umsetzung des Onlinezugangsgesetzes (OZG) und die Modernisierung großer IT-Fachverfahren, welche unser aller Rente berechnen sowie Steuern und den Zoll erheben - oder einen neuen Corona-Sonder-Haushalt auszahlen -, zu nennen. Und natürlich gibt es unzählige weitere Digitalisierungsprojekte im Bund, den Ländern und Kommunen. Hinter all diesen Projekten steht Software — und zwar häufig die Software, die von der öffentlichen Verwaltung <em>selber</em> entwickelt und betrieben wird.</p><p>Für die meisten Unternehmen der Privatwirtschaft ist in der modernen Softwareentwicklung sowie deren Betrieb ein Bestandteil mittlerweile gesetzt: <strong>Containertechnologie</strong>. In einer Statista-Umfrage aus 2019 gaben bereits 84% der Befragten Unternehmen an, Containertechnologie in Produktion einzusetzen.<a href="#_ftn1">[1]</a></p><p>Warum das so ist und wie es dabei um die öffentliche Verwaltung steht, wird im ersten Part dieser vierteiligen Serie beleuchtet. Teil 2 bis 4 widmen sich dann der Frage, welche Empfehlungen man IT-Entscheiderinnen, den Entwicklerinnen und dem IT-Betrieb geben kann. Jeder Teil befasst sich mit einer Rolle und gibt <em>7 Empfehlungen</em> mit auf den Weg.</p><h3>Warum sprechen alle über Container und Docker?</h3><p>Technisch paketiert ein Container Quellcode und alle Abhängigkeiten — einschließlich des Betriebssystems. Container sind ursprünglich ein Linux-Konzept, mittlerweile können jedoch auch Windows-Anwendungen im Container betrieben werden. Mit einer Container Engine läuft der paketierte Code überall: lokal auf dem eigenen Rechner, auf einem Server im eigenen Rechenzentrum oder eben bei einem Cloud Provider. Dabei zeichnet sich der Container mit Blick auf seine technischen Eigenschaften dadurch aus, portabel, leichtgewichtig und schnell verfügbar zu sein. Es besteht also die Möglichkeit, sehr schnell Umgebungen aufzubauen, schneller zu entwickeln, effizienter zu testen und konsistenter auszuliefern.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/376/1*jW40jK5aOWffbpt0b45HZA.png" /></figure><p>Erst mit der Veröffentlichung von Docker in 2013 erlangte Containertechnologie die notwendige Popularität, um die oben genannten Vorteile richtig auszuschöpfen. Docker hat es geschafft drei Elemente zu verbinden:</p><p>1. Einfachheit</p><p>2. Standardisierung</p><p>3. Ökosystem</p><p>Docker macht es extrem einfach Container Images zu bauen, diese zu konfigurieren, zu starten und mit anderen zu teilen. Da sich schnell Alternativen zu Docker etablierten, wurde für Container Images ein Standard entwickelt, der festlegt wie ein Container Image erzeugt wird. Zu guter Letzt ist rund um den Dockerhub ein riesiges Ökosystem entstanden, welches praktisch jeden namhaften Softwarehersteller dazu gebracht hat, seine Software dort als Container anzubieten.</p><h3>Der Unterschied zur VM</h3><p>Da Container viel effizienter mit Ressourcen umgehen als virtuelle Maschinen, wird häufig der Vergleich ,,Pets” (Haustiere) und ,,Cattle” (Vieh) genutzt, um den Unterschied zwischen virtuellen Maschinen und Containern zu verdeutlichen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*V0HmmS-E0ZaNuUCk4Hmq9Q.png" /></figure><p>Die virtuellen Maschinen sind in dieser Analogie die Haustiere. Sie werden aufwändig konfiguriert, beinhalten häufig mehrere Applikationen und sind langfristig angelegt.</p><p>Container sind das Vieh. Container sollen einen speziellen Zweck erfüllen, sollen schnell verfügbar sein und werden bei Fehlfunktion durch einen neuen ersetzt. Das kann der Betrieb einer Datenbank, eines Monitoring Werkzeugs oder einer eigenen Applikation sein. Eins vorweg: nur weil diese im Container läuft, muss sie nicht gleich ein “Microservice” sein.</p><p>Daher also der etwas zynische Bezug zur Viehhaltung. Da der Bauer üblicherweise mehr Vieh als Haustiere hat, kommt schnell die Frage der Verwaltung bzw. des Containermanagements auf. Um eine Vielzahl von Containern automatisiert auszuliefern, zu betreiben und zu skalieren, hat sich ein Standard zur sogenannten Containerorchestrierung manifestiert — das OpenSource Projekt ,,Kubernetes”.</p><h3>Kubernetes — Hype und bald wieder weg?</h3><p>Kubernetes gibt es seit 2014 und sein Siegeszug ist beachtlich.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/471/1*H9YdyRox3OoANII_5ho4iw.png" /><figcaption>Abbildung 1: Verbreitung von Containerorchestrierungsangeboten, Statista 2019</figcaption></figure><p>Schaut man sich die Abbildung 1 an, welche die Verbreitung von Containerorchestrierungstools zeigt, verwundert, dass Kubernetes in Zeile 6 nur mit 11% Marktanteil auftaucht. Tatsächlich handelt es sich aber bei allen blau hinterlegten Einträgen um Kubernetes-Angebote. Die ersten vier Einträge sind die verwalteten Kubernetes-Services der großen Cloud-Anbieter, der fünfte Eintrag ist das populärste Enterprise Kubernetes-Angebot OpenShift von Red Hat. Faktisch nutzen demnach 7 von 10 der befragten Unternehmen Kubernetes. Wenn eine Organisation also Container in Produktion betreiben möchte, dann stellt sich die Frage, mit welcher grundsätzlichen Technologie sie dies tut, nicht mehr. Was sind die Alternativen? Pivotal wurde von VMware gekauft und Pivotal PKS ebenfalls zu einem Kubernetes-Angebot entwickelt. Docker Swarm und Mesosphere machen heute nur noch durch „End-of-Life“-Gerüchte auf sich aufmerksam.</p><p>Wird mit Kubernetes möglicherweise das gleiche passieren und reden wir in 2025 schon wieder über etwas ganz anderes? Die Antwort ist Ja und Nein. Kubernetes hat großes Potential in wenigen Jahren genauso langweilig und “Standard” zu sein wie es heute schon Virtualisierung ist. Das soll die Leistung dieser Technologien nicht schmälern — aber Dinge, die gut funktionieren und viele Vorteile bringen, werden eingesetzt, ohne dass darüber noch jemand verwundert ist oder viel geredet wird. Denn Kubernetes bringt — zusätzlich zu den bereits für Container genannten — noch weitere Vorteile mit. Dazu gehören eine einfache Automatisierung bei der Bereitstellung, Verwaltung, Skalierung und Vernetzung von containerisierten Anwendungen sowie ein stabiler und nachvollziehbarer Betrieb durch deklaratives Ausrollen aller Deployments und Änderungen. Deklarativ heißt, man konfiguriert das System nicht selber, sondern man schreibt auf, nach welchen Vorstellungen die Applikation laufen soll. Die Rede ist vom “desired state”, den Kubernetes für den Nutzer umsetzt und konstant überprüft. Dies ist im Übrigen ein Aspekt des Infrastructure-as-Code Konzepts, demgemäß eben nicht nur Software, sondern auch die zur Ausführung benötigten Infrastrukturressourcen — wie Speicherplatz (Storage), Rechenleistung oder Netzwerkressourcen — deklarativ beschrieben werden. Technisch führt Kubernetes oberhalb des Servers oder der virtuellen Maschine eine weitere Schicht ein, um viele Server oder virtuelle Server-Instanzen miteinander zu einem Cluster zu verknüpfen und Kubernetes dann zu überlassen, was wo betrieben wird, aber immer sicherzustellen, dass das gewünschte Verhalten umgesetzt ist. Kubernetes wird deshalb auch das „Betriebssystem der Cloud“ genannt. Man beschreibt, wie eine Anwendung laufen soll, und Kubernetes kümmert sich um den Rest. Die Highlights zusammengefasst sind:</p><p>1. automatisierte Verwaltung, Skalierung und Vernetzung von Anwendungen,</p><p>2. abstrahiert, auf einer Vielzahl von Servern,</p><p>3. stabil und nachvollziehbar betrieben, wie der Nutzer es „beschrieben“ hat</p><h3>Kubernetes in der öffentlichen Verwaltung</h3><p>Die Abbildung 1 zeigt bereits einige verwaltete Cloud Kubernetes-Angebote. In der Praxis kommen zu den dargestellten noch unzählige weitere hinzu. Nun ist die Nutzung von verwalteten Kubernetes-Angeboten aus der Cloud in der öffentlichen Verwaltung in Deutschland auch nicht weit verbreitet. Wenn doch, dann in der Regel aus einem konkreten fachlichen Anwendungsfall heraus, bei dem eine neue Entwicklung durch externe Dienstleister durchgeführt wurde. Auch angetrieben durch Covid-19 erleben wir jedoch eine Öffnung zur generellen Nutzung von Cloud-Diensten, allerdings vor allem auf der Software-as-a-Service-Ebene rund um Kollaborationswerkzeuge<a href="#_ftn2">[2]</a> oder Bürgerinformationsservices<a href="#_ftn3">[3]</a> mit Chatbots.</p><p>Trotzdem geht Containertechnologie an kaum einer IT-Abteilung der öffentlichen Verwaltung vorbei. Selbst-verwaltete Kubernetes-Angebote, also im eigenen Rechenzentrum oder auf Hardware in der Cloud betriebene, gibt es deutlich weniger. RedHat OpenShift, als das am meisten verbreitete, wird vom CIO des Bundes als valide Alternativen in der Virtualisierung genannt<a href="#_ftn4">[4]</a>, und es finden sich auch weitere Beispiele für Kubernetes-Nutzer. Das Landesamt für Steuern in Bayern, das DVZ in Mecklenburg-Vorpommern oder das ITDZ Berlin treten alle öffentlich als aktive Nutzer auf. Auch das ITZBund, welches mit seiner Bundescloud ein Self-Service-Portal im Sinne eines Service Providers anbieten möchte, verfügt über ein Platform-as-a-Service-Angebot auf Basis von Kubernetes.<a href="#_ftn5">[5]</a> Schaut man sich noch weiter um, so zeigt sich, dass auch die kommunalen Dienstleister, Sicherheitsbehörden und Sozialversicherer ihre IT-Infrastruktur perspektivisch erneuern wollen, was nicht zuletzt durch ihre aktuellen Jobausschreibungen mit Kubernetes-Bezug deutlich wird.<a href="#_ftn6">[6]</a></p><p>Darüber hinaus arbeitet das Bundesamt für Sicherheit in der Informationstechnik (BSI) an einer Richtlinie für die öffentliche Hand zum Einsatz von Containertechnologie. Diese ist heute noch nicht Bestandteil des Grundschutzkompendiums, wird es aber perspektivisch sein.</p><p>Viele Akteure der öffentlichen Verwaltung stehen also entweder in den Startlöchern oder sind bereits auf der Strecke. Den offiziellen Startschuss und die Richtung gibt die IT-Entscheiderin vor, weshalb der nächste Teil sich ihr widmet.</p><p>Wer also wissen möchte worauf es für die IT-Entscheiderin bei der Einführung und Etablierung von Kubernetes ankommt der liest hier weiter: <a href="https://maxdargatz.medium.com/containertechnologie-und-die-deutsche-verwaltungs-it-die-it-entscheiderin-teil-2-4-b8fbaf43a7c6">Teil 2</a>.</p><h3>Referenzen</h3><p><a href="#_ftnref1">[1]</a> <a href="https://www.statista.com/statistics/1104543/worldwide-container-technology-use/">https://www.statista.com/statistics/1104543/worldwide-container-technology-use/</a></p><p><a href="#_ftnref2">[2]</a> <a href="https://www.geekwire.com/2020/microsoft-teams-hits-44m-users-huge-37-growth-spike-1-week-amid-remote-work-surge/">https://www.geekwire.com/2020/microsoft-teams-hits-44m-users-huge-37-growth-spike-1-week-amid-remote-work-surge/</a></p><p><a href="#_ftnref3">[3]</a> <a href="https://www.nature.com/articles/s41746-020-0280-0">https://www.nature.com/articles/s41746-020-0280-0</a></p><p><a href="#_ftnref4">[4]</a><a href="https://www.cio.bund.de/SharedDocs/Kurzmeldungen/DE/2020/20200330_Machbarkeitsnachweise_download.pdf?__blob=publicationFile">https://www.cio.bund.de/SharedDocs/Kurzmeldungen/DE/2020/20200330_Machbarkeitsnachweise_download.pdf?__blob=publicationFile</a></p><p><a href="#_ftnref5">[5]</a> <a href="https://www.vitako.de/SitePages/ArtikelAnzeige.aspx?articleId=18">https://www.vitako.de/SitePages/ArtikelAnzeige.aspx?articleId=18</a> <a href="https://www.itzbund.de/Webs/DfD/SharedDocs/Projekte/Bundescloud.html?__site=DfD">https://www.itzbund.de/Webs/DfD/SharedDocs/Projekte/Bundescloud.html?__site=DfD</a></p><p><a href="#_ftnref6">[6]</a> Suchbegriffe auf stepstone, indeed, BA Karriere Portal, DRV Karriereportal, BKA Karriereportal: “Cloud”, “Kubernetes”, “Docker”</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=81b92936ee57" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>