<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by trendig on Medium]]></title>
        <description><![CDATA[Stories by trendig on Medium]]></description>
        <link>https://medium.com/@trendig?source=rss-84a419162d51------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*_uXhfQKpEUwN-Lbu-gcWzw.jpeg</url>
            <title>Stories by trendig on Medium</title>
            <link>https://medium.com/@trendig?source=rss-84a419162d51------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 22:44:37 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@trendig/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Ich habe versucht, ein Sprachmodell dazu zu bringen, sich zu wiederholen]]></title>
            <link>https://trendig.medium.com/ich-habe-versucht-ein-sprachmodell-dazu-zu-bringen-sich-zu-wiederholen-61f6b095c110?source=rss-84a419162d51------2</link>
            <guid isPermaLink="false">https://medium.com/p/61f6b095c110</guid>
            <category><![CDATA[software-testing]]></category>
            <category><![CDATA[künstliche-intelligenz]]></category>
            <category><![CDATA[software-entwicklung]]></category>
            <category><![CDATA[llm]]></category>
            <dc:creator><![CDATA[trendig]]></dc:creator>
            <pubDate>Mon, 12 Oct 2026 09:21:01 GMT</pubDate>
            <atom:updated>2026-10-12T09:21:01.640Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VPVgOrfWoQiUCYxJUtuKmw.png" /></figure><p>Zwischen deinem Prompt und jedem Wort der Antwort (technisch gesehen ein Token, aber halten wir es einfach) passieren vier Dinge. Der Forward Pass bewertet jedes Token im Vokabular. Die Temperatur formt diese Bewertungen in eine Wahrscheinlichkeitsverteilung um. Top-k und Top-p entscheiden, welche Kandidaten im Rennen bleiben. Die Ziehung wählt eines aus. Sie ist die einzige Zufälligkeit in dieser Erklärung, und der Seed ist das, was sie steuert.</p><p>Hier ist, was du erwarten würdest. Drehst du die Temperatur auf null, fällt die Verteilung auf ein einziges Token zusammen. Die Ziehung ist also noch da, hat aber nichts mehr zu entscheiden. Oder du lässt die Temperatur in Ruhe und fixierst den Seed. Dann trifft die Ziehung jedes Mal dieselbe Wahl. Derselbe Prompt <strong><em>sollte</em></strong> jedes Mal mit derselben Antwort zurückkommen.</p><p><strong>Tut er aber nicht, und die Abweichung ist nicht klein.</strong> Dieser Artikel dokumentiert, was passierte, als ich es überprüft habe.</p><p><strong>Hinweis:</strong> Der Begleitartikel zu diesem Text ist <a href="https://trendig.com/blog/LLM-testing-was-sich-aendert-wenn-ein-teil-deines-systems-nicht-deterministisch-ist/"><em>Was sich ändert, wenn ein Teil deines Systems nicht-deterministisch ist</em></a>. Um das Folgende ganz zu verstehen, lies ihn zuerst. Er argumentiert, dass nicht-deterministisch ein schwaches Wort ist, das vieles verdeckt, was du wissen musst. Er erklärt auch Temperatur, Top-k, Top-p und den Seed, die vier Hyperparameter, auf die sich dieser Artikel bezieht.</p><h3>Also habe ich es gemessen</h3><p>Ich habe denselben Prompt einhundert Mal an gpt-4.1-mini gesendet, fixiert auf seinen Snapshot 2025–04–14, und habe das dann fünf weitere Male mit veränderten Sampling-Einstellungen wiederholt: zwei Temperaturen, gekreuzt mit keinem Seed, einem festen Seed und einem anderen Seed bei jedem Aufruf. Sechshundert Aufrufe, nacheinander statt parallel ausgeführt. Hätte ich sie gleichzeitig abgefeuert, hätten meine eigenen Anfragen im selben Server-Batch landen können, und die Batch-Zusammensetzung wollte ich genau nicht antasten.</p><p>Der Prompt war jedes Mal derselbe, ohne Systemnachricht:</p><p>List three reasons a flaky test might pass on a retry. One sentence each.</p><p>(Nenne drei Gründe, warum ein flaky Test bei einem Retry bestehen könnte. Jeweils ein Satz.)</p><p>Zwei Antworten zählen als unterschiedlich, wenn die Strings nicht Zeichen für Zeichen identisch sind, <strong>ohne dass eine Normalisierung stattfindet.</strong></p><p>Als separate Prüfung habe ich jede Antwort in Kleinbuchstaben umgewandelt, die Satzzeichen entfernt und die Leerzeichen zusammengezogen. Keine der sechs Zählungen unten hat sich geändert. Jeder Unterschied ist ein Unterschied in den Worten.</p><p>Das sind die Messwerte aus dem Experiment:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/571/1*QQLJfL60hOCApoGt5TWn-A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/965/1*-On1WIXI5FrT0bx-eG_1Fw.png" /></figure><p>Jede Zeile in diesem Diagramm zeigt die einhundert Antworten für eine Einstellung, so sortiert, dass identische Antworten nebeneinander liegen. <strong>Ein Block ist eine unterschiedliche Antwort</strong>, und seine Breite zeigt, wie oft diese Antwort zurückkam. Die Anzahl der Blöcke in einer Zeile entspricht also der Zahl am Rand, und du kannst sie nachzählen.</p><p>Lies zuerst die Zeilen für Temperatur 1.0. Dort verhält sich der Seed so, wie du es erwarten würdest. Ohne Seed und mit einem unterschiedlichen Seed bei jedem Aufruf bestehen die Zeilen aus hundert feinen Linien: Keine einzige Antwort kam zweimal zurück. Hältst du den Seed stattdessen fest, fällt die Zeile in ein paar breite Blöcke zusammen. Der größte davon steht für dreizehn Aufrufe, die Wort für Wort dieselbe Antwort geliefert haben. Der Seed wird beachtet und leistet echte Arbeit.</p><p>Er macht aber nicht den Job, für den du ihn eingestellt hast. Ein Seed, der die Ausgabe kontrolliert, würde eine einzige Antwort hundertmal zurückgeben. Er lieferte sechsundzwanzig. Der Seed fixiert den Pfad durch die Verteilung, die er übergeben bekommt. Die wahrscheinlichste Interpretation ist, dass er nicht zweimal dieselbe Verteilung erhält.</p><p>Lies jetzt die Zeilen für Temperatur 0, wo dieselben drei Einstellungen 27, 30 und 27 produzieren. Der Seed spielt keine Rolle mehr. Genau das sagt die Pipeline voraus: Wenn die Verteilung zusammenfällt, bleibt für die Ziehung nur ein einziger Kandidat übrig. Es gibt also nichts mehr, was ein Seed steuern könnte. Es ist befriedigend zu sehen, wie eine Vorhersage den Kontakt mit hundert Aufrufen übersteht, und diese hier hat es getan.</p><p>Und dann die Sache, die nicht da sein sollte. <strong>Vier dieser sechs Einstellungen landen zwischen 26 und 30 unterschiedlichen Antworten.</strong> Diese vier kommen auf einem von zwei Wegen dorthin: Bei Temperatur null hat die Ziehung nur einen Kandidaten und trifft keine Wahl, und bei einem festen Seed bei Temperatur 1.0 trifft sie jedes Mal dieselbe Wahl. Unterschiedliche Wege, und beide enden an derselben Stelle: bei etwa 27 unterschiedlichen Antworten aus hundert.</p><p>Dieser Boden ist die Variation, die übrig bleibt, wenn der Sampler nichts mehr beitragen kann. <strong>Was auch immer noch übrig ist, keine Sampler-Einstellung erreicht es.</strong> Wo liegt es also?</p><h3>Wo die Antworten auseinandergehen</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/928/1*Objs5KceDEmXO6fRsYnFKg.png" /></figure><p>Das Diagramm oben zeigt dieselben Daten, aber diesmal entlang der Antwort gelesen statt quer dazu. Für jede Zeichenposition fragt es, wie viele der hundert Antworten noch Wort für Wort identisch zueinander sind. Dabei zählt es die größte Gruppe, die noch übereinstimmt. <strong>Wo jede Linie am Ende abflacht, ist die Breite des breitesten Blocks im früheren Diagramm.</strong> Die beiden treffen sich also am rechten Rand. Folge zum Beispiel der durchgehenden Linie für Temperatur 0, kein Seed, bis zum rechten Rand, und sie pendelt sich bei 22 ein. Das ist dieselbe 22 wie beim breitesten Block im früheren Diagramm: die größte Anzahl an Antworten, die für diese Einstellung identisch waren.</p><p><strong>Bei Temperatur null ohne Seed sind neunundneunzig der hundert Antworten für die ersten vierundachtzig Zeichen identisch.</strong> Dann ein Schritt hinunter auf einundsiebzig, ein weiterer auf sechsunddreißig, und zweiundzwanzig davon sind den ganzen Weg über identisch. Jeder dieser Schritte ist eine Stelle, an der sich das Token mit der höchsten Bewertung geändert hat. Alles, was nach so einem Schritt kommt, ist ein anderer Satz, oder gleich mehrere.</p><p>Die beiden Durchläufe bei Temperatur 1.0 ohne festen Seed liegen genau übereinander und stürzen ab wie über eine Klippe. <strong>Bei Zeichenposition vierundachtzig, wo Temperatur null ohne Seed noch neunundneunzig übereinstimmende Antworten hat, haben sie nur noch neun.</strong></p><p>Die Schritte sind der entscheidende Punkt. Die drei Linien für Temperatur null driften nicht auseinander, sie stimmen exakt überein, springen dann um, und stimmen auf der anderen Seite des Sprungs wieder exakt überein. <strong>Diese Variation kann von den Decoding-Einstellungen nicht erreicht werden. Bei Temperatur null haben sie nämlich nichts mehr zu entscheiden.</strong></p><p>Mein Experiment belegt nur so viel, und der einzige Teil, den ich verteidigen kann, ist dieser:</p><p>Die Einstellungen, die wir in einer Anfrage steuern, haben einen Einfluss auf die Variation, aber die Variation verschwindet nicht. Sie ist immer noch signifikant und lässt sich nicht mit dem entfernen, was unsere Anfrage steuern kann.</p><h3>Was ich dir nicht zeigen kann</h3><p>Was dieses Experiment nicht belegt, ist die Ursache. Genau hier wird eine Messung leise zu einer Geschichte, wenn niemand sie aufhält.</p><p>Die Ziehung kann nichts mehr beitragen, also schaut die Standarderklärung auf den Schritt davor. Der Forward Pass bewertet jedes Token im Vokabular, und er tut das jedes Mal mit Rechenoperationen auf denselben Zahlen. Das sollte zweimal dieselbe Antwort liefern. Die Standarderklärung besagt, dass das nicht passiert, weil die Gleitkomma-Addition nicht assoziativ ist. Addierst du dieselben Zahlen in einer anderen Reihenfolge, können die letzten Bits unterschiedlich ausfallen. Diese Reihenfolge hängt davon ab, wie die Arbeit gebatcht wurde. Und der Batch hängt davon ab, wer in diesem Moment sonst noch die API aufgerufen hat. Ich finde diese Erklärung überzeugend. Sie wird von Leuten, die Inference-Server bauen, detailliert dargelegt. <strong>Aber gemessen habe ich das nicht.</strong></p><p>Meine Durchläufe haben außerdem mehr als eine Backend-Konfiguration durchquert. Der system_fingerprint in den Antworten nahm über die sechs Einstellungen hinweg vier unterschiedliche Werte an. Das ist eine zweite mögliche Ursache, die ich von der ersten nicht trennen kann. Von außerhalb des Serving-Stacks kann ich dir zeigen, dass es einen Boden gibt und dass keine Sampler-Einstellung ihn erreicht. Ich kann die Kiste nicht aufmachen und dir zeigen, warum das so ist. Außerdem sind das die Messwerte für den einen Prompt, den ich ausgeführt habe. Sechshundert Aufrufe machen den Boden für diesen Prompt, <strong>meinen Prompt</strong>, sichtbar und sagen überhaupt nichts darüber aus, wo sich <strong><em>dein</em></strong> Prompt einpendeln wird.</p><p>Ich konnte es nicht diagnostizieren, weil mir die Infrastruktur nicht gehört. Dir auch nicht. <strong>Nicht-Determinismus ist relativ zu der Grenze, die du sehen kannst.</strong> Der Anbieter kann die Batch-Zusammensetzung sehen und steuern, weil sie ein Input auf seiner Seite ist. Du kannst sie nicht sehen. Dieselbe Variation, die auf seiner Seite ganz gewöhnliche Buchhaltung ist, ist auf deiner Seite nicht reduzierbar.</p><h3>Spielt das eine Rolle?</h3><p>Ein Experiment durchzuführen und seine Zahlen zu lesen, sind zwei unterschiedliche Aufgaben. Zu entscheiden, ob diese Zahlen ein Problem beschreiben, ist eine dritte. Die Messwerte sind für alle gleich. Was sie dich kosten, hängt davon ab, was du mit der Antwort vorhattest.</p><p>Die Unterschiede in meinem Experiment waren an sich nicht dramatisch. Bei meinem Beispiel-Prompt, der nach drei Gründen fragt, warum ein flaky Test bei einem Retry bestehen könnte, sind zwei Antworten bei Temperatur 0 ohne Seed, die jeweils einmal zurückkamen, für 347 Zeichen Wort für Wort identisch. Danach gingen sie darüber auseinander, wie der Satz endet: “is reset before the retry” oder “resets between retries”. Beide sagen fast dasselbe.</p><p>Eine semantische Prüfung würde sie als Beinahe-Paraphrasen bezeichnen und hätte damit recht. Eine Zusicherung auf exakte Übereinstimmung schlägt bei dem Paar jedes Mal fehl. Sie beanstandet eine Formulierung, die sie eigentlich ignorieren sollte. Die semantische Prüfung liegt bei diesem Paar richtig. Ich traue ihr aber nicht zu, eine Antwort zu beanstanden, die falsch und sprachlich flüssig ist. Nichts davon ist einfach richtig oder falsch. <strong>Ein Orakel ist eine Entscheidung darüber, was wir als Unterschied bezeichnen wollen. Und diese Entscheidung gehört zu dem, was wir testen, und nicht zum Orakel.</strong></p><p>Vielleicht brauchen wir beides, und mehr als beides. Vielleicht greifen wir deshalb immer wieder zu Matching und Mathematik, weil es das ist, was wir haben. Und vielleicht bietet sich die Antwort eines Sprachmodells einfach nicht immer dafür an.</p><h3>Kannst du es deterministisch machen?</h3><p>Nicht von da aus, wo du sitzt, auch wenn eine Menge veröffentlichte Ratschläge das andeuten. Setze die Temperatur auf null, fixiere den Seed und fixiere den Modell-Snapshot. <strong>Dieses Rezept lieferte immer noch dreißig unterschiedliche Antworten auf hundert.</strong></p><p>Ich habe die beiden Einstellungen genutzt, nach denen die Leute in der Praxis greifen. Die API dieses Modells stellt noch einen weiteren Hyperparameter zur Verfügung, der das Sampling berührt: <strong>Top-p</strong>. Der kann auch nicht helfen. Top-p behält die am höchsten bewerteten Kandidaten und verwirft den Rest. Es kann ein Token entfernen, das die Ziehung sonst vielleicht ausgewählt hätte. Aber es behält immer das Token mit der höchsten Bewertung. Und bei Temperatur null ist genau das das Token, das gewählt wird.</p><p>Ich habe es ausgeführt, anstatt es nur anzunehmen. Dreihundert weitere Aufrufe bei Temperatur null, mit Top-p auf 0.05, auf 0.5 und auf dem Standardwert von 1.0, lieferten 30, 31 und 32 unterschiedliche Antworten. Für diese Aufrufe wurde kein Seed fixiert, weil die sechs Einstellungen oben bereits gezeigt hatten, dass der Seed bei Temperatur null nichts bewirkt. Das Abschneiden auf die obersten fünf Prozent der Wahrscheinlichkeitsmasse und gar kein Abschneiden landen an genau derselben Stelle.</p><p><strong>Temperatur, Top-p und der Seed greifen alle nach dem Forward Pass ein. Keine davon erreicht das, was hier variiert.</strong></p><p>Es wäre ein Leichtes, ins andere Extrem zu schwingen und zu beschließen, dass ein Sprachmodell schlicht unberechenbar ist. Das ist auch falsch. Die Variation kommt nicht nur aus dem Modell, und sie kommt nicht von etwas, das du in der Anfrage setzen kannst. Die Erklärung, die ich überzeugend finde, verortet sie im Serving-Stack, der deine Anfrage zusammen mit denen anderer Leute batcht und die Reihenfolge der Rechenoperationen ändert. Das ist der Teil, den ich nicht gemessen habe. Jemand, der diesen Stack kontrolliert, kann sie herausnehmen. Thinking Machines hat <a href="https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/">batch-invariante Kernels</a> veröffentlicht, die vLLM dazu bringen, Durchlauf für Durchlauf bitweise identischen Output zurückzugeben. Das klärt die Frage, ob es überhaupt möglich ist.</p><p>Die Erwartung, die du also mitnehmen solltest: <strong>Das letzte Stück zum Determinismus ist eine Eigenschaft der Infrastruktur, kein Parameter in der Anfrage.</strong> Wenn dir der Serving-Stack gehört, kannst du dir das einkaufen, und du wirst mit Durchsatz dafür bezahlen. Wenn du die API von jemand anderem aufrufst, wird keine Kombination der angebotenen Einstellungen etwas daran ändern. Was sich ändern müsste, liegt auf ihrer Seite der Grenze, und nichts, was ich von dieser Seite aus probiert habe, hat es erreicht.</p><h3>Sollte Determinismus eine universelle Forderung sein?</h3><p>Die Ausgabe zu fixieren, hat einen echten Nutzen. Das sollte man sagen, bevor man dagegen argumentiert.</p><p>Wenn du wissen willst, dass sich zwischen zwei Durchläufen etwas geändert hat, wird dir ein String-Vergleich das verraten. Das ist die billigste Methode. Der Fehler liegt darin, eine Übereinstimmung als Garantie zu behandeln und nicht als Signal, genauer hinzusehen. Eine Teststrategie, die darauf aufbaut, die Ausgabe zu fixieren, ist nicht vorsichtig. Sie verlässt sich auf eine Garantie, die dir niemand gegeben hat. Sie wird halten, bis sie es nicht mehr tut, und du wirst keine Warnung bekommen.</p><p>Bevor du noch mehr Aufwand hier reinsteckst: Was würdest du mit einem deterministischen Modell tun, wenn du eines hättest? <strong>Derselbe String bei jedem Aufruf ist Reproduzierbarkeit, keine Korrektheit.</strong> Ein Test, dessen Zusicherung eine exakte Antwort verlangt, läuft genauso freudig durch, wenn das Modell verlässlich falsch liegt. Für die Art von Problemen, die Sprachmodelle lösen sollen, willst du wahrscheinlich einen Weg finden, eine gute von einer schlechten Antwort zu unterscheiden. Wo eine richtige Antwort auf mehr als eine Art formuliert werden kann, gibt dir das weder exaktes Matching noch eine semantische Prüfung allein. Dieser Gedankengang ist besonders kritisch für automatisierte Zusicherungen. Ein menschliches Orakel lässt sich nämlich nicht auf das Testvolumen skalieren, das eine durch Sprachmodelle erweiterte Lösung wirklich braucht.</p><h3>Wo ich aufgehört habe</h3><p>Dieser Artikel ist die ehrliche Auswertung der Reihe von Experimenten, die ich während des Schreibens gemacht habe. Ich bin bis zum Sampler gekommen und habe dort aufgehört. Nichts, was ich erreichen konnte, hat die Ausgabe festgehalten. Und was sich ändern müsste, ist in der Anfrage nicht zugänglich.</p><p>Für manche Systeme endet die Reise, weil es nichts weiter zu lernen gibt. Für ein gehostetes Modell endet sie früher. Und das liegt nicht daran, dass die verbleibende Strecke schwierig wäre. <strong>Sie endet, weil der Teil, der sich ändern müsste, nicht uns gehört.</strong></p><p>Das hinterlässt uns mit der Frage, mit der der nächste Artikel einsteigt. Wenn du die Antwort nicht fixieren kannst, was formulierst du stattdessen als Zusicherung? Dieser Artikel ist <em>Was du als Zusicherung formulierst, wenn du die Antwort nicht zusichern kannst</em>.</p><h3>Danksagungen</h3><p><em>Mit Dank an Claude und an die Modellfamilien GPT, Gemini, Grok, DeepSeek, GLM, Kimi und Qwen, die es zusammen schwerer gemacht haben, dies zu veröffentlichen, und besser, es zu lesen. Wie die Recherche und das Schreiben abgelaufen sind, ist vollständig im Begleitartikel dargelegt: </em><a href="https://trendig.com/blog/LLM-testing-was-sich-aendert-wenn-ein-teil-deines-systems-nicht-deterministisch-ist/"><em>Was sich ändert, wenn ein Teil deines Systems nicht-deterministisch ist</em></a><em>.</em></p><p>Die Positionen hier sind meine, und das gilt auch für alles, was daran noch falsch ist.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=61f6b095c110" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[I Tried to Make a Language Model Repeat Itself]]></title>
            <link>https://trendig.medium.com/i-tried-to-make-a-language-model-repeat-itself-bc89d8a5787a?source=rss-84a419162d51------2</link>
            <guid isPermaLink="false">https://medium.com/p/bc89d8a5787a</guid>
            <category><![CDATA[llm-agent]]></category>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[software-testing]]></category>
            <dc:creator><![CDATA[trendig]]></dc:creator>
            <pubDate>Thu, 08 Oct 2026 10:16:01 GMT</pubDate>
            <atom:updated>2026-10-08T10:16:01.541Z</atom:updated>
            <content:encoded><![CDATA[<h3>I Tried to Make a Language Model Repeat Itself</h3><p>Four things happen between your prompt and each word of the reply (technically a token, but let’s keep it simple). The forward pass scores every token in the vocabulary. Temperature reshapes those scores into a probability distribution. Top-k and top-p decide which candidates stay eligible. The draw picks one, and the draw is the only randomness in that account, with the seed as the thing that governs it.</p><p>Here is what you would expect. Turn the temperature down to zero and the distribution collapses onto a single token, so the draw is still there but has nothing left to decide. Or leave the temperature alone and pin the seed, and the draw makes the same choice every time. The same prompt <strong><em>should</em></strong> come back with the same answer every time.</p><p><strong>It does not, and the gap is not small.</strong> This article documents what happened when I checked.</p><p><strong>Note:</strong> The companion piece to this article is <a href="https://trendig.com/en/blog/LLM-testing-what-changes-when-part-your-system-non-deterministic/"><em>What Changes When Part of Your System Is Non-Deterministic</em></a>. To make full sense of what follows, read it first. It argues that non-deterministic is a weak word that hides much of what you need to know. It also explains temperature, top-k, top-p and the seed, the four hyper-parameters this article refers to.</p><h3>So I measured it</h3><p>I sent the same prompt one hundred times to gpt-4.1-mini, pinned to its 2025–04–14snapshot, and then did it five more times with the sampling controls changed: two temperatures, crossed with no seed, one fixed seed, and a different seed on every call. Six hundred calls, made one after another rather than in parallel, because firing them concurrently could have put my own requests in the same server batch, and batch composition was one thing I wanted to leave alone.</p><p>The prompt was the same every time, with no system message:</p><p>List three reasons a flaky test might pass on a retry. One sentence each.</p><p>Two replies count as different when the strings are not identical, character for character, <strong>with no normalisation applied.</strong></p><p>As a separate check, I lower-cased every reply, stripped the punctuation and collapsed the whitespace, and none of the six counts below changed. Every difference is a difference in words.</p><p>The following are the readings from the experiment:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/616/1*GCQp1UYNcYsjl8XV0x3tSg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/657/1*5zx54L7c-FW7uA-iSWaXWw.png" /></figure><p>Each row in that chart is the hundred replies for one setting, sorted so that identical replies sit together. <strong>One block is one distinct reply</strong>, and its width is how many times that reply came back. So the number of blocks in a row is the number in the margin, and you can count them.</p><p>Read the temperature 1.0 rows first, because the seed behaves there the way you would expect. With no seed, and with a different seed each time, the rows are a hundred hairlines: not one reply came back twice. Hold the seed fixed instead and the row collapses into a few wide blocks, the largest of them thirteen calls returning the same answer, word for word. The seed is honoured, and it is doing real work.</p><p>It is also not doing the job you hired it for. A seed that governed the output would return one reply a hundred times. It returned twenty-six. The seed fixes the path through the distribution it is handed, and the likeliest reading is that it is not handed the same distribution twice.</p><p>Now read the temperature 0 rows, where the same three settings produce 27, 30 and 27. The seed has stopped mattering. That is what the pipeline predicts: with the distribution collapsed the draw is down to a single candidate, so there is nothing left for a seed to govern. It is satisfying to see a prediction survive contact with a hundred calls, and this one did.</p><p>And then the thing that should not be there. <strong>Four of these six settings land between 26 and 30 different replies.</strong> Those four reach it by one of two routes: at temperature zero the draw has a single candidate and makes no choice, and with a fixed seed at temperature 1.0 it makes the same choice every time. Different routes, and both stop in the same place: around 27 different replies out of a hundred.</p><p>That floor is the variation left when the sampler has nothing more to contribute. <strong>Whatever is left, no sampler control reaches it.</strong> So where is it?</p><h3>Where the replies part company</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hUqyb87jKQT0XStCXVonjg.png" /></figure><p>The above chart is the same data read along the reply instead of across it. For each character position it asks how many of the hundred replies are still word-for-word identical to one another, counting the largest group that still agrees. <strong>Where each line finally flattens is the width of the widest block in the earlier chart</strong>, so the two meet at the right-hand edge. For example, follow the solid line for temperature 0, no seed, to the right edge and it settles on 22. That’s the same 22 as the widest block in the earlier chart, the largest number of replies that were identical for this setting.</p><p><strong>At temperature zero with no seed, ninety-nine of the hundred replies are identical for the first eighty-four characters.</strong> Then a step down to seventy-one, another to thirty-six, and twenty-two of them are identical the whole way through. Each of those steps is one place where the top-scoring token changed, and everything downstream of a step is a different sentence, or several.</p><p>The two runs at temperature 1.0 without a fixed seed sit on top of each other and fall off a cliff. <strong>By character eighty-four, where temperature zero with no seed still has ninety-nine replies in agreement, they have nine.</strong></p><p>The steps are the point. The three temperature-zero lines do not drift; each agrees exactly, then flips, then agrees exactly again on the other side of the flip. <strong>That variation is not something the decoding controls can reach, because at temperature zero they have nothing left to decide.</strong></p><p>My experiment only establishes this much, and the only part that I can defend is this:</p><p>The settings that we control in a request have an impact on the variation, but the variation does not go away. It’s still significant and can’t be removed with what our request can control.</p><h3>What I cannot show you</h3><p>What this experiment does not establish is the cause, and this is where a measurement quietly turns into a story if nobody stops it.</p><p>The draw has nothing left to contribute, so the standard account looks at the step before it. The forward pass scores every token in the vocabulary, and it does that with arithmetic on the same numbers every time. That should give the same answer twice. The standard account says it does not, because floating-point addition is not associative. Add the same numbers in a different order and the last bits can come out different. That order depends on how the work was batched, and the batch depends on who else was calling the API at that moment. I find that account convincing, and it is argued in detail by people who build inference servers. <strong>But I did not measure it.</strong></p><p>My runs also crossed more than one backend configuration. The system_fingerprint on the responses took four distinct values across the six settings, which is a second possible cause I cannot separate from the first. From outside the serving stack I can show you that a floor exists and that no sampler control reaches it. I cannot open the box and show you why. Also, these are the readings for the one prompt I ran. Six hundred calls make the floor of this prompt — <strong>my prompt</strong> — visible and say nothing about where <strong><em>your</em></strong> prompt is going to settle.</p><p>I could not diagnose it because I do not own the infrastructure. Neither do you. <strong>Non-determinism is relative to the boundary you can see.</strong> The provider can see and control batch composition, because it is an input on their side. You cannot see it, so the same variation that is ordinary bookkeeping on their side is irreducible on yours.</p><h3>Does it matter?</h3><p>Running an experiment and reading its numbers are two different jobs. Deciding whether those numbers describe a problem is a third. The readings are the same for everyone. What they cost you depends on what you were going to do with the reply.</p><p>The differences found in my experiment were not dramatic in themselves. For my sample prompt that asks for three reasons a flaky test might pass on a retry, two replies at temperature 0 with no seed, each of which came back once, are word-for-word identical for 347 characters. After that, they had their differences over how the sentence ends: “is reset before the retry” or “resets between retries”. Both say nearly the same thing.</p><p>A semantic check would call them near-paraphrases and be right to. An exact-match assertion fails on the pair every time, objecting to wording it should ignore. The semantic check is right about this pair, and I do not trust it to object to a reply that is wrong and fluent. Neither of those is right or wrong.</p><p><strong>An oracle is a choice about what we are willing to call a difference, and that choice belongs to what we are testing rather than to the oracle.</strong></p><p>Maybe we need both, and more than both. Maybe we keep reaching for matching and mathematics because that is what we have. And maybe, a response from a language model does not lend itself to them all the time.</p><h3>Can you make it deterministic?</h3><p>Not from where you are sitting, although a good deal of published advice implies you can. Set the temperature to zero, pin the seed, and pin the model snapshot. <strong>That recipe still returned thirty different replies in a hundred.</strong></p><p>I used the two controls people reach for in practice. This model’s API exposes another hyper-parameter that touches sampling, <strong>top-p</strong>, and it cannot help. Top-p keeps the highest-scoring candidates and discards the tail. It can remove a token the draw might otherwise have picked, but it always keeps the highest-scoring one, and at temperature zero that is the token being chosen.</p><p>I ran it rather than assume it. Three hundred more calls at temperature zero, with top-p at 0.05, at 0.5, and left at its default of 1.0, returned 30, 31 and 32 different replies. No seed was pinned for these, because the six settings above had already shown the seed doing nothing at temperature zero. Truncating to the top five per cent of the probability mass and not truncating at all land in the same place.</p><p><strong>Temperature, top-p and the seed all act after the forward pass, and none of them reaches whatever is varying.</strong></p><p>It would be easy to swing the other way and decide that a language model is simply unpredictable. That is wrong too. The variation is not coming only from the model, and it is not coming from anything you can set on the request. The account I find convincing puts it in the serving stack, which batches your request in with other people’s and reorders the arithmetic. That is the part I did not measure. Somebody who controls that stack can take it out. Thinking Machines published <a href="https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/">batch-invariant kernels</a> that make vLLM return bitwise identical output run after run, which settles the question of whether it is possible.</p><p>So the expectation is worth carrying: <strong>the final leg of determinism is a property of the infrastructure, not a parameter on the request.</strong> If you own the serving stack you can buy it, and you will pay for it in throughput. If you are calling somebody else’s API, no combination of the settings on offer will change it. What would have to change is on their side of the boundary, and nothing I tried from this side reached it.</p><h3>Should determinism be a universal ask?</h3><p>Pinning the output has a real use, and it is worth saying so before I argue with it.</p><p>If you want to know that something changed between two runs, comparing strings will tell you about it, and this is the cheapest method. The mistake is treating a match as a guarantee rather than a signal to go and look. A test strategy built on pinning the output is not being careful. It is assuming a guarantee nobody gave you. It will hold until it doesn’t, and you will not get a warning.</p><p>Before spending more effort on this: what would you do with a deterministic model if you had one? <strong>The same string every call is reproducibility, not correctness.</strong> A test that asserts one exact answer passes just as happily when the model is reliably wrong. For the kind of problems language models are meant to solve, what you want is probably a way to tell a good answer from a bad one. Where a right answer can be worded more than one way, neither exact matching nor a semantic check gives you that on its own. This line of thinking is especially critical for automated assertions, because a human oracle cannot scale to the volume of testing a language-model-augmented solution truly needs.</p><h3>Where I stopped</h3><p>This article is the honest reading of the range of experiments I did in the process of writing it. I got as far as the sampler and stopped there. Nothing I could reach held the output still, and what would have to change is not exposed on the request.</p><p>For some systems the journey ends because there is nothing further to learn. For a hosted model it ends sooner, and not because the remaining distance is hard. <strong>It ends because the part that would have to change is not ours.</strong></p><p>That leaves the question the next article opens on. If you cannot pin the answer, what do you assert instead? That one is <em>What to Assert When You Cannot Assert the Answer</em>.</p><h3>Acknowledgements</h3><p><em>With thanks to Claude, and to the GPT, Gemini, Grok, DeepSeek, GLM, Kimi and Qwen model families, who between them made this harder to publish and better to read. How the research and the writing were done is set out in full in the companion article, </em><a href="https://trendig.com/en/blog/LLM-testing-what-changes-when-part-your-system-non-deterministic/"><em>What Changes When Part of Your System Is Non-Deterministic</em></a><em>.</em></p><p>The positions here are mine, and so is anything still wrong with them.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bc89d8a5787a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Was ist Software Testing? Ein grundlegender Überblick.]]></title>
            <link>https://trendig.medium.com/was-ist-software-testing-ein-grundlegender-%C3%BCberblick-277026e39f3a?source=rss-84a419162d51------2</link>
            <guid isPermaLink="false">https://medium.com/p/277026e39f3a</guid>
            <category><![CDATA[software-entwicklung]]></category>
            <category><![CDATA[software-testing]]></category>
            <category><![CDATA[softwaretesten]]></category>
            <category><![CDATA[istqb-foundation-level]]></category>
            <dc:creator><![CDATA[trendig]]></dc:creator>
            <pubDate>Tue, 06 Oct 2026 14:42:35 GMT</pubDate>
            <atom:updated>2026-10-06T14:42:35.006Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JozQMLDsHSmhz6qGEZY6-A.png" /></figure><p>Hast Du Dich eigentlich schon mal gefragt, was Software Testing überhaupt ist?</p><p>Wenn mich das jemand fragt, der nicht aus dem Software Engineering kommt, versuche ich es meistens ungefähr so zu erklären:</p><p>Alles, was auf einem Computer, Smartphone oder einem anderen digitalen Gerät läuft, ist Software oder wird von Software gesteuert. Dein Betriebssystem ist Software. Dein Browser ist Software. Jede App auf Deinem Smartphone ist Software.</p><p>Diese Software wird entwickelt. Und irgendwann müssen wir herausfinden, ob sie tatsächlich das tut, was sie tun soll — und wie gut sie das tut.</p><p>Genau darum geht es beim Software Testing.</p><p>Dabei wird Software geprüft, hinterfragt und ausprobiert. Ziel ist es herauszufinden, wo Probleme liegen, welche Risiken bestehen und ob das Produkt für seinen vorgesehenen Zweck gut genug funktioniert.</p><p>Das klingt erst einmal simpel. Professionelles Testing ist aber mehr als nur eine fertige Anwendung zu öffnen und ein bisschen herumzuklicken.</p><h3>Was ist Software Testing?</h3><p>Kurz gesagt:</p><p><strong>Software Testing hilft uns herauszufinden, wie gut eine Software funktioniert, wo Probleme liegen und welche Risiken noch bestehen.</strong></p><p>Dabei geht es nicht nur darum, offensichtliche Fehler zu finden.</p><p>Tester:innen stellen zum Beispiel Fragen wie:</p><ul><li>Funktioniert eine Funktion so, wie sie gedacht ist?</li><li>Was passiert bei ungewöhnlichen Eingaben?</li><li>Ist eine Anforderung überhaupt eindeutig?</li><li>Wie verhält sich die Software, wenn etwas schiefläuft?</li><li>Funktioniert sie auch unter realistischen Bedingungen?</li><li>Welche Probleme wären für Nutzer:innen besonders kritisch?</li></ul><p>Ein guter Softwaretest beginnt deshalb oft nicht mit einem Klick, sondern mit einer Frage.</p><h3>Tester:innen machen Qualität nicht automatisch besser</h3><p>Ein weit verbreiteter Irrtum ist: Allein durch das Testen wird Software automatisch besser.</p><p>Wenn ein Tester im Online-Shop einen Fehler beim Bezahlen findet, ist der Fehler damit noch nicht behoben. Aber: Testinglliefert Informationen über Qualität und Qualitätsrisiken.</p><p>Auf Basis der gewonnenen Informationen können Entwickler:innen und Produktverantwortliche Entscheidungen treffen, um Fehler zu beheben und so die Qualität gezielt zu steigern.</p><p>Und genau dadurch kann Testing letztlich sehr wohl zu besseren Produkten beitragen.</p><h3>Warum sind Softwaretests wichtig?</h3><p>Softwaretests sind wichtig, weil sie Qualitätsrisiken frühzeitig aufdeckenund eine verlässliche Entscheidungsgrundlage für den Release einer Software liefern.</p><p>Software kann auf sehr viele Arten anders reagieren als erwartet.</p><p>Ein einfaches Beispiel:</p><p>Ein Online-Shop bietet kostenlosen Versand ab 50 Euro.</p><p>Das klingt zunächst nach einer simplen Regel.</p><p>Aber was passiert bei:</p><ul><li>49,99 Euro?</li><li>genau 50 Euro?</li><li>einem Rabatt, durch den der Warenkorb wieder unter 50 Euro fällt?</li><li>einem Gutschein?</li><li>einer Stornierung?</li><li>einer anderen Währung?</li></ul><p>Schon aus einer einzigen kleinen Funktion entstehen viele mögliche Situationen.</p><p>Die Aufgabe von Tester:innen besteht nicht darin, wahllos möglichst viele Varianten auszuprobieren.</p><p>Es geht darum, <strong>die interessanten und riskanten Fälle zu erkennen.</strong></p><p>Das ist ein wesentlicher Unterschied zwischen „ein bisschen testen“ und professionellem Software Testing.</p><h3>Testing beginnt nicht erst mit fertiger Software</h3><p>Ein weiteres verbreitetes Bild ist:</p><p>Die Entwicklung programmiert die Software, danach bekommt sie ein:e Tester:in und sucht nach Fehlern.</p><p>In der Praxis kann Testing deutlich früher anfangen.</p><p>Stell Dir vor, in einer Anforderung steht:</p><p>„Die Suchfunktion soll schnell Ergebnisse liefern.“</p><p>Was bedeutet „schnell“?</p><p>Eine Sekunde? Drei Sekunden? Zehn?</p><p>Und wie viele Produkte durchsucht die Suche? Hundert? Eine Million?</p><p>Schon beim Lesen fällt auf, dass die Anforderung unklar ist.</p><p>Dafür brauchen wir noch nicht einmal fertige Software.</p><p>Tester:innen können deshalb bereits dabei helfen, Anforderungen zu hinterfragen, Missverständnisse aufzudecken und mögliche Probleme zu erkennen, bevor sie später im Produkt landen.</p><p>Wenn Dich dieser Aspekt interessiert, findest Du dazu auch mehr in unserem Beitrag<a href="https://trendig.com/blog/fuenf-gruende-warum-requirements-engineering-fuer-tester-wichtig-ist/"> „Fünf Gründe, warum Requirements Engineering für Tester:innen wichtig ist“</a>.</p><h3>Kann man Software vollständig testen?</h3><p>In den meisten Fällen: nein.</p><p>Nehmen wir eine Anwendung, die auf verschiedenen Browsern, Smartphones und Betriebssystemen läuft. Dazu kommen unterschiedliche Nutzer:innen, Eingaben, Einstellungen und Daten. Stell Dir ein Formular mit nur 10 Häkchen-Feldern vor: Das sind bereits 2¹⁰ = 1.024 mögliche Kombinationen. Bei einer komplexen App ist ein lückenloser Test schlicht unmöglich.</p><p>Deshalb müssen Tester:innen auswählen.</p><p>Welche Bereiche sind besonders wichtig?</p><p>Wo kann besonders viel schiefgehen?</p><p>Welche Fehler wären für Nutzer:innen oder das Unternehmen besonders problematisch?</p><p>Professionelles Testing bedeutet deshalb auch immer, Prioritäten unter Einbezug von potenziellen Risiken zu setzen.</p><h3>Was macht ein:e Software Tester:in eigentlich?</h3><p>Je nach Projekt kann die Arbeit sehr unterschiedlich aussehen.</p><p>Wichtig vorab: T<strong>esting ist keine reine Einzellaufbahn, sondern Teamwork</strong>. Auch Entwickler:innen, Product Owner oder Fachexpert:innen testen täglich — zum Beispiel durch Unit-Tests, Abnahmetests oder gemeinsame Reviews. Dennoch bringen spezialisierte Tester:innen einen ganz eigenen Blickwinkel, Methodenwissen und die nötige Unabhängigkeit mit ein.</p><p>Tester:innen (und alle, die in der Rolle testen) können zum Beispiel:</p><p>Tester:innen können zum Beispiel:</p><ul><li>Anforderungen hinterfragen,</li><li>Risiken erkennen,</li><li>sinnvolle Tests überlegen,</li><li>Software gezielt ausprobieren,</li><li>Testdaten vorbereiten,</li><li>automatisierte Tests einsetzen,</li><li>gefundene Probleme nachvollziehbar beschreiben,</li><li>Ergebnisse mit dem Team besprechen.</li></ul><p>Dabei geht es nicht darum, Entwickler:innen Fehler „nachzuweisen“.</p><p>Gutes Testing funktioniert am besten als Teamarbeit.</p><p>Alle arbeiten letztlich auf dasselbe Ziel hin: ein Produkt zu entwickeln, das möglichst gut funktioniert und seinen Zweck erfüllt.</p><h3>Manuell testen oder automatisieren?</h3><p>Auch das ist keine Entweder-oder-Frage.</p><p>Automatisierte Tests sind sehr hilfreich, wenn bestimmte Prüfungen regelmäßig wiederholt werden sollen. Ein Computer kann solche Tests schnell und reproduzierbar ausführen.</p><p>Aber Automatisierung entscheidet nicht von selbst, was sinnvoll getestet werden sollte.</p><p>Jemand muss vorher verstehen:</p><p>Was könnte schiefgehen?</p><p>Was ist wichtig?</p><p>Welche Fälle sind besonders interessant?</p><p>Wo lohnt sich Automatisierung überhaupt?</p><p>Deshalb bleibt Software Testing auch mit immer besseren Werkzeugen eine Tätigkeit, bei der Nachdenken, Erfahrung und Neugier eine große Rolle spielen.</p><h3>Software Testing bedeutet, gute Fragen zu stellen</h3><p>Wenn Du aus diesem Artikel nur einen Gedanken mitnimmst, dann diesen:</p><p><strong>Software Testing bedeutet nicht einfach, fertige Software durchzuklicken und nach Fehlern zu suchen.</strong></p><p>Tester:innen versuchen herauszufinden, wie sich ein Produkt tatsächlich verhält.</p><p>Sie stellen Fragen.</p><p>Sie suchen nach Risiken.</p><p>Sie probieren Dinge aus, die andere vielleicht nicht bedacht haben.</p><p>Und sie liefern Informationen darüber, wo ein Produkt gut funktioniert und wo noch Probleme bestehen.</p><p>Diese Informationen helfen einem Team dabei, bessere Entscheidungen zu treffen — und dadurch bessere Software zu entwickeln.</p><h3>Wie kann ich tiefer ins Software Testing einsteigen?</h3><p>Wenn Du professionell ins Software Testing einsteigen oder Dein vorhandenes Wissen strukturieren möchtest, gibt es viele Themen, die sich von hier aus vertiefen lassen: Testmethoden, Testautomatisierung, risikoorientiertes Testing oder die Zusammenarbeit im Entwicklungsteam.</p><p>Eine Möglichkeit für einen systematischen Einstieg ist der<strong> ISTQB® Certified Tester Foundation Level (CTFL)</strong>. Dort werden die Grundlagen professionellen Testens strukturiert vermittelt.</p><p>Du möchtest Software Testing von Grund auf lernen oder Dein Team fit für die Praxis machen? Ob ISTQB® CTFL-Zertifizierung oder maßgeschneidertes Training <a href="https://www.google.com/search?q=https://trendig.com/kontakt/">— sprich uns einfach an</a>. Wir finden gemeinsam das passende Format.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=277026e39f3a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[What Is Software Testing? A basic Introduction.]]></title>
            <link>https://trendig.medium.com/what-is-software-testing-a-basic-introduction-635eacc640d7?source=rss-84a419162d51------2</link>
            <guid isPermaLink="false">https://medium.com/p/635eacc640d7</guid>
            <category><![CDATA[istqb]]></category>
            <category><![CDATA[software-engineering]]></category>
            <category><![CDATA[software-testing]]></category>
            <category><![CDATA[software-testing-training]]></category>
            <dc:creator><![CDATA[trendig]]></dc:creator>
            <pubDate>Tue, 06 Oct 2026 14:38:03 GMT</pubDate>
            <atom:updated>2026-10-06T14:39:46.344Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VOabn5-jo3XfOGMlybKgfA.jpeg" /></figure><p>Have you ever wondered what software testing actually is?</p><p>When someone outside software engineering asks me this, I usually explain it something like this:</p><p>Everything that runs on a computer, smartphone, or other digital device is either software or controlled by software. Your operating system is software. Your browser is software. Every app on your smartphone is software.</p><p>All of this software has to be developed. And at some point, we need to find out whether it actually does what it is supposed to do — and how well it does it.</p><p>That is what software testing is all about.</p><p>Testing means examining software, questioning it, and trying it out. The aim is to find out where problems lie, what risks exist, and whether the product is good enough for its intended purpose.</p><p>That may sound simple at first. But professional testing involves much more than opening a finished application and clicking around a bit.</p><h3>What Is Software Testing?</h3><p>In short: <strong>Software testing helps us understand how well software works, where problems lie, and what risks remain.</strong></p><p>It is not just about finding obvious defects.</p><p>Testers ask questions such as:</p><ul><li>Does a function work as intended?</li><li>What happens with unusual inputs?</li><li>Is a requirement actually clear?</li><li>How does the software behave when something goes wrong?</li><li>Does it also work under realistic conditions?</li><li>Which problems would be particularly critical for users?</li></ul><p>Good software testing therefore often starts not with a click, but with a question.</p><h3>Testers Do Not Automatically Improve Quality</h3><p>A common misconception is that testing alone automatically makes software better.</p><p>If a tester finds a failure in the checkout process of an online shop, finding it does not fix it. What testing does provide, however, is information about quality and quality risks.</p><p>Based on this information, developers and product owners can decide how to address defects and improve quality in a targeted way.</p><p>And that is how testing can ultimately contribute to better products.</p><h3>Why Is Software Testing Important?</h3><p>Software testing is important because it can identify quality risks early and provide a reliable basis for decisions about whether software is ready for release.</p><p>Software can behave differently from what we expect in countless ways.</p><p>Take a simple example:</p><p>An online shop offers free shipping on orders of €50 or more.</p><p>At first glance, that sounds like a simple rule.</p><p>But what happens with:</p><ul><li>€49.99?</li><li>exactly €50?</li><li>a discount that brings the cart total back below €50?</li><li>a voucher?</li><li>a cancellation?</li><li>a different currency?</li></ul><p>Even one small feature can give rise to many different scenarios.</p><p>The job of a tester is not to try as many variations as possible at random.</p><p>It is about <strong>identifying the cases that are interesting and carry the greatest risk.</strong></p><p>That is one of the key differences between “doing a bit of testing” and professional software testing.</p><h3>Testing Does Not Start Only When the Software Is Finished</h3><p>Another common assumption is this:</p><p>Developers build the software, then hand it over to a tester who looks for defects.</p><p>In practice, testing can start much earlier.</p><p>Imagine a requirement that says:</p><p>“The search function should return results quickly.”</p><p>What does “quickly” mean?</p><p>One second? Three seconds? Ten?</p><p>And how many products does the search cover? A hundred? A million?</p><p>Simply reading the requirement reveals that it is unclear.</p><p>We do not even need working software to spot that.</p><p>Testers can therefore help challenge requirements, uncover misunderstandings, and identify potential problems before they find their way into the product.</p><p>If you are interested in this aspect, you can find out more in our article<a href="https://trendig.com/blog/fuenf-gruende-warum-requirements-engineering-fuer-tester-wichtig-ist/"> “Five Reasons Why Requirements Engineering Is Important for Testers”</a>.</p><h3>Can Software Be Tested Completely?</h3><p>In most cases, no.</p><p>Consider an application that runs on different browsers, smartphones, and operating systems. Then add different users, inputs, settings, and data. Imagine a form with just 10 checkboxes: that alone gives you 2¹⁰ = 1,024 possible combinations. With a complex application, exhaustive testing is simply impossible.</p><p>That means testers have to make choices.</p><p>Which areas are particularly important?</p><p>Where is there the greatest risk of something going wrong?</p><p>Which defects would be particularly problematic for users or the business?</p><p>Professional testing therefore always involves setting priorities based on potential risks.</p><h3>What Does a Software Tester Actually Do?</h3><p>The work can vary considerably from one project to another.</p><p>One important point first: <strong>Testing is not an individual activity — it is teamwork</strong>. Developers, Product Owners, and domain experts also test as part of their day-to-day work, for example through unit testing, acceptance testing, or collaborative reviews. Specialized testers, however, bring their own perspective, testing expertise, and the necessary degree of independence to the team.</p><p>Testers — and anyone else performing testing activities — may, for example:</p><ul><li>challenge requirements,</li><li>identify risks,</li><li>devise meaningful tests,</li><li>explore software in a targeted way,</li><li>prepare test data,</li><li>use automated tests,</li><li>describe identified problems clearly and reproducibly,</li><li>discuss results with the team.</li></ul><p>The aim is not to “prove” that developers have made mistakes.</p><p>Good testing works best as a team effort.</p><p>Ultimately, everyone is working towards the same goal: developing a product that works as well as possible and fulfils its intended purpose.</p><h3>Manual Testing or Automation?</h3><p>This is not an either-or question either.</p><p>Automated tests are extremely useful when certain checks need to be repeated regularly. A computer can execute these tests quickly and consistently.</p><p>But automation cannot decide for itself what is worth testing.</p><p>Someone first has to understand:</p><p>What could go wrong?</p><p>What matters?</p><p>Which cases are particularly interesting?</p><p>Where does automation actually make sense?</p><p>That is why software testing, even with increasingly powerful tools, remains an activity in which critical thinking, experience, and curiosity play a major role.</p><h3>Software Testing Means Asking Good Questions</h3><p>If you take away just one idea from this article, let it be this:</p><p><strong>Software testing is not simply about clicking through finished software and looking for defects.</strong></p><p>Testers try to understand how a product actually behaves.</p><p>They ask questions.</p><p>They look for risks.</p><p>They try things that others may not have considered.</p><p>And they provide information about where a product works well and where problems remain.</p><p>This information helps teams make better decisions — and, as a result, build better software.</p><h3>How Can I Learn More About Software Testing?</h3><p>If you want to start a career in software testing or give more structure to the knowledge you already have, there are many areas you can explore in greater depth: test techniques, test automation, risk-based testing, or collaboration within a development team.</p><p>One way to build a solid foundation is the<strong> ISTQB® Certified Tester Foundation Level (CTFL).</strong> It provides a structured introduction to the fundamentals of professional software testing.</p><p>Would you like to learn software testing from the ground up or equip your team with practical testing skills? Whether you are looking for ISTQB® CTFL certification or tailored training,<a href="https://www.google.com/search?q=https://trendig.com/kontakt/"> just get in touch with us</a>. Together, we will find the right format.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=635eacc640d7" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AI in Software Testing 2026: How Artificial Intelligence Is Changing Testing — and Where It Reaches…]]></title>
            <link>https://trendig.medium.com/ai-in-software-testing-2026-how-artificial-intelligence-is-changing-testing-and-where-it-reaches-46afb7d05f9d?source=rss-84a419162d51------2</link>
            <guid isPermaLink="false">https://medium.com/p/46afb7d05f9d</guid>
            <category><![CDATA[genai]]></category>
            <category><![CDATA[ai-agent]]></category>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <dc:creator><![CDATA[trendig]]></dc:creator>
            <pubDate>Tue, 29 Sep 2026 18:04:48 GMT</pubDate>
            <atom:updated>2026-09-29T18:04:48.332Z</atom:updated>
            <content:encoded><![CDATA[<h3>AI in Software Testing 2026: How Artificial Intelligence Is Changing Testing — and Where It Reaches Its Limits</h3><p>AI in software testing in 2026 has two sides: We test with AI when Generative AI supports test design, test data, automation, or analysis. And we test AI when machine learning models, large language models, or AI agents themselves are part of what we’re testing.</p><p>Both of these approaches are changing the work of testers. However, the bigger shift extends beyond testing itself.</p><p>When AI analyzes requirements, generates code, writes tests, or operates tools autonomously as an agent, development processes, roles, and responsibilities also change. Who reviews AI-generated code? What decisions can an agent make on its own? How do we ensure that speed doesn’t come at the expense of quality?</p><p>Introducing AI is therefore not just a decision about which tool to use. It is a software engineering, quality assurance, and organizational challenge.</p><p>By 2026, the interesting question will no longer be: “Can we use AI in testing?” But rather: <strong>Where does AI really take us — and how do we integrate it in a way that increases both speed and quality?</strong></p><h3>Testing with AI and testing AI: two different tasks</h3><p>The terms sound similar, but they require different skill sets.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*P5274gyUxxBJ-TUOMVkaoQ.png" /></figure><p>This distinction is now also reflected in the ISTQB: CT-GenAI addresses the use of generative AI in testing. CT-AI v2.0 focuses entirely on testing AI-based systems and explicitly includes generative AI and large language models. The new CT-AI syllabus has been streamlined from eleven to seven chapters and restructured to align with the machine learning lifecycle. In real-world projects, teams increasingly need both perspectives.</p><h3>Where AI Really Helps in Software Testing Today</h3><p>The question “Which AI tool should we use?” is often asked too soon. A more interesting question to start with is: What task do we want to solve better?</p><h4>Developing test ideas and test cases</h4><p>Generative AI can analyze requirements, user stories, and acceptance criteria and derive test conditions and test ideas from them. Here’s an example: For a discount logic, the model shouldn’t simply “generate 30 test cases.” Instead, it’s given the business rules and the task of examining equivalence classes, threshold values, and relevant combinations. This can save a lot of preparatory work. However, the crucial questions remain with the testers: Did the model understand the requirement correctly? What risks are missing? Did it assume prerequisites that weren’t described anywhere? This is precisely why AI-supported testing often begins one step earlier:<strong> with the quality of the requirements.</strong> AI can reveal gaps and contradictions. But it can just as easily translate unclear requirements into unclear test cases.</p><h4>Generating Test Data Generative</h4><p>AI is well-suited for generating synthetic test data and quickly converting variants into the required formats. For an international checkout, for example, combinations of countries, addresses, currencies, payment methods, and edge cases may arise. What AI doesn’t automatically know: which combinations are particularly critical from a business perspective, which data must be representative, and which data protection rules apply. Here, too, test design remains more important than mere generation.</p><h4>Supporting Test Automation</h4><p>Coding assistants and coding agents can generate, explain, and customize test code — and, increasingly, execute it autonomously. This shifts part of the work from <strong>writing to testing, evaluating, and making decisions.</strong> And this is precisely where a tool-related issue quickly becomes a consulting issue: What changes is an agent allowed to make on its own? What quality gates apply? Who reviews AI-generated code? What access rights does the system receive? Where is human approval required? The more AI becomes involved in development processes, the more important architecture, governance, and clear responsibilities become.</p><h4><strong>Analyzing Errors and Test Results</strong></h4><p>Another key area of application is analysis. LLMs can summarize logs, group similar errors, explain test results, or link possible causes to changes in the system. AI-powered testing platforms now integrate such functions directly into test management and test automation. The added value here isn’t that AI suddenly “finds all the bugs.” What’s more interesting is that people spend less time gathering information — and more time on their technical evaluation.</p><h3>AI Tools in 2026: Choose Based on the Task, Not the Hype</h3><p>A “Top 10 List of the Best AI Testing Tools” is usually outdated before the article is even published. It makes more sense to categorize them by task:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*czlsTPbs7ZT8s3VVIV3FPQ.png" /></figure><p>The more important questions are:</p><p>What problem are we trying to solve?</p><p>What data does the AI need?</p><p>What data is it allowed to access?</p><p>Which systems is it allowed to modify?</p><p>How do we verify its results?</p><p>And how can we tell that the new process is actually better?</p><p>These are exactly the questions that should be answered before a major rollout.</p><h3>Prompting for Testers: Structure, Not Magic</h3><p>Good prompting isn’t about magic phrases. The current ISTQB CT-GenAI syllabus describes six components of structured prompts: role, context, instruction, input data, constraints, and output format. For day-to-day work, these can be easily summarized in four questions:</p><p>1. Who is working in what context? Here, we combine role and context. What perspective should the model adopt? And what does it need to know about the system, the domain, and the task? Example: “You work as a test analyst for a B2B online store. Orders over 10,000 euros require additional approval.”</p><p>2. What specifically needs to be done? This is the instruction. It should clearly and as specifically as possible describe the task the model is supposed to perform. Example: “Derive test conditions using threshold analysis and decision tables.”</p><p>3. On what basis and within what limits? This is where input data and boundary conditions come together. Which user stories, acceptance criteria, test cases, screenshots, or code snippets should the model use? And what should it explicitly not do? Example: “Use only the following user story and its acceptance criteria. Do not invent any additional business rules. Mark missing information as open questions.”</p><p>4. What should the result look like? The output format makes expectations more verifiable. Example: “Provide a table with test conditions, risks, test data, and expected results.” Put together, this results in, for example: You work as a test analyst for a B2B online store. Orders over 10,000 euros require additional approval. Based on the following user story, derive test conditions using boundary value analysis and decision tables. Do not invent missing business rules, and mark any ambiguities as open questions. Present the result as a table containing test conditions, risk, test data, and expected results. The key point is not to make every prompt as long as possible. The structure forces us to consciously formulate the task, initial situation, constraints, and expectations. The CT-GenAI syllabus supplements this basic structure with techniques such as prompt chaining, few-shot prompting, and meta-prompting, among others. And as with traditional testing, the following applies: <strong>A well-formulated prompt does not replace the need to verify the result.</strong></p><h4>AI Agents Put to the Test: When Answers Become Actions</h4><p>A chatbot responds. An agent can take action. It can read files, examine repositories, modify code, run tests, and select the next step based on the result. This enables workflows such as: Requirement → Test idea → Test code → Test run → Error analysis → Change proposal That’s powerful. At the same time, it introduces a new dimension of quality. We no longer need to merely verify <strong>what an AI system says</strong>, but also <strong>what it does.</strong> This includes questions regarding permissions, secrets, network access, sandboxing, logging, and approvals. And agents are transforming collaboration.</p><p>When an agent takes on tasks that were previously performed by developers or testers, teams need to redefine: Who reviews which result? What will a code review mean in the future? When do we need a dual-review process? Which decisions will deliberately remain in human hands? Which skills will become more important?</p><p>That’s why AI implementation rarely works in the long term as a purely bottom-up tool initiative. Teams need the freedom to experiment — but they also need shared guidelines, learning loops, and clarity regarding responsibility.</p><h4>Testing AI systems: When the expected result is no longer clear</h4><p>With traditional software, we often expect a clear relationship: <strong>Input X leads to Output Y.</strong> Generative AI makes this more complicated. An LLM can provide different acceptable answers to the same question. At the same time, an answer can be convincingly worded yet still factually incorrect. Testing therefore requires several types of test oracles and evaluation methods:</p><p>● deterministic tests for unambiguously measurable properties,</p><p>● curated test and reference data,</p><p>● repeated test runs,</p><p>● appropriate quality metrics,</p><p>● exploratory testing,</p><p>● red teaming,</p><p>● testing of data, retrieval, and tools,</p><p>● human evaluation.</p><p>This is exactly where ISTQB CT-AI v2.0 comes in. The current version focuses entirely on testing AI-based systems. The syllabus follows the ML lifecycle and covers, among other things, input data, models, ML development, as well as dedicated content for Generative AI and LLMs. <strong>Can one AI evaluate another AI?</strong> Yes. In “LLM-as-a-Judge,” a language model evaluates the output of another model based on predefined criteria. This can be very helpful when dealing with large volumes of generated responses. But the judge is also a model.</p><p>Where something can be evaluated deterministically, we should evaluate it deterministically. Where an LLM evaluates, its evaluations should be calibrated against expert-reviewed examples and human judgments. In short: AI can be part of the test oracle. It should not replace the test oracle without verification.</p><h3>What the EU AI Act 2026 Means for Software Testing</h3><p>Starting August 2, 2026, additional key provisions of the EU AI Act will take effect. As of that date, transparency requirements under Article 50 will also apply to certain AI systems. This includes, for example, ensuring that users of certain interactive applications can recognize that they are interacting with AI. Labeling requirements also apply to certain AI-generated or manipulated content. The timeline for high-risk AI has since been adjusted. The relevant rules for certain autonomous high-risk systems under Annex III will take effect on December 2, 2027. For high-risk AI integrated into certain regulated products, the effective date is August 2, 2028. For software testing and quality engineering, the implications are particularly noteworthy. Risks, data, robustness, security, transparency, and human oversight must be considered more systematically. Testing can provide an important part of the evidence for this: What was tested? With what data? Against what quality criteria? What limitations were identified? How does the system behave in the event of errors or uncertainty? This brings quality into the lifecycle even earlier. Compliance does not begin shortly before an audit. It begins with product decisions, requirements, architecture, and quality strategy. This section is not a substitute for legal advice.</p><h3>Where AI Reaches Its Limits in Testing</h3><p>AI can be surprisingly convincing when it’s wrong. This leads to some very practical risks.</p><p><strong>Hallucinations:</strong> LLMs can invent requirements, APIs, or business rules. <strong>Automation Bias: </strong>The more often a tool delivers good results, the greater the risk that people will scrutinize the next result less critically.</p><p><strong>Data Protection and Information Security:</strong> Requirements, logs, source code, and customer data should not automatically be included in every model.</p><p><strong>Agent risks:</strong> Incorrect text is annoying. An incorrect action with write permissions can have entirely different consequences.</p><p><strong>Changing systems: </strong>Models, prompts, retrieval data, and connected tools change. This can also alter an application’s behavior. And finally: <strong>More generated tests do not automatically mean higher quality.</strong></p><p>If AI generates 1,000 test cases, we still need to know which ones actually provide insights. Professional testing expertise therefore does not become any less important because of AI. It becomes even more important.</p><h3>AI in testing is rarely just a testing issue</h3><p>A team can start with a single AI tool. But as soon as this is to become a permanent way of working, AI quickly impacts the entire software lifecycle.</p><p><strong>Product and requirements</strong>: What problem are we trying to solve? How do we define success and acceptable risks? Architecture and Development: Where are models and agents integrated? What technical limitations apply? <strong>Quality Engineering: </strong>What evaluation methods, testing strategies, and quality gates do we need? DevOps and Operations: How do we monitor quality, costs, and changes in system behavior?</p><p><strong>Security and Resilience:</strong> What happens in the event of failures, tampered inputs, or erroneous actions? And finally:</p><p><strong>Organization: </strong>Which tasks and roles are changing? Where will decisions be made in the future? How do teams learn from one another? And how do we prevent each team from inventing its own rules for AI? This makes AI adoption part of organizational development as well. Not necessarily as a major change program. It often starts more pragmatically: with a suitable use case, a pilot team, and clear success criteria. Then we look not only at the technology but also at the way work is done. What has actually become faster? Where is new review work arising? Which decisions still require human input? What skills are missing? What guidelines are helpful? And which of these should be applied to other teams?</p><p>Learn, adapt, standardize, scale. This is usually more effective than first writing a company-wide set of AI rules and then hoping that it works in practice. At trendig, we therefore look beyond just testing. Our consulting services combine product and innovation work, requirements engineering, software architecture, development processes, quality engineering, digital resilience, transformation, as well as DevOps and continuous delivery. A key focus is explicitly on creating solutions that fit the teams and the organization. trendig’s current positioning identifies clear decision-making paths, shared vision statements, and effective interfaces between product, design, development, and quality assurance as part of sustainable innovation.</p><p>That’s why we don’t automatically start by asking: <strong>Which AI tool do we want to implement?</strong></p><p>Instead, we start with: <strong>“What do we want to improve — and how will we know when it has improved?”</strong></p><p>Depending on the starting point, this can lead to a workshop, a pilot project, a quality strategy, a change in the development process, coaching, or training. <strong>The goal is not to use as much AI as possible. The goal is better software development with manageable AI support.</strong></p><p><a href="https://trendig.com/en/technology-engineering/">Software Engineering Consulting at trendig</a></p><h3>Professional Development: Testing with AI — and Learning to Test AI</h3><p>Tools change rapidly. Methods and skills last longer. That’s why we also distinguish between different goals in our continuing education programs.</p><h4>ISTQB® Certified Tester — Testing with Generative AI (CT-GenAI)</h4><p>For those who want to use generative AI professionally for testing activities, the <strong>ISTQB CTGenAI</strong> offers a structured introduction. At trendig, the training lasts <strong>3 days</strong>. The current syllabus covers, among other topics:</p><p>● Fundamentals of GenAI and large language models,</p><p>● prompt engineering for testing tasks,</p><p>● Risks such as hallucinations, bias, and data privacy, ● LLM-powered testing infrastructures and agents,</p><p>● as well as the organizational implementation of Generative AI in testing. The last point is particularly important: A new technology does not automatically translate into a new way of working. Teams must gain experience, evaluate results, and develop common approaches based on those findings. ISTQB also explicitly addresses organizational adoption and competency development in the current CT-GenAI.</p><p><a href="https://trendig.com/en/training/course/istqb-certified-tester-testing-with-generative-ai-ct-genai/">ISTQB CT-GenAI</a></p><h4>AiU Certified GenAI-Assisted Test Engineer</h4><p>The <strong>AiU Certified GenAI-Assisted Test Engineer </strong>program is particularly practice-oriented. At trendig, the training also lasts <strong>3 days</strong>. The focus is on the practical application of Generative AI in testing activities — for example, in requirements reviews, test design, test data, and the communication of defects. The training is therefore particularly suitable for testers who want to integrate GenAI directly into their daily work. <a href="https://trendig.com/en/training/course/aiu-certified-generative-ai-assisted-test-engineer/">AiU Certified GenAI-Assisted Test Engineer</a></p><h3>ISTQB® Certified Tester AI Testing — CT-AI v2.0</h3><p>On the other hand, those who want to<strong> test AI-based systems themselves</strong> need a different focus. For this purpose, we offer the<strong> ISTQB CT-AI v2.0 as a 4-day training course</strong>. The training overview and current schedule list CT-AI as a four-day course. CT-AI v2.0 is the current version of the ISTQB certification for testing AI-based systems. Among other topics, it covers data quality, machine learning models, neural networks, AIspecific quality characteristics, and the testing of generative AI and LLMs. This results in three different perspectives:</p><p><strong>CT-GenAI</strong>: Methodically applying generative AI in testing. AiU GenAI-</p><p><strong>Assisted Test Engineer: </strong>Using GenAI in a highly practical way in daily testing work.</p><p><strong>CT-AI v2.0: </strong>Professionally testing AI-based systems. And because AI doesn’t stop at the QA boundary, building expertise involves more than just testing. Product, requirements engineering, architecture, development, security, DevOps, and leadership must also understand the changes brought about by AI. Continuing education is particularly effective when it is linked to actual work: learning new knowledge, applying it in pilot projects, reflecting on experiences, and using them to develop new collaborative ways of working. This is how training, consulting, and organizational development come together.</p><p><a href="https://trendig.com/en/training/artificial-intelligence/">AI training at trendig</a></p><h3><strong>Conclusion: </strong>AI is transforming testing — and the way we develop software</h3><p>By 2026, the question will no longer be whether someone has ever had ChatGPT write a test case. AI can analyze requirements, generate test ideas, create test data, write code, investigate bugs, and handle entire task chains as an agent. At the same time, new test objects, new risks, and new quality issues are emerging. We must therefore learn two things: <strong>how to test with AI — and how to test AI. </strong>Companies must also tackle a third challenge: <strong>integrating AI into their workflows in a way that ensures people, processes, and technology work together seamlessly.</strong> This requires more than just tools. It requires testing and engineering expertise, clear quality criteria, appropriate technical guidelines, transparent responsibilities, and teams that can learn together. That’s exactly why, at trendig, we combine <strong>consulting, coaching, and training</strong> throughout the entire software lifecycle. We help identify meaningful use cases, incorporate quality from the very beginning, test new ways of working in a controlled manner, and empower people so they can continue to develop these approaches on their own. Because in the end, what matters isn’t how much AI is involved in your development process. What matters is whether it<strong> results in better software.</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=46afb7d05f9d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[LLM Testing: What changes when part of your system is non-deterministic]]></title>
            <link>https://trendig.medium.com/llm-testing-what-changes-when-part-of-your-system-is-non-deterministic-831735c6b930?source=rss-84a419162d51------2</link>
            <guid isPermaLink="false">https://medium.com/p/831735c6b930</guid>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[llm-applications]]></category>
            <dc:creator><![CDATA[trendig]]></dc:creator>
            <pubDate>Wed, 02 Sep 2026 07:52:22 GMT</pubDate>
            <atom:updated>2026-09-02T07:52:22.795Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cFykI9Jy_z-R52h-v47QEw.png" /></figure><p>Non-determinism became the word of the year the moment GenAI went mainstream. It is in the vendor decks, the conference abstracts and the job adverts. I have used it on a slide myself, which is how I know it was doing no work there.</p><p>I chose to say <strong>Non-Deterministic</strong> in the title because it is the word you would have typed.</p><p>Now I would like to take it back off you.</p><p>It is the least precise of four words you could have reached for, and <strong>the one you pick quietly decides which tests you are allowed to write</strong>. Choosing this one usually costs you the good ones.</p><h3>The four words you could have used</h3><p>Here are four alternative words you could have used in plain language.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lsW96BpJAz6gSovdMa5_cw.png" /></figure><p>One honest note before that table gets used against me. Probabilistic and stochastic are used almost interchangeably by people who know exactly what they are doing, and I am not going to invent a crisp boundary the field does not hold. The usable difference is what each word points at. Think of a die. The six faces and their one-in-six chances are the <em>probabilistic</em> part, because that describes what comes out. The throwing is the <em>stochastic </em>part, because something is being tossed. <strong>One die, two things to talk about.</strong> That is about as far as the distinction goes, and anyone offering you a sharper line is selling something.</p><p>What matters more is how the four sit together. Deterministic and non-deterministic are the real divide: either the same input gives the same output, or it does not. Probabilistic and stochastic describe the variation rather than sorting systems into a third and fourth pile. They overlap each other, and either can sit on the deterministic side as well as the non-deterministic one. A random number generator with a fixed seed picks at random and returns the same sequence every run: stochastic and deterministic at once. Which word fits says something about your own information rather than about the system, and that is why two engineers can look at the same feature and honestly disagree.</p><p>Take the diagram below as a simplification rather than a taxonomy. A system can be non-deterministic and neither probabilistic nor stochastic, which is why the left side is larger than the shapes sitting in it. And the two shapes overlap on purpose: something can draw at random without your being able to state the odds, and you can state odds about something that never draws. It is a good way to see how the words connect. It is a poor way to settle an argument about where one of them ends.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3w6cdpREX5oURMyFYA6_AQ.jpeg" /></figure><p><em>Deterministic</em> is the far side: the same input, the same output, nothing left to describe. <em>Probabilistic</em> means you can put numbers on what comes out. <em>Stochastic</em> means you can see the thing doing the picking, and a thing you can see is a thing you can hold still. <em>Non-deterministic</em> is where you start: variation, and nothing further. Not knowing how something varies also means not knowing what kinds of variation are possible, so this is where the unknown unknowns live.</p><p>Knowing more narrows what the output could be, which is what the arrow is measuring. Each step right leaves less of the variation unexplained. At the far end there is none left to explain.</p><p>That makes <em>non-deterministic</em> <strong>a confession of ignorance</strong>. Sometimes an honest one. Often a lazy one, because the structure was sitting right there and nobody went to look.</p><h3>You have met all of these before</h3><p>In the light of the above explanation, if you put the vocabulary aside, these concepts should not sound new. A test that fails when the clock rolls past midnight, or on a machine with a different locale, was never non-deterministic. The clock and the locale are inputs, and you were not counting them. Same input, same output, once you admit what the inputs were, and that is most of what gets filed under flakiness.</p><p>Then there is variation that does come from outside you. Thread scheduling. Which instance behind the load balancer answered. Garbage collection. Message ordering across a network. A database choosing a different query plan as its statistics move. <strong>You cannot describe those from where you stand, and looking harder will not help.</strong></p><p>Until recently you could go a whole career without choosing between those words. The systems you tested were meant to give the same answer twice, so variation was a defect, usually in your own harness, and the job was to remove it. Sampling, distributions and seeds belonged to the people building the model, not to the people testing the product it went into.</p><p>A GenAI feature moves that boundary. Its variation is <strong>deliberate and permanent,</strong> and you cannot engineer it away, because the customer is paying for it. So <strong>the vocabulary stops being pedantry and starts deciding your test strategy</strong>. The four words describe four different places inside a language model, and if you do not know which place your problem is sitting in, you will reach for a control that was never attached to it.</p><h3>Which one is relevant to an LLM?</h3><p>All four, at different points in the pipeline. The phrase “the model is non-deterministic” collapses them into one, and I confess, I am guilty of this way of phrasing in the past.</p><p>Four things happen between your prompt and the word you see.</p><p>The <strong>forward pass</strong> turns the prompt into logits, one raw score for every token in the vocabulary. Nothing random happens here. Given identical weights, identical input and identical arithmetic, you get identical scores.</p><p><strong>Temperature</strong> reshapes those scores into a probability distribution. The scores are divided by the temperature and then normalised, so a low value sharpens the peaks and a high value flattens the field. Temperature is a control on the distribution. It is not a randomness dial, and most of the confusion in this area starts by assuming that it is.</p><p><strong>Top-k and top-p</strong> then decide which candidates remain eligible. Top-k keeps a fixed number of the highest scorers. Top-p keeps the smallest group whose probabilities add up to p, so the number of survivors changes at every step. Still nothing random.</p><p>The <strong>draw</strong> picks one token from whatever survived. <strong>This is the only randomness in the pipeline</strong>, and the seed is the only thing that governs it. Fix the seed and you fix the path the sampler walks through the distribution it is handed. <strong>Hold on to that last clause.</strong> It carries more weight than the rest of the sentence.</p><p>So turn the temperature down to zero and the distribution collapses onto a single token. <strong>Temperature does not delete the draw. It starves it.</strong> The draw is still there, holding one candidate, with nothing left to decide.</p><p>Strictly, nobody divides by zero. Some stacks short-circuit and take the top-scoring token directly. Others clamp the temperature to something very small and carry on sampling, which is not quite the same thing, because two tokens scoring almost identically can still come out differently from one run to the next. Either way you have pushed the sampler as far down as the request lets you push it.</p><p>That leaves a prediction anyone can check. With the draw starved, and no other stage in the pipeline making a choice, the same prompt at temperature zero should come back with the same answer every time. <strong>It does not, and the gap is not small.</strong></p><h3>Let’s settle the concepts with an analogy</h3><p>Put all of that on a bookshop website, because the counter is easier to see than the pipeline.</p><p>You type an ISBN into the search box and one book comes back. It comes back tomorrow too. <em>Deterministic</em>.</p><p>You type “books about testing” twice and get two different pages, with nothing on the site telling you why. An experiment might be running. The index might have rebuilt overnight. You cannot say, and that inability is the whole content of the word <em>non-deterministic</em>. It describes where you are standing, not how the shop works.</p><p>Now suppose the site admits it shuffles between results of equal rank, and that the shuffle has a setting. You have found the step that does the picking, which is what <em>stochastic</em> means. And if it prints a relevance score beside every result, you can say how likely each one is to be the book you meant. That last one is <em>probabilistic</em>, and it is the only version where you can write a useful assertion without running the search a hundred times.</p><p>The four settings sit on the same counter.</p><p>Temperature is how heavily the shop favours its top match. Turn it down and the best result towers over everything below it. Turn it up and the also-rans crowd in. Either way it is changing the scores on the page rather than choosing anything.</p><p>Top-k is an instruction never to show more than ten results. Top-p is an instruction to show however many results it takes to cover ninety per cent of the relevance, so the number changes with the query. Both decide what stays on the page.</p><p>The seed decides which of the shortlisted books lands in your basket. Of the four, it <strong>is the only one that touches the choosing</strong>, which is why it is the only one a fixed value can pin down.</p><p>Now the places it gives out, because an analogy you cannot see the end of is worse than no analogy.</p><p>A bookshop ranks once per search. A model ranks once per word, and the word it picks rewrites the shortlist for the next one, so there is not one search here but a few hundred, each conditioned on the last. The shop also shows you the whole page; a model hands you one result and discards the rest unless you specifically ask to see them.</p><p>And the last gap is the one this article is about. <strong>Nothing in a bookshop changes your ranking because somebody else is searching at the same moment. </strong>Inside a model on shared hardware, other people’s requests are in the room with yours. No version of the shop will carry that, which is why I stopped explaining and went to measure it.</p><h3>How far can you get?</h3><p>Determinism is a journey, and the direction is knowledge and control. Every step you take is something you learned about the variation and something you can now hold still. <em>Probabilistic</em> and <em>stochastic</em> are names for how far you got.</p><p>So I measured how far the settings would take me. I sent one prompt to <strong>gpt-4.1-mini</strong>, pinned to a single snapshot, a hundred times at temperature zero with the seed fixed at 42. <strong>Thirty of the hundred replies came back different from one another.</strong></p><p>Nothing in the four stages accounts for that. The draw is the only one of them that was ever random, and at temperature zero it is down to a single candidate with nothing left for the seed to govern.</p><p>Where the rest of it comes from, how far down the settings can push it, and what happens when you turn every knob the API gives you, is the next article: <em>I Tried to Make a Language Model Repeat Itself.</em> That is the one with the charts in it.</p><p>What this one was for is the vocabulary. Before you call your feature non-deterministic, the question worth asking is whether that word is describing the feature or describing what you have not looked at yet.</p><h3>How this was researched and written</h3><p>I write with models, and it would be a strange article that argued for precision about evidence and then went vague about its own.</p><p>Claude (Opus 5) helped me draft this article against a position I wrote first, which set out what the piece argues, what it refuses, and what it will not claim. Claude ran the experiment and drew the charts. Seven other models then read the finished article and were asked one question: <strong>what is wrong with it</strong>. Not how to improve it, and not a word of their prose was used.</p><p>They found things. One noticed I was explaining the seed in a way my own measurements contradicted. Another noticed I had presented a borrowed explanation as though I had measured it. A third noticed a rounded figure that looked like it summed to more than one. Those corrections are in what you have just read, and the article is more careful for them.</p><p>That is the part I would keep if I kept nothing else. <strong>The useful work was criticism, not generation.</strong></p><p>An LLM is a complex piece of technology. I, like most of us, am trying to form the intuitions and mental models that make sense of its complexity. Writing this article in collaboration with these models, working with me day and night, helped a lot with that. Some bits I can see more clearly now, and I got past a few of my own blind spots. I am a student of testing and of intelligence, and I feel I have taken some more steps in the right direction of learning.</p><blockquote><em>The positions here are mine, and so is anything still wrong with them.</em></blockquote><p><em>With thanks to Claude, and to GPT-5.6 Luna, Gemini 3.1 Pro, Grok 4.5, DeepSeek V4 Pro, GLM-5.2, Kimi K3 and Qwen3.7 Max, who between them made this harder to publish and better to read.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=831735c6b930" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Smarter Testing for Smarter Systems — A 2025 Guide for Testers Who Want Their AI to Behave]]></title>
            <link>https://trendig.medium.com/smarter-testing-for-smarter-systems-a-2025-guide-for-testers-who-want-their-ai-to-behave-4dccd8eff221?source=rss-84a419162d51------2</link>
            <guid isPermaLink="false">https://medium.com/p/4dccd8eff221</guid>
            <dc:creator><![CDATA[trendig]]></dc:creator>
            <pubDate>Wed, 02 Jul 2025 09:25:19 GMT</pubDate>
            <atom:updated>2025-07-02T09:25:19.439Z</atom:updated>
            <content:encoded><![CDATA[<h3><strong>Smarter Testing for Smarter Systems — A 2025 Guide for Testers Who Want Their AI to Behave</strong></h3><p>AI isn’t some futuristic magic box anymore. It’s here, and it’s making real decisions. About loans. About diagnoses. About driving. When it messes up, the price isn’t just a bug report. It’s lost trust, money, or worse.</p><p>Which means: <strong><em>if it breaks, it matters</em></strong>. Testing can’t be an afterthought. How do we test systems that learn, adapt, and — sometimes — confidently hallucinate?</p><p>Not with old-school checklists. We need new habits. Here’s a 10-habit field guide to help your AI behave in the real world — not just in the lab.</p><p><strong>Ten Habits for Taming Smart Systems</strong></p><p>Here’s a quick cheat sheet of what to do, why it helps, and how to get started.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/637/1*Ymfw6XIeO8WXhyxetAxE5Q.png" /></figure><p><strong>Why Testing AI Is Different</strong></p><p>Testing normal code is like checking a recipe. Testing AI is like checking a chef who <em>learned</em> the recipe from watching Instagram. You already know how that goes. Sure, it may get great reviews at first, but throw in a new ingredient, and suddenly it forgets how to boil water. Pure meme material.</p><p>AI’s unpredictable. It can get things right in training but mess up when new data comes in. That’s why you need to test:</p><ul><li>The data itself: Is it balanced? Biased? Ridiculous?</li><li>How stable the system is: Does it still work next month?</li><li>The logic: Can you explain why it did that?</li></ul><h3>Testing at Each Project Stage</h3><p>Think of it like a road trip. Here’s where to check the engine:</p><p><strong>1. <em>Define the Destination and Potholes</em></strong><em>. </em>Write down what success looks like. Also: what can go wrong?</p><p><strong>2. <em>Check Your Fuel (Data)</em></strong><em>.</em> Is it clean? Representative? Or just five sunny-day driving clips?</p><p><strong>3. <em>Clean Before You Drive</em></strong><em>.</em> Sanitize the inputs. Version the data. Lock in reproducibility.</p><p><strong>4. <em>Drive Like a Maniac (on purpose)</em></strong><em>.</em> Feed in garbage. Watch it fail — better now than in production.</p><p><strong>5. <em>Think Like a Hacker</em></strong><em>.</em> Can someone fool it? Leak data? Break logic? Find out.</p><p><strong>6. <em>Make It Explainable</em></strong><em>.</em> If it says “no,” you should be able to say <em>why</em>.</p><p><strong>7. <em>Set Roles</em></strong><em>.</em> Who’s driving, who’s patching the tire, and who’s taking the call when it all goes flat?</p><p><strong>8. <em>Release Gradually</em></strong><em>.</em> Start small. Monitor. Be ready to hit the brakes.</p><p><strong>9. <em>Re-Test When the Road Changes</em></strong><em>.</em> If the road changes, so should your tests. New users or data? Re-test like it’s day one.</p><p><strong>10. <em>Learn From Each Trip</em></strong><em>.</em> Hold review retros. What worked? What broke? Iterate.</p><p><strong>⚠️ What Might Trip You Up</strong></p><p>Even with good habits, beware of:</p><p>· 🧱 <strong>Opaque logic</strong>: The “Why did it do that?” shrug</p><p>· 🐢 <strong>Slow test cycles</strong>: Some models take hours to train</p><p>· 📜 <strong>Laws changing weekly</strong>: Stay alert</p><p>· 🎭 <strong>Creative attackers</strong>: Prompt injection is the new SQLi. One cleverly crafted input — and your model’s hallucinating confessions.</p><p>· 🔒 <strong>Privacy constraints</strong>: Limited real-world test data</p><p>Tip: Use synthetic (but realistic) data. Use smaller models when possible. Automate alerting.</p><p><strong>Simple Setup for Live Monitoring</strong></p><p>Treat your AI like a critical system, not a one-time deploy:</p><ol><li><strong>Log everything</strong>: Inputs, outputs, confidence scores.</li><li><strong>Check for changes</strong>: Compare current behavior to past (did it drift?).</li><li><strong>Set alerts</strong>: Get pinged when things go sideways.</li><li><strong>Kick off re-tests</strong>: Kick off tests automatically when drift is detected.</li><li><strong>Human-in-the-Loop:</strong> There is a reason we call it <strong><em>artificial</em></strong> intelligence. Escalate uncertain cases for human review. It sounds like common sense, but you’ll still have to really fight for it — thanks to the blind faith in AI’s magic.</li></ol><h3>Quick Q&amp;A</h3><p><strong>Q: How often should I refresh test data?</strong><br> <strong>A:</strong> At least quarterly — or sooner if your model starts behaving oddly.</p><p><strong>Q: Is fake data legit?</strong><br> <strong>A:</strong> Yes — if crafted carefully. It helps with rare edge cases and avoids privacy headaches.</p><p><strong>Q: Can AI explain itself?</strong><br> <strong>A:</strong> Sort of. Use explainability tools (like SHAP or LIME) to see what influenced a prediction.</p><p><strong>Some Parting Words</strong></p><p>If you build smart systems, test them smart too. The job doesn’t end when the model launches — it evolves as users, data, and the world around it changes.</p><p>With these habits, you’re not just covering edge cases — you’re building AI that behaves, adapts, and earns trust.</p><p>And remember: the goal isn’t to make AI <strong><em>look</em></strong> smart. It’s to make it <strong><em>work</em></strong> — for everyone.</p><p>There is more to read from Rahul in trendig‘s blog: <a href="https://trendig.com/en/blog/author/rahul-verma/">https://trendig.com/en/blog/author/rahul-verma/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4dccd8eff221" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[A Practical Playbook for Testing GenAI-Enabled Applications]]></title>
            <link>https://trendig.medium.com/a-practical-playbook-for-testing-genai-enabled-applications-5628d71d73bc?source=rss-84a419162d51------2</link>
            <guid isPermaLink="false">https://medium.com/p/5628d71d73bc</guid>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[application-security]]></category>
            <category><![CDATA[genai]]></category>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[testing]]></category>
            <dc:creator><![CDATA[trendig]]></dc:creator>
            <pubDate>Mon, 19 May 2025 07:52:50 GMT</pubDate>
            <atom:updated>2025-05-19T07:52:50.564Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>How to keep your product smart, safe, and ready for real users</strong></p><h3>Picture This</h3><p>You’ve built a smart assistant. It writes emails, answers questions, summarizes documents, maybe even tells jokes when the boss isn’t looking.</p><p>Then a customer asks something off-script. The assistant makes up a confident lie, leaks a name it shouldn’t know, or parrots some nonsense it read on the internet six months ago.</p><p>That’s not a feature. That’s a lawsuit waiting to happen.</p><p>When your product runs on generative AI, testing isn’t optional — it’s your early warning system. It catches hallucinations, bias, toxicity, and every strange edge case users will throw at you the day after launch.</p><p>This playbook isn’t for research labs. It’s for teams shipping real software to real people — with LLMs and GenAI stitched into the core.</p><h3>1. Habits of a GenAI App That Won’t Backfire</h3><p>If your product talks, writes, answers, or recommends — testing needs to be part of the build, not the clean-up crew.</p><p>Here’s what helps:</p><p>● <strong>Define success early.</strong> What counts as “good enough” output? What’s unacceptable? Get agreement before the first prompt is written.</p><p>● <strong>Test with actual user inputs.</strong> Don’t polish your test prompts. Use the weird, messy stuff people type when they’re tired, rushed, or angry.</p><p>● <strong>Check how it breaks.</strong> Feed it leading questions, contradictory instructions, and bad data. If it hallucinates or leaks info, you want to know before customers do.</p><p>● <strong>Watch how it changes over time.</strong> GenAI systems degrade silently. Monitor for drift, weird tone shifts, or declining response quality.</p><p>● <strong>Audit for bias.</strong> If your assistant treats one kind of user differently, that’s your problem to fix.</p><p>● <strong>Make outputs explainable.</strong> If the answer’s wrong, someone should be able to trace back <em>why</em> — even if it’s not always crystal clear.</p><p>● <strong>Run tests in short loops.</strong> Hook testing into your dev process so every new prompt or feature gets checked on the way in.</p><p>● <strong>Monitor around the clock.</strong> If your assistant starts saying strange things at 2 a.m., someone needs to know.</p><p>● <strong>Version prompts and outputs.</strong> Save everything. You’ll want a trail when something goes sideways.</p><p>● <strong>Run quarterly chaos drills.</strong> Let your engineers — or an external red team — try to make the system misbehave. Fix what they find.</p><p>If it feels like overkill, remember: users don’t care that it’s “just the model talking.” They’ll hold your product responsible.</p><h3>2. From Prototype to Live Product (Without Regret)</h3><p>Start by mapping out what your GenAI feature will actually do — and what kind of mess it could make if things go wrong.</p><p>A helpdesk bot that’s too polite to admit it doesn’t know? Bad.<br> A chatbot that makes legal guesses and gets them wrong? Worse.<br> A smart writing tool that leaks private info? Catastrophic.</p><p>Talk through the risks before you build. Then move to data.</p><p>Use real examples — user questions, documents, chat logs (safely anonymized, of course). Don’t just train and test on cleaned-up demo content. The real world is messier than anything your test team can invent.</p><p>While building, save every version of your prompts and outputs. What worked yesterday might break tomorrow after a library update. And don’t forget adversarial testing — users will poke, provoke, and mislead your app whether you like it or not.</p><p>When you’re close to launch, push a quiet canary release. Let the assistant handle a limited slice of real requests. Keep logs. Set up alerts. Watch what it does when it’s not supervised.</p><p>If your product falls under new “high-risk” categories in the EU AI Act (like employment tools, educational grading, legal summaries, or anything health-related), you’ll need formal testing and documentation before going live. The paperwork isn’t exciting, but skipping it is worse.</p><h3>3. Real-World Problems Are Closer Than You Think</h3><p>Even when your GenAI system works in testing, it can drift off course in production — slowly, then all at once.</p><p>Prompts that were once reliable start producing weird tangents. Answers grow overconfident. Tone shifts from helpful to smug. These aren’t bugs in the traditional sense — they’re signs the system is reacting to subtle changes in data, user behavior, or even model weights from upstream providers.</p><p>Also: regulations are tightening. The EU AI Act is real, and it will affect anyone offering GenAI to the public. ISO 42001 and NIST’s AI Risk Framework aren’t just checklists — they’re fast becoming the standards your partners and regulators expect. Your legal team already knows this.</p><p>Let’s not forget privacy. If your assistant is summarizing internal docs or customer tickets, you’re likely handling sensitive data. Logging without safeguards isn’t just risky — it’s illegal in some places.</p><p>And then there’s the carbon question. Governments are starting to ask what environmental cost your AI services carry. If your GenAI backend runs multi-billion parameter models 24/7, someone’s going to ask for the footprint.</p><h3>4. Good Tools and Smarter Systems (Use What’s Out There)</h3><p>You don’t need to roll your own safety framework. You just need to use what’s already available — and apply it consistently.</p><p>Use smaller models or API-efficient modes for most user-facing tasks. If you don’t need the biggest model for the job, don’t use it. It saves money, speeds up feedback loops, and limits risk.</p><p>Synthetic data can help fill gaps for edge cases or sensitive scenarios. Just don’t replace real data entirely — your users are always weirder than your generators.</p><p>Use modern observability tools — like Weights &amp; Biases, Evidently, LangSmith — to track response quality, drift, prompt performance, and error spikes. Most let you flag bad outputs, collect user feedback, and tie it back to the prompt or feature that caused it.</p><p>If you’ve gone through ISO or NIST-aligned audits, say so. It makes a difference when someone asks, “Can we trust this system?”</p><h3>5. Close the Loop Before It Closes on You</h3><p>Once your GenAI feature is live, your monitoring loop needs to run 24/7. Here’s what that looks like:</p><p>● Log inputs, outputs, and user feedback — safely, with privacy in mind.</p><p>● Use drift detectors to track when the model starts producing odd results.</p><p>● Alert the right team when something changes significantly — not every minor glitch, but real shifts in tone, quality, or accuracy.</p><p>● Route flagged cases — like hallucinations or high-stakes summaries — to human reviewers.</p><p>● Automate retraining or prompt updates based on clear, tracked patterns, not gut feelings.</p><p>● Keep data hashed and access restricted. One leak is all it takes to lose trust.</p><p>When your loop is tight, you don’t just respond to issues — you anticipate them. Your product keeps improving. Your users notice.</p><h3>6. The Takeaway</h3><p>Generative AI doesn’t come with guardrails. That’s your job.</p><p>If you build products that talk, write, or recommend on behalf of your company, then testing and monitoring are what keep the experience great — and keep the damage contained when something goes wrong.</p><p>This isn’t about perfection. It’s about responsibility. If you treat testing like part of the creative process — not just a compliance box — you’ll ship something users love, legal respects, and your team can actually manage.</p><p>And that’s what building with GenAI in 2025 should feel like: exciting, but never out of control.</p><p>this was first published at <a href="https://trendig.com/en/blog/">trendig.com/</a> In case you are interested in this topic, there is more to read and learn there.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5628d71d73bc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Increased security requirements across the EU financial sector]]></title>
            <link>https://trendig.medium.com/increased-security-requirements-across-the-eu-financial-sector-35f289692a80?source=rss-84a419162d51------2</link>
            <guid isPermaLink="false">https://medium.com/p/35f289692a80</guid>
            <category><![CDATA[finance]]></category>
            <category><![CDATA[software-testing]]></category>
            <category><![CDATA[dora]]></category>
            <category><![CDATA[security-systems]]></category>
            <category><![CDATA[software-development]]></category>
            <dc:creator><![CDATA[trendig]]></dc:creator>
            <pubDate>Thu, 13 Mar 2025 15:09:31 GMT</pubDate>
            <atom:updated>2025-03-13T15:09:31.540Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aFCORzee2voqEp3WIPirTw.jpeg" /></figure><p>Due to an increasingly unstable political situation in a rapidly evolving digital world, the European Commission has created the DORA Regulation (<a href="https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32022R2554">Digital Operational Resilience Act</a>), a uniform framework to ensure effective and comprehensive management of cyber security and information and communication technology (ICT) risks for companies in the financial sector.</p><p>The EU writes: “In the digital age, information and communication technology (ICT) supports complex systems used for everyday activities. It keeps our economies running in key sectors, including the financial sector, and enhances the functioning of the internal market. Increased digitalisation and interconnectedness also amplify ICT risk, making society as a whole, and the financial system in particular, more vulnerable to cyber threats or ICT disruptions. While the ubiquitous use of ICT systems and high digitalisation and connectivity are today core features of the activities of Union financial entities, their digital resilience has yet to be better addressed and integrated into their broader operational frameworks.</p><p>The use of ICT has in the past decades gained a pivotal role in the provision of financial services, to the point where it has now acquired a critical importance in the operation of typical daily functions of all financial entities. Digitalisation now covers, for instance, payments, which have increasingly moved from cash and paper-based methods to the use of digital solutions, as well as securities clearing and settlement, electronic and algorithmic trading, lending and funding operations, peer-to-peer finance, credit rating, claim management and back-office operations. The insurance sector has also been transformed by the use of ICT, from the emergence of insurance intermediaries offering their services online operating with InsurTech, to digital insurance underwriting. Finance has not only become largely digital throughout the whole sector, but digitalisation has also deepened interconnections and dependencies within the financial sector and with third-party infrastructure and service providers.”</p><p>After companies have gone through a two-year implementation phase by January 16, 2025 to determine their level of maturity with regard to DORA and proactively protect themselves against possible attacks and failures, they now face the mammoth task of ensuring permanent compliance with DORA even under changing framework conditions and internal structures. In particular, DORA’s strong focus on third-party risk management, i.e. the strict monitoring of all service providers and their robustness, presents financial companies with major challenges: This is because it is easier for ICT third-party providers to escape the company’s focus than their close interaction and dependency with the financial company would suggest.</p><h3><strong>DORA implemented = well protected against attacks?</strong></h3><p>With the implementation of DORA, most financial companies believe they are well positioned to protect themselves and their business processes in the event of a cyberattack. However, this assumption is too short-sighted, as it ignores the management of future changes, which must ensure operational resilience in the long term.</p><h3><strong>Managing change with DORA</strong></h3><p>At the time of the DORA as-is survey, some very large projects were being set up in the financial companies in order to take a closer look at existing and potential future risks. As a result, measures were derived and described with which these risks can be avoided, mitigated, transferred or spread.</p><p>The DORA Regulation specifies in particular detail how companies must protect themselves against service provider failures. This was prompted by a series of cyberattacks in the form of data encryption attacks (ransomware), which led to considerable economic damage, as many service providers are dependent on the same central infrastructure.</p><p>These processes are generally well established for new acquisitions. In particular, outsourcing management plays a key role. However, it is worth taking a closer look at the change processes, especially when companies use cloud services such as SaaS (Software as a Service), IaaS (Infrastructure as a Service) or PaaS (Platform as a Service). The key question is then: how do companies recognize changes in these services that could entail risks early enough? After all, these services are not directly within their sphere of control and changes are not automatically noticed and therefore not assessed in terms of the hidden risks.</p><p>In this context, DORA demands strict testing of every change before it goes live. Companies must ensure that risk changes are identified and evaluated at an early stage.</p><p>If the scope of services used changes over time, new risks may arise. These must be identified before a service continues to be used or is used again. However, complete identification of all relevant changes is often more complex than it seems at first glance.</p><h4>Examples:</h4><ul><li>When a department uses or changes software independently without the IT department being involved.</li><li>If a service provider merges or replaces subcontractors, existing emergency plans no longer work as planned.</li><li>If a change creates new threats to IT security that require an immediate risk reassessment.</li></ul><p>It is therefore essential that all organizational units work closely with risk management. Quarterly reporting is no longer up to date — instead, risk management must be directly linked to change management in order to be able to react continuously to new risks. In the following, we explain some everyday scenarios whose implications for risk management only become apparent on closer inspection.</p><h3><strong>DORA change management: business and control</strong></h3><p>An HR application from a service provider (third-party service provider Third Party Risk) is initially introduced for purposes that are owed to a normal administrative act and can be classified as justifiably outsourceable in terms of confidentiality, availability and integrity risk — for example, employee time tracking. At this point, the risk analysis is typically carried out for those parts of the application that are intended to be used at that time.</p><p>However, the application has a much stronger tool potential and allows a lot in terms of use, so that the processes carried out in daily use are constantly being expanded. For example, employee meetings are now also to be logged. This data is generally classified as strictly confidential because sensitive or critical content could be recorded. From a risk management perspective, a “change request” is required even though no technical changes are made. And this is before the application is put into extended productive use.</p><p>This one example clearly illustrates the need for close cooperation between different organizational units with regard to risk management: Compliance has defined processes that make such risks visible, e.g. service management in accordance with ITIL. In this process framework, the specialist department (Fachbereich) reports the desired change in use, according to which data protection can reclassify confidentiality and risk management can request additional measures to protect the data from the service provider. Governance checks the economic efficiency, Legal checks contractual rights, Purchasing adjusts the contracts and changes, if necessary, the monitoring measures for the service provider. Due to the increased risk, additional tests are introduced in the specialist department (Fachbereich) and IT.</p><blockquote>You need tried-and-tested processes to manage and control risks efficiently. <a href="https://trendig.com/training/schulung/ireb-certified-professional-for-requirements-engineering/"><strong>Secure your place on a training course </strong>on sustainable </a><a href="https://trendig.com/en/training/course/ireb-certified-professional-for-requirements-engineering/"><strong>requirements management in the specialist area!</strong></a></blockquote><h4><strong>DORA change management: IT and risk management</strong></h4><p>An external data center that manages the data of a financial company is thoroughly checked during the purchasing process and contracted with the conviction that it is secure. The checks are carried out regularly. However, every financial company must be aware that such data centers are repeatedly and often the focus of attacks, as the damage is multiplied by the number of users of such a service. It is therefore essential from the point of view of emergency preparedness to be able to switch from one service provider to another if a service provider gets into difficulties.</p><p>Let’s take as an example the contingency plan that in the event that the data of the data center operator were encrypted, the data could be displayed at another data center operator. Until the problem is resolved! This can sometimes take several weeks, as the attackers usually encrypt in such a way that importing a data backup also means importing the encryption. Fixing such a problem often takes so long because the actual information first has to be separated from the malicious information, as this has been hidden by the attackers and the search is always not easy.</p><p>Another good example is that of a sick customer from the insurance industry who has applied for an operation at this very moment and is waiting for approval of the costs. In the case of an urgent operation, he cannot wait long for this approval. However, the insurance company cannot make a blind cost commitment either. And the customer cannot or does not want to pay for the operation out of their own pocket. An operation can easily cost 15,000 euros or much more. What is the fate behind this financial decision?</p><p>A financial institution likes to prevent this by securing the data with a suitable stand so that this data can be processed on an interim basis by the same or better another service provider whose infrastructure was immune to this encryption.</p><blockquote>Tried-and-tested methods are needed to ensure that service provider processes remain resilient. <a href="https://trendig.com/en/training/course/methodenworkshop-testing-fachbereiche/">Book your training as a tester in the specialist area!</a></blockquote><h4><strong>DORA change management: legal and compliance in the portfolio</strong></h4><p>By the deadline of January 17, 2025, most institutions have had their DORA project completed and meet the legal requirements. However, there are many uncertainties as to whether they will continue to do so in a year’s time and beyond. How will the company develop? And will they continue to do so in a year’s time and beyond? Which impact will any changes have on DORA compliance? Legal and Compliance must be able to assess the context of changes and their impact on DORA. To this end, they now work more closely with the specialist departments than ever before. A department cannot think in silos; many changes take place across departments. This is why it is now sensible and essential to have established reporting and decision-making channels in service processes (law, review, decision). To avoid getting lost in too much work, it is possible to use automatic checks. This allows all parties involved to concentrate fully on checking the real implications from a legal or compliance and governance perspective. Changes based on legal assessments belong in a portfolio and therefore compete with other projects. These resources must be kept free, as legal issues have top priority in most companies. Incidentally, this should also be implemented outside of DORA, as it applies in principle to all possible laws and regulations.</p><blockquote>With our experience in automation and portfolio management, we help to automate risk processes. <a href="https://trendig.com/en/technology-engineering/">Find out more about our consulting services here!</a></blockquote><h4><strong>DORA change management: Efficient management of risks</strong></h4><p>Risk management plays the main role in DORA. It is expected that there are clear processes in place to manage every relevant risk against digital resilience in risk management. In other words, from an everyday professional perspective: You can no longer get away with a reporting system based on Excel. From this starting point, it at first sounds like a lot of work. However, much of it can be automated, such as the evaluation of existing knowledge in the systems. For example, risk management can use automated reports to discover a server that (inadvertently) not has received any security updates. Automation also increases reporting quality and speed. An insecure server is usually not only a danger to itself, but also to the surrounding systems. This seemingly small risk could bring entire process chains to a standstill. This is why DORA is often started with a review of all process documentation, which plays a major role in assessing a risk.</p><p>But DORA also saves money, not just costs it. For example, it is much more economical to counteract damage associated with a risk than to wait until a risk occurs. Repairing the damage often costs ten or a hundred times as much. So even if the probability of occurrence is low but the damage is very high, the relatively inexpensive measures for risk avoidance, risk reduction or risk mitigation are worthwhile.</p><p>Risks can be reduced also with the motto “Always test before going live”, the effect of which is often underestimated. This topic is primarily aimed at identifying risks earlier, i.e. before they become productive.</p><p>DORA is committed to putting information and communication technology through its paces with a risk-based, proportional testing program. <br> In addition, all financial companies are audited again by a higher-level body, with the main purpose of helping to identify risks and thus ensure the resilience of financial companies throughout Europe. But what is being tested is the added value that companies are now creating: Digital resilience.</p><blockquote>With our testing and automation experience, we save time and bring speed to quality monitoring, up to real-time, and help to demonstrate efficient control. <a href="/service/mailto:%20engineering@trendig.com">Get in touch with our consultants!</a></blockquote><h4><strong>DORA change management: control as a supervisory board or management board</strong></h4><p>As the Supervisory Board (Aufsichtsrat) and Management Board (Vorstand) play a central role in the governance and monitoring of DORA compliance, structured risk management is crucial. Efficient implementation requires automation, targeted portfolio management and clear monitoring mechanisms to ensure that processes remain resilient and governance is proven to work without being overly burdensome.</p><p>The introduction of DORA was an important milestone, but the real challenge lies in the continuous monitoring of daily operations and, in particular, daily change management. How can the Supervisory Board ensure that risks are identified and addressed in real time?</p><p>Examples of typical control issues of a supervisory board or management board:</p><ul><li>How is it ensured that all changes in IT systems and third-party services are systematically recorded, evaluated and approved?</li><li>Are there automated monitoring mechanisms to detect new ICT risks in real time?</li><li>How is reporting to the Management Board or Supervisory Board carried out? <br> Are the indicators and KPIs for DORA risks prepared in a transparent and comprehensible manner?</li><li>Which processes come into play when a service provider changes or new regulatory requirements arise?</li></ul><p>These control issues show that DORA is not a one-off compliance project, but an ongoing management task that requires a clear allocation of responsibilities and stringent controls.</p><blockquote>We help you to control DORA with less manual effort. <a href="/service/mailto:%20engineering@trendig.com">Book an hour of board introduction with our DORA experts.</a></blockquote><h3><strong>When will I be finished with DORA?</strong></h3><p>At trendig, we have extensive experience in the design and optimization of the processes outlined above and can support German banks, insurance companies and financial service providers in ensuring that DORA compliance is not just formal evidence but is developed into an integral part of corporate management in order to achieve digital resilience.</p><p>In the following, we would like to briefly outline some of the main ideas that we at trendig believe should be an essential part of your DORA compliance efforts.</p><h4><strong>Resilient ITC systems to minimize risk</strong></h4><p>One of the key measures for reducing ICT risks is the establishment and maintenance of resilient ICT systems and tools. These must be designed in such a way that they minimize security vulnerabilities and are resistant to threats. Resilient IT infrastructures make a decisive contribution to ensuring operational stability and reducing the risk of failure.</p><h4><strong>Identification and classification of critical functions and processes</strong></h4><p>Effective risk management requires critical key functions and processes to be identified, classified and documented. Without a detailed record of these elements, targeted control and prioritization of security measures is not possible.</p><h4><strong>Continuous monitoring and reporting systems for ICT risks</strong></h4><p>Continuous monitoring of all sources of ICT risks is crucial in order to identify potential threats at an early stage and implement suitable protection and prevention measures. A reporting system for identified security vulnerabilities must be established for almost all services in order to enable a rapid response to new risks and minimize attack surfaces.</p><h4><strong>Automated and documented risk communication</strong></h4><p>Furthermore, cross-line, automated and recorded communication about changes to significant risks is essential. Relevant stakeholders in the fields of data protection, information security, risk management, IT, specialist departments, legal, purchasing and the Management Board must work closely together in order to assess risks at an early stage and coordinate appropriate measures.</p><h4><strong>Complete testing before changes go live</strong></h4><p>Before changes to software, hardware, infrastructure or services are put into productive operation, complete testing is essential. This applies not only to new implementations, but also to existing systems in order to minimize the risk of undetected vulnerabilities.</p><h4><strong>Real-time monitoring with immediate reporting capability</strong></h4><p>Comprehensive 24/7 monitoring is required to detect anomalous activities and ensure that IT security incidents are reported immediately. Effective incident response management can only be guaranteed if security problems are identified and escalated quickly.</p><h4><strong>Business continuity policies and contingency plans</strong></h4><p>The introduction and regular updating of business continuity guidelines as well as emergency and recovery plans is essential for operational security. Annual tests of these plans ensure that all necessary functions remain functional in the event of an emergency and that crisis scenarios can be managed efficiently.</p><h4><strong>Risk management for service provider dependencies</strong></h4><p>A critical point in risk management is recognizing the impact on emergency plans when framework conditions change. This is particularly relevant in the case of dependencies on service providers and sub-service providers, as contingency plans often depend on their stability. Companies must ensure that all partners involved also have robust contingency strategies in place.</p><h4><strong>Learning mechanisms from internal and external incidents</strong></h4><p>The continuous improvement of IT security requires the establishment of mechanisms for analyzing and evaluating external and internal ICT incidents. Companies must learn from past security incidents in order to continuously develop their protective measures and recognize future threats at an early stage.</p><blockquote>Would you like to talk to one of our consultants? Then <a href="/service/mailto:engineering@trendig.com">write to us at </a>engineering@trendig.com.</blockquote><h3>FAQs: <strong>Frequently asked questions about DORA</strong></h3><h4><strong>What is DORA?</strong></h4><p>DORA is something of <strong>a maturity model for the cyber security of financial companies</strong>. The acronym stands for Digital Operational Resilience Act and is an EU regulation <a href="https://eur-lex.europa.eu/eli/reg/2022/2554/oj">(EU 2022/2554) </a>for digital operational resilience across the European financial sector. The focus is particularly on cyber security, ICT risk management and governance.</p><h4><strong>For whom is DORA important?</strong></h4><p>DORA affects all institutions and companies operating in the European financial sector. The aim is to ensure that banks, investment firms, credit institutions and other payment service providers such as crowdfunding platforms are robust against IT failures, cyberattacks or other digital threats.</p><h4><strong>What are the penalties for non-compliance with DORA?</strong></h4><p>In Germany, the Federal Financial Supervisory Authority (Bundesanstalt für Finanzdienstleistungsaufsicht BaFin) is responsible for national supervision. In addition to enormous reputational damage, non-compliance with DORA can result in fines of up to 2% of global annual turnover or EUR 10 million, whichever is higher.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=35f289692a80" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Gestiegene Sicherheitsanforderungen im gesamten EU-Finanzsektor]]></title>
            <link>https://trendig.medium.com/gestiegene-sicherheitsanforderungen-im-gesamten-eu-finanzsektor-8b2ec21ccb29?source=rss-84a419162d51------2</link>
            <guid isPermaLink="false">https://medium.com/p/8b2ec21ccb29</guid>
            <category><![CDATA[softwaretest]]></category>
            <category><![CDATA[sicherheit]]></category>
            <category><![CDATA[finanz]]></category>
            <category><![CDATA[agile-softwareentwicklung]]></category>
            <category><![CDATA[dora]]></category>
            <dc:creator><![CDATA[trendig]]></dc:creator>
            <pubDate>Thu, 13 Mar 2025 14:59:47 GMT</pubDate>
            <atom:updated>2025-03-13T15:10:12.306Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*o2SginiaPBFVGfGZ63RWFg.jpeg" /></figure><p>Durch eine zunehmend instabile politische Lage in einer sich schnell weiterentwickelnden digitalen Welt hat die Europäische Kommission mit der DORA-Verordnung (<a href="https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32022R2554">Digital Operational Resilience Act</a>) ein einheitliches Framework geschaffen, mit dem ein effektives und umfassendes Management von Risiken im Bereich Cybersicherheit und Informations- und Kommunikationstechnologie (IKT) für Unternehmen der Finanzbranche gewährleistet sein soll.</p><p>Die EU schreibt dazu: „Die Nutzung von IKT hat in den letzten Jahrzehnten einen derart zentralen Stellenwert bei der Erbringung von Finanzdienstleistungen erlangt, dass sie heute entscheidend zur Ausführung typischer alltäglicher Aufgaben aller Finanzunternehmen beiträgt. Auf Digitalisierung beruhen heute beispielsweise Zahlungen, die von bargeld- und papiergestützten Methoden zunehmend auf die Nutzung digitaler Lösungen verlagert wurden, sowie Wertpapierclearing und -abrechnungssysteme, elektronischer und algorithmischer Handel, Darlehens- und Finanzierungsgeschäfte, Peer-to-Peer-Finanzierung, Bonitätseinstufung, Schadensmanagement und Back-Office-Transaktionen. Auch der Versicherungssektor hat sich durch den Einsatz von IKT verändert — vom Aufkommen digitaler Versicherungsvermittler, die ihre Dienste online anbieten und mit InsurTech arbeiten, bis hin zu digitalen Versicherungsgeschäften.“</p><p>Nachdem Unternehmen bis zum 16. Januar 2025 eine zweijährige Umsetzungsphase durchlaufen haben, um ihren Reifegrad in Bezug auf DORA zu ermitteln und sich proaktiv gegen mögliche Überfälle und Ausfälle zu schützen, stehen sie nun vor der Mammutaufgabe, eine dauerhafte Compliance mit DORA auch unter sich ändernden Rahmenbedingungen und internen Strukturen sicherzustellen. Insbesondere der starke Fokus von DORA auf das sogenannte Third-Party Risk Management, also die strikte Überwachung aller Dienstleister und deren Robustheit, stellt Finanzunternehmen vor große Herausforderungen: Denn IKT-Drittanbieter entziehen sich dem Fokus des Unternehmens leichter, als die enge Interaktion und Abhängigkeit mit dem Finanzunternehmen vermuten lässt.</p><h3><strong>DORA implementiert = gut geschützt vor Angriffen?</strong></h3><p>Mit der Implementierung von DORA sehen sich die meisten Finanzunternehmen gut aufgestellt, um sich und ihre Geschäftsprozesse im Falle eines Cyberangriffs zu schützen. Doch diese Annahme ist zu kurzsichtig, denn sie lässt das Management zukünftiger Veränderungen außer Acht, der die operative Resilienz dauerhaft sichern muss.</p><h3><strong>Veränderungen mit DORA managen</strong></h3><p>Zum Zeitpunkt der Ist-Erhebung zu DORA wurden in den Finanzunternehmen zum Teil sehr große Projekte aufgesetzt, um die vorhandenen und zukünftig möglichen Risiken genauer zu beleuchten. Daraus folgend wurden Maßnahmen abgeleitet und beschrieben, mit denen diese Risiken vermieden, mitigiert, transferiert oder gestreut werden können.</p><p>Besonders detailliert wird in der DORA-Verordnung vorgegeben, wie sich Unternehmen gegen Dienstleister-Ausfälle schützen müssen. Anlass hierfür waren eine Reihe von Cyberangriffen in Form von Datenverschlüsselungs-Attacken (Ransomware), die zu erheblichen wirtschaftlichen Schäden führten, da viele Dienstleister von denselben zentralen Infrastrukturen abhängig sind.</p><p>Für Neuanschaffungen sind diese Prozesse in der Regel gut etabliert. Insbesondere spielt das sogenannte Ausgliederungsmanagement eine wesentliche Rolle. Ein genauerer Blick lohnt sich jedoch auf die Veränderungsprozesse, insbesondere wenn Unternehmen Cloud-Dienste wie SaaS (Software as a Service), IaaS (Infrastructure as a Service) oder PaaS (Platform as a Service) nutzen. Die zentrale Frage lautet dann: Wie erkennen Unternehmen rechtzeitig Veränderungen in diesen Diensten, die Risiken mit sich bringen könnten? Denn diese Dienste liegen nicht direkt in ihrem Kontrollbereich und Veränderungen werden nicht automatisch wahrgenommen und somit auch nicht hinsichtlich der darin verborgenen Risiken bewertet.</p><p>DORA fordert in diesem Zusammenhang strikte Tests jeder Veränderung vor der Produktivsetzung. Dabei müssen Unternehmen sicherstellen, dass Risikoveränderungen frühzeitig erkannt und bewertet werden.</p><p>Verändert sich bei genutzten Diensten der Leistungsumfang, entstehen oft neue Risiken. Diese müssen erkannt werden, bevor ein Dienst weiterhin oder erneut verwendet wird. Doch eine vollständige Identifikation aller relevanten Veränderungen ist oft komplexer, als es auf den ersten Blick scheint.</p><p>Beispiele:</p><ul><li>Wenn ein Fachbereich eigenständig Software nutzt oder verändert, ohne dass die IT-Abteilung involviert ist.</li><li>Wenn ein Dienstleister fusioniert oder Subdienstleister austauscht, wodurch bestehende Notfallpläne nicht mehr wie geplant funktionieren.</li><li>Wenn durch eine Änderung neue Bedrohungen für die IT-Sicherheit entstehen, die eine sofortige Risiko-Neubeurteilung erfordern.</li></ul><p>Deshalb ist es essenziell, dass alle Organisationseinheiten eng mit dem Risikomanagement zusammenarbeiten. Quartalsorientiertes Meldewesen ist nicht mehr zeitgemäß — stattdessen muss das Risikomanagement direkt mit dem Veränderungsmanagement gekoppelt werden, um kontinuierlich auf neue Risiken reagieren zu können. Im folgenden erläutern wir einige alltägliche Szenarien, deren Tragweite hinsichtlich des Risikomanagements sich erst bei genauerem Hinsehen erschließen lässt.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bEsgJ1WeC5eKNEYroPv5wg.jpeg" /></figure><h4><strong>DORA-Veränderungsmanagement: Business und Kontrolle</strong></h4><p>Eine HR-Anwendung eines Dienstleisters (Drittdienstleister Third Party Risk) wird zunächst für Zwecke eingeführt, die einem normalen Verwaltungsakt geschuldet sind und sich hinsichtlich Vertraulichkeits-, Verfügbarkeits- und Integritätsrisiko her vertretbar auslagerungsfähig einstufen lassen — zum Beispiel die Mitarbeiter-Zeiterfassung. Die Risikoanalyse wird zu diesem Zeitpunkt typerischerweise für diejenigen Teile der Anwendung durchgeführt, deren Verwendung zu diesem Zeitpunkt vorgesehen ist.</p><p>Die Anwendung verfügt aber über ein deutlich stärkeres Toolpotential und erlaubt in der Nutzung viel, so dass die ausgeführten Prozesse in der täglichen Nutzung beständig erweitert werden. Zum Beispiel sollen jetzt auch Mitarbeitergespräche protokolliert werden. Diese Daten sind in der Regel als streng vertraulich einzustufen, weil sensible oder kritische Inhalte erfasst werden könnten. Aus Sicht des Risikomanagements ist ein „Change Request“ erforderlich, obwohl technisch keine Veränderung vorgenommen wird. Und das, bevor die Anwendung erweitert produktiv genutzt wird.</p><p>Anhand dieses einen Beispiels wird schon die notwendige enge Zusammenarbeit aus verschiedenen Organisationseinheiten hinsichtlich des Risikomanagements gut sichtbar: Compliance hat Prozesse definiert, die solche Risiken sichtbar machen, z.B. ein Service-Management nach ITIL. Der Fachbereich meldet in diesem Prozess-Rahmenwerk die gewünschte veränderte Nutzung, der zufolge der Datenschutz die Vertraulichkeit neu einstufen und das Risikomanagement zusätzliche Maßnahmen zum Schutz der Daten beim Dienstleister einfordern kann. Governance prüft die Wirtschaftlichkeit, Recht prüft Vertragsrechte, Einkauf passt die Verträge an und verändert gegebenenfalls die Überwachungsmaßnahmen zum Dienstleister. Aufgrund des erhöhten Risikos werden zusätzliche Tests in Fachbereich und IT eingeführt.</p><blockquote>Es braucht praxiserprobte Prozesse, um Risiken effizient zu managen und zu kontrollieren. <a href="https://trendig.com/training/schulung/ireb-certified-professional-for-requirements-engineering/"><strong>Sichere Dir Deinen Schulungsplatz</strong> zu nachhaltigem<strong> Anforderungsmanagement im Fachbereich!</strong></a></blockquote><h4><strong>DORA-Veränderungsmanagement: IT und Risikomanagement</strong></h4><p>Ein externes Rechenzentrum, das die Daten eines Finanzunternehmens verwaltet, wird beim Einkauf gründlich geprüft und mit der Überzeugung unter Vertrag genommen, dass dieses sicher ist. Die Überprüfung erfolgt regelmäßig. Demgegenüber muss sich jedes Finanzunternehmen allerdings bewusst machen, dass solche Rechenzentren immer wieder und oft im Fokus von Angriffen stehen, da sich der Schaden mit der Anzahl der Nutzer eines solchen Dienstes multipliziert. Daher ist es aus Gesichtspunkten der Notfallvorsorge unbedingt notwendig, von einem Dienstleister zum anderen schwenken zu können, sollte ein Dienstleister in Schwierigkeiten gelangen.</p><p>Nehmen wir als Beispiel den Notfallplan, dass für den Fall, dass die Daten des Rechenzentrums-Betreibers verschlüsselt würden, die Daten bei einem anderen Rechenzentrums-Betreiber angezeigt werden könnten. Und zwar bis das Problem behoben ist! Denn das kann auch mal einige Wochen dauern, denn die Angreifer verschlüsseln meist so, dass das Einspielen einer Datensicherung auch das Einspielen der Verschlüsselung bedeutet. Die Behebung eines solchen Problems dauert deshalb oft so lange, weil erst die eigentlichen Informationen von den schadhaften getrennt werden müssen, da diese von den Angreifern versteckt hinterlegt wurden und sich die Suche nicht immer ganz einfach gestaltet.</p><p>Ein weiteres gutes Beispiel ist das eines kranken Kunden aus der Versicherungsbranche, der genau in diesem Augenblick eine OP beantragt hat und auf die Kostenzusage wartet. Bei einer dringenden OP kann er auf diese Zusage nicht lange warten. Eine blinde Kostenzusage kann das Versicherungsunternehmen aber auch nicht treffen. Und die OP kann oder will der Kunde nicht aus eigener Tasche bezahlen. Eine Operation kann leicht 15.000 Euro oder auch viel mehr kosten. Welches Schicksal steckt hinter dieser finanziellen Entscheidung?</p><p>Ein Finanzinstitut beugt diesem gerne vor, indem die Daten mit einem passenden Stand gesichert sind, so dass diese Daten beim gleichen oder besser einem anderen Dienstleister interimistisch verarbeitet werden können, dessen Infrastruktur gegen diese Verschlüsselung immun war.</p><blockquote>Es braucht praxiserprobte Methoden, damit Dienstleister-Prozesse resilient bleiben. <a href="https://trendig.com/training/schulung/methodenworkshop-testing-fachbereiche/">Buche Deine Schulung als Tester im Fachbereich!</a></blockquote><p><strong>DORA-Veränderungsmanagement: Recht und Compliance im Portfolio</strong></p><p>Die meisten Institute haben zum Stichtag 17. Januar 2025 ihr DORA-Projekt abgeschlossen und erfüllen die gesetzlichen Anforderungen. Bei der Frage aber, ob sie dies auch in einem Jahr und darüber hinaus tun werden, gibt es viele Unsicherheiten. Wie entwickelt sich das Unternehmen weiter? Welche Auswirkungen ergeben sich aus etwaigen Veränderungen auf die Erfüllung von DORA? Recht und Compliance müssen den Zusammenhang von Änderungen und deren Wirkung auf DORA einschätzen können. Dazu arbeiten diese heute enger und engmaschiger als bisher mit den Fachbereichen zusammen. Ein Fachbereich kann dabei nicht im Silo denken, viele Veränderungen finden Fachbereichs-übergreifend statt. Deshalb ist es heute sinnvoll und unabdingbar, Melde- und Entscheidungswege in Service-Prozessen etabliert zu haben (Gesetz, Prüfung, Entscheidung). Um dabei nicht in zu viel Arbeit unterzugehen, ist es möglich, automatische Prüfungen zu verwenden. Dann können sich alle Beteiligten voll und ganz darauf konzentrieren, die echten Betroffenheiten juristisch oder hinsichtlich Compliance und Governance zu prüfen. Änderungen aufgrund von Rechtseinschätzungen gehören in ein Portfolio und konkurrieren so mit anderen Projekten. Diese Ressourcen müssen freigehalten werden, denn in den meisten Unternehmen gilt, dass rechtliche Themen höchste Priorität haben. Im Übrigen sollte dies auch abseits von DORA implementiert sein, denn es gilt im Prinzip für alle möglichen Gesetze und Regulierungen.</p><blockquote>Mit unseren Erfahrungen in Automatisierung und Portfoliomanagement helfen wir, Risikoprozesse zu automatisieren. <a href="https://trendig.com/technology-engineering/">Erfahre hier mehr zu unseren Consulting-Dienstleistungen!</a></blockquote><h4><strong>DORA-Veränderungsmanagement: Effizientes Steuern von Risiken</strong></h4><p>In DORA spielt das Risikomanagement die Haupt-Rolle. Es wird erwartet, dass es klare Prozesse gibt, die jedes relevante Risiko gegen die digitale Resilienz im Risikomanagement steuern. Das heißt aus dem Berufsalltag heraus gesprochen: Man kommt mit einem Meldewesen auf Basis von Excel nicht mehr gut durch. Von diesem Ausgangspunkt gedacht, klingt es zunächst nach sehr viel Arbeit. Vieles davon ist aber automatisierbar, wie z.B. die Auswertung des vorhandenen Wissens in den Systemen. So kann z.B. das Risikomanagement durch automatisierte Meldungen den einen Server entdecken, der (versehentlich) keine Sicherheitsupdates bekommen hat. Durch eine Automatisierung erhöhen sich zudem Meldequalität und -geschwindigkeit. Ein unsicherer Server stellt nämlich meist nicht nur eine Gefahr für sich, sondern auch für die umliegenden Systeme dar. Dieses scheinbar kleine Risiko könnte ganze Prozessketten zum Stillstand bringen. Deshalb startet man DORA auch gerne mit der Überprüfung aller Prozessdokumentationen, die bei der Einschätzung eines Risikos eine große Rolle spielen.</p><p>DORA spart aber auch Geld und kostet nicht nur. So ist es z.B. viel wirtschaftlicher, einem mit einem Risiko verbundenen Schaden entgegenzuwirken, als bis zum Eintritt eines Risikos zu warten. Den Schaden zu beheben kostet oft ein zehnfaches oder hundertfaches an Aufwand. Selbst wenn die Eintrittswahrscheinlichkeit also niedrig, der Schaden aber sehr hoch ist, rentieren sich die im Verhältnis preiswerten Maßnahmen zur Risikovermeidung, Risikoreduzierung oder Risikomitigation.</p><p>Risiken verringern kann darüber hinaus mit dem Thema „Immer Testen vor Produktiveinsatz“, dessen Wirkung gerne unterschätzt wird. Dieses Thema zahlt nämlich vor allem darauf ein, Risiken früher zu erkennen, also noch bevor sie produktiv entstehen.</p><p>DORA verpflichtet dazu, die Informations- und Kommunikationstechnologie auf Herz und Nieren zu prüfen, mit einem risikobasiertes, proportionalem Testprogramm. <br> Von übergeordneter Stelle werden darüber hinaus nochmal alle Finanzunternehmen geprüft, mit dem Hauptzweck der Hilfestellung, Risiken zu erkennen und somit europaweit für Resilienz der Finanzunternehmen zu sorgen. Aber geprüft wird das, was die Unternehmen jetzt an Mehrwert schaffen: Digitale Resilienz.</p><blockquote>Mit unseren Test- und Automatisierungs-Erfahrung sparen wir Zeit und bringen Geschwindigkeit in die Qualitätsüberwachung, bis hin zu Echtzeit und helfen, eine effiziente Steuerung nachzuweisen. <a href="/service/mailto:%20engineering@trendig.com">Tritt mit unseren Consultants in Kontakt!</a></blockquote><h4><strong>DORA-Veränderungsmanagement: Kontrolle als Aufsichtsrat oder Vorstand</strong></h4><p>Da der Aufsichtsrat und Vorstand eine zentrale Rolle in der Governance und Überwachung der DORA-Compliance spielen, ist ein strukturiertes Risikomanagement entscheidend. Eine effiziente Umsetzung erfordert Automatisierung, gezieltes Portfoliomanagement und klare Überwachungsmechanismen, um sicherzustellen, dass Prozesse resilient bleiben und die Steuerung nachweislich funktioniert, ohne dabei den Aufwand zu hoch werden zu lassen.</p><p>Die Einführung von DORA war ein wichtiger Meilenstein, aber die eigentliche Herausforderung liegt in der kontinuierlichen Kontrolle im täglichen Betrieb und insbesondere im täglichen Veränderungsmanagement. Wie kann der Aufsichtsrat sicherstellen, dass Risiken in Echtzeit erkannt und adressiert werden?</p><p>Beispiele für typische Kontrollfragen eines Aufsichtsrats oder Vorstands:</p><ul><li>Wie wird sichergestellt, dass alle Veränderungen in IT-Systemen und Drittanbieter-Diensten systematisch erfasst, bewertet und genehmigt werden?</li><li>Gibt es automatisierte Überwachungsmechanismen, um neue IKT-Risiken in Echtzeit zu erkennen?</li><li>Wie erfolgt die Berichterstattung an den Vorstand bzw. Aufsichtsrat? <br> Sind die Indikatoren und KPIs für DORA-Risiken transparent und verständlich aufbereitet?</li><li>Welche Prozesse greifen, wenn sich ein Dienstleister ändert oder neue regulatorische Anforderungen entstehen?</li></ul><p>Diese Kontrollfragen zeigen, dass DORA kein einmaliges Compliance-Projekt ist, sondern eine kontinuierliche Managementaufgabe, die eine klare Verantwortlichkeitsverteilung und stringente Kontrollen erfordert.</p><blockquote>Wir helfen, DORA mit weniger manuellem Aufwand zu kontrollieren. <a href="/service/mailto:%20engineering@trendig.com">Buche eine Stunde Vorstandseinführung mit unseren DORA-Experten.</a></blockquote><h4><strong>Wann bin ich fertig mit DORA?</strong></h4><p>Wir bei trendig verfügen über umfassende Erfahrung in der Gestaltung und Optimierung oben dargestellter Prozesse und können deutsche Banken, Versicherungen und Finanzdienstleister dabei unterstützen, dass DORA-Compliance nicht nur ein formaler Nachweis bleibt, sondern zu einem integralen Bestandteil der Unternehmenssteuerung ausgebaut wird, um digitale Resilienz zu erreichen.</p><p>Einige Hauptgedanken, die für uns bei trendig zu den essentiellen Bestandteilen Deiner Bemühungen rund um DORA-Compliance zählen sollten, möchten wir Dir im Folgenden noch einmal in kurzen Stichpunkten vorstellen.</p><p><strong>Belastbare ITK-Systeme zur Risikominimierung</strong></p><p>Eine der zentralen Maßnahmen zur Reduzierung von IKT-Risiken ist die Einrichtung und Pflege belastbarer IKT-Systeme und -Werkzeuge. Diese müssen so gestaltet sein, dass sie Sicherheitslücken minimieren und widerstandsfähig gegenüber Bedrohungen sind. Resiliente IT-Infrastrukturen tragen entscheidend dazu bei, die Betriebsstabilität zu sichern und Ausfallrisiken zu reduzieren.</p><p><strong>Identifizierung und Klassifizierung kritischer Funktionen und Prozesse</strong></p><p>Ein effektives Risikomanagement setzt voraus, dass kritische Schlüsselfunktionen und -Prozesse identifiziert, klassifiziert und dokumentiert sind. Ohne eine detaillierte Erfassung dieser Elemente ist eine gezielte Steuerung und Priorisierung von Sicherheitsmaßnahmen nicht möglich.</p><p><strong>Kontinuierliche Überwachung und Meldesysteme für IKT-Risiken</strong></p><p>Die fortlaufende Überwachung aller Quellen von IKT-Risiken ist entscheidend, um frühzeitig potenzielle Bedrohungen zu erkennen und geeignete Schutz- und Präventionsmaßnahmen einzurichten. Hierbei ist ein Meldewesen für erkannte Sicherheitslücken für fast alle Dienste zu etablieren, um eine schnelle Reaktion auf neue Risiken zu ermöglichen und Angriffsflächen zu minimieren.</p><p><strong>Automatisierte und dokumentierte Risiko-Kommunikation</strong></p><p>Ferner ist eine linienübergreifende, automatisierte und protokollierte Kommunikation über Veränderungen an wesentlichen Risiken essenziell. Dabei müssen relevante Stakeholder in den Feldern Datenschutz, Informationssicherheit, Risikomanagement, IT, Fachbereiche, Recht, Einkauf und Vorstand eng zusammenarbeiten, um Risiken frühzeitig zu bewerten und entsprechende Maßnahmen zu koordinieren.</p><p><strong>Vollständige Tests vor Produktivsetzung von Änderungen</strong></p><p>Bevor Änderungen an Software, Hardware, Infrastruktur oder Diensten in den produktiven Betrieb überführt werden, sind vollständige Tests unerlässlich. Dies gilt nicht nur für Neuimplementierungen, sondern insbesondere auch für bestehende Systeme, um Risiken durch unerkannte Schwachstellen zu minimieren.</p><p><strong>Echtzeit-Monitoring mit unverzüglicher Meldefähigkeit</strong></p><p>Zur Erkennung von anomalen Aktivitäten ist ein umfassendes 24/7-Monitoring erforderlich, das eine unverzügliche Meldung von IT-Sicherheitsvorfällen sicherstellt. Nur durch eine schnelle Identifikation und Eskalation von Sicherheitsproblemen kann ein wirksames Incident-Response-Management gewährleistet werden.</p><p><strong>Business-Continuity-Richtlinien und Notfallpläne</strong></p><p>Die Einführung und regelmäßige Aktualisierung von Business-Continuity-Richtlinien sowie Notfall- und Wiederherstellungsplänen ist für die Betriebssicherheit essenziell. Jährliche Tests dieser Pläne stellen sicher, dass alle notwendigen Funktionen auch im Ernstfall funktionsfähig bleiben und Krisenszenarien effizient bewältigt werden können.</p><p><strong>Risikomanagement bei Dienstleister-Abhängigkeiten</strong></p><p>Ein kritischer Punkt im Risikomanagement ist die Erkennung von Auswirkungen auf Notfallpläne, wenn sich Rahmenbedingungen ändern. Besonders relevant ist dies bei Abhängigkeiten von Dienstleistern und Sub-Dienstleistern, da Notfallpläne oft von deren Stabilität abhängen. Unternehmen müssen sicherstellen, dass alle beteiligten Partner ebenfalls über robuste Notfallstrategien verfügen.</p><p><strong>Lernmechanismen aus internen und externen Vorfällen</strong></p><p>Die kontinuierliche Verbesserung der IT-Sicherheit erfordert die Einrichtung von Mechanismen zur Analyse und Auswertung von externen sowie internen IKT-Vorfällen. Unternehmen müssen aus vergangenen Sicherheitsereignissen lernen, um ihre Schutzmaßnahmen kontinuierlich weiterzuentwickeln und zukünftige Bedrohungen frühzeitig zu erkennen.</p><p>(CTA) Möchtest Du mit einem unserer Consultants in den Austausch gehen? Dann <a href="/service/mailto:engineering@trendig.com">schreib uns an engineering@trendig.com</a>.</p><h3><strong>FAQs: Häufig gestellte Fragen zu DORA</strong></h3><h4><strong>Was ist DORA?</strong></h4><p>DORA ist so etwas wie<strong> ein Reifegradmodell für Cybersicherheit von Finanzunternehmen</strong>. Die Abkürzung steht für Digital Operational Resilience Act und ist eine Verordnung der EU <a href="https://eur-lex.europa.eu/eli/reg/2022/2554/oj">(EU 2022/2554)</a> für die digitale Betriebsstabilität im gesamten europäischen Finanzsektor. Der Fokus liegt insbesondere auf den Themen Cybersicherheit, IKT-Risikomanagement und Governance.</p><h4><strong>Für wen ist DORA wichtig?</strong></h4><p>DORA betrifft alle Institute und Unternehmen, die im europäischen Finanzsektor tätig sind. Es soll sichergestellt werden, dass Banken, Wertpapierfirmen, Kreditinstitute und andere Zahlungsdienstleister wie z.B. Crowdfunding-Plattformen gegen IT-Ausfälle, Cyberangriffe oder andere digitale Bedrohungen robust sind.</p><h4><strong>Welche Strafen drohen bei Nichteinhaltung von DORA?</strong></h4><p>In Deutschland übernimmt die Bundesanstalt für Finanzdienstleistungsaufsicht (kurz BaFin) die nationale Aufsicht. Neben enormen Reputationsschäden werden bei Nichteinhaltung von DORA Geldbußen von bis zu 2% des weltweiten Jahresumsatzes oder 10 Millionen Euro erhoben, je nachdem, welcher Betrag höher ist.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8b2ec21ccb29" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>