<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Nurseyit Tursunkulov on Medium]]></title>
        <description><![CDATA[Stories by Nurseyit Tursunkulov on Medium]]></description>
        <link>https://medium.com/@nurseyit.tursunkulov?source=rss-85e77a3a7114------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*ZPjCqCXXE5RiwXTV.jpg</url>
            <title>Stories by Nurseyit Tursunkulov on Medium</title>
            <link>https://medium.com/@nurseyit.tursunkulov?source=rss-85e77a3a7114------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 15:17:20 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@nurseyit.tursunkulov/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[# Automatische Erkennung thematischer Grenzen in Nachrichtensammlungen]]></title>
            <link>https://medium.com/@nurseyit.tursunkulov/automatische-erkennung-thematischer-grenzen-in-nachrichtensammlungen-b0e4d5541cdd?source=rss-85e77a3a7114------2</link>
            <guid isPermaLink="false">https://medium.com/p/b0e4d5541cdd</guid>
            <category><![CDATA[semantic-search]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Nurseyit Tursunkulov]]></dc:creator>
            <pubDate>Sat, 29 Aug 2026 10:48:02 GMT</pubDate>
            <atom:updated>2026-08-30T09:10:44.969Z</atom:updated>
            <content:encoded><![CDATA[<h3># Ausgangssituation</h3><p>Im Archiv werden täglich Nachrichtenartikel gespeichert. Dabei werden mehrere Artikel unterschiedlicher Themen häufig in einer einzigen Datei zusammengeführt.</p><p>Ein solches Dokument kann beispielsweise mit einem politischen Thema beginnen, anschließend über Wirtschaft berichten und mit einem kulturellen Ereignis enden. Für Menschen sind diese Übergänge meist leicht erkennbar, da wir den Inhalt automatisch interpretieren können.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HiU32-J6q4RmvcdG6FnXbw.png" /></figure><p>Für Software stellt dies jedoch eine Herausforderung dar. Die Dateien enthalten keine Markierungen, die anzeigen, wo ein Artikel endet und der nächste beginnt. Aus Sicht eines Algorithmus besteht das Dokument lediglich aus einer Folge von Absätzen.</p><p>Die automatische Segmentierung bildet die Grundlage für nachgelagerte Anwendungen wie die semantische Suche, Retrieval-Augmented Generation (RAG) oder die thematische Analyse großer Textbestände. Nur wenn zusammengehörige Inhalte korrekt voneinander getrennt werden, können relevante Informationen später präzise gefunden und verarbeitet werden.</p><p><strong>Ziel des Projekts war die Entwicklung eines sogenannten Semantic Chunkers, der solche thematischen Grenzen automatisch erkennt.</strong></p><h3>## Wie Computer Sprache verstehen?</h3><p>Um diese Aufgabe zu lösen, müssen wir zunächst verstehen, wie moderne KI-Systeme unter der Haube funktioniren.</p><p>Computer verstehen zunächst nur Zahlen und einfache Rechenoperationen. Doch wie können Systeme wie ChatGPT mit etwas so Komplexem wie menschlicher Sprache umgehen?</p><p>Stellen wir uns vor, wir möchten die folgenden Wörter nach ihrer Bedeutung sortieren:</p><p><em>Book, Breakfast, Orange.</em></p><p>Wir können gemeinsame Themenfelder wie <strong>Science</strong>, <strong>Sport</strong>, <strong>Food,Weather</strong> definieren und für jedes Wort festlegen, wie stark seine Zugehörigkeit zu jedem dieser Themen ist . Werte bezeichnen wir im Folgenden als <strong>Gewichte</strong> (<em>Weights</em>). Je höher das Gewicht in einem bestimmten Themenfeld, desto stärker ist das Wort mit diesem Thema verbunden.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wHXJK-WKLURgFc-L-6yIWw.png" /></figure><p>Nun kann der Computer Vergleiche zwischen Wörtern durchführen. Dazu betrachtet er die <strong>Gewichte</strong> der einzelnen Kategorien.</p><p>Nehmen wir die ersten beiden Wörter: <strong>Book</strong> und <strong>Breakfast</strong>. Der Computer durchläuft nun in einer Schleife alle Kategorien und vergleicht die jeweiligen Gewichte. Besitzen beide Wörter in denselben Kategorien hohe Gewichte, gelten sie als ähnlich. Sind die Gewichte dagegen deutlich unterschiedlich oder überwiegend niedrig, besteht nur eine geringe inhaltliche Ähnlichkeit.</p><p>Im Fall von <strong>Book</strong> und <strong>Breakfast</strong> unterscheiden sich die Gewichte in den meisten Kategorien. Daher kommt der Computer zu dem Ergebnis, dass die beiden Wörter nur schwach miteinander verbunden sind.</p><pre>weights = {<br>    &quot;Book&quot;: {<br>        &quot;Science&quot;: 0.8,<br>        &quot;Sport&quot;: 0.1,<br>        &quot;Food&quot;: 0.0,<br>        &quot;Weather&quot;: 0.1,<br>    },<br>    &quot;Breakfast&quot;: {<br>        &quot;Science&quot;: 0.0,<br>        &quot;Sport&quot;: 0.1,<br>        &quot;Food&quot;: 0.9,<br>        &quot;Weather&quot;: 0.0,<br>    },<br>    &quot;Orange&quot;: {<br>        &quot;Science&quot;: 0.0,<br>        &quot;Sport&quot;: 0.0,<br>        &quot;Food&quot;: 0.8,<br>        &quot;Weather&quot;: 0.1,<br>    },<br>}<br><br>similarity = 0<br><br>for category in weights[&quot;Breakfast&quot;]:<br>    similarity += min(<br>        weights[&quot;Book&quot;][category],<br>        weights[&quot;Orange&quot;][category]<br>    )<br><br>print(f&quot;Ähnlichkeit: {similarity:.2f}&quot;)</pre><p>Beim Vergleich von <strong>Orange</strong> und <strong>Breakfast</strong> ergibt sich ein Wert von <strong>0,8</strong>, während der Vergleich von <strong>Book</strong> und <strong>Breakfast</strong> nur <strong>0,1</strong> liefert.</p><p>🎉 Herzlichen Glückwunsch! Wir haben gerade eine extrem vereinfachte Version davon gebaut, wie moderne Sprachmodelle Wörter und ihre Bedeutungen miteinander vergleichen. 🎆</p><p>Falls dieser Teil noch etwas verwirrend wirkt, keine Sorge. Lest ihn einfach noch einmal in Ruhe durch oder hinterlasst einen Kommentar. 😊</p><p>Alles, was jetzt folgt, basiert auf genau diesem Prinzip. Aus diesen semantischen Repräsentationen werden wir im nächsten Schritt thematische Grenzen in großen Dokumenten erkennen. 🚀</p><h3>## Von Text zu Embeddings</h3><p>Das war allerdings ein stark vereinfachtes Beispiel. In der Realität haben wir es mit Tausenden von Wörtern und ebenso vielen Themenfeldern zu tun. Einen solchen Vergleich zu implementieren, wäre sehr schwierig.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/164/0*kVhtBoggH9QMNTA_" /></figure><p>Um unseren Semantic Chunker weiter zu optimiren, projizieren wir die Wörter in einen zweidimensionalen Raum und weisen jedem Wort Koordinaten zu. Wörter mit ähnlicher Bedeutung liegen dabei nahe beieinander, während semantisch unterschiedliche Wörter einen größeren Abstand zueinander haben.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*w1eurN7PvQg9yk6l7W9rNQ.png" /><figcaption><a href="https://gist.github.com/NurseyitTursunkulov/f78534a0af69cfc162f7ec376e5e585d">https://gist.github.com/NurseyitTursunkulov/f78534a0af69cfc162f7ec376e5e585d</a></figcaption></figure><p>Wir können nun den Abstand zwischen zwei Punkten berechnen. Je größer der Abstand ist, desto schwächer ist die semantische Verbindung zwischen den Wörtern.</p><pre>import math<br><br>words = {<br>    &quot;Breakfast&quot;: (2, 2),<br>    &quot;Orange&quot;: (3, 4),<br>    &quot;Book&quot;: (8, 9)<br>}<br><br>def euclidean_distance(p1, p2):<br>    return math.sqrt(<br>        (p1[0] - p2[0]) ** 2 +<br>        (p1[1] - p2[1]) ** 2<br>    )<br><br>distance_bo = euclidean_distance(words[&quot;Breakfast&quot;], words[&quot;Orange&quot;])<br>distance_bb = euclidean_distance(words[&quot;Breakfast&quot;], words[&quot;Book&quot;])<br><br>print(f&quot;Breakfast ↔ Orange: {distance_bo:.2f}&quot;)<br>print(f&quot;Breakfast ↔ Book: {distance_bb:.2f}&quot;)</pre><pre>Breakfast ↔ Orange: 2.24<br>Breakfast ↔ Book: 9.22</pre><p>Da jedes Wort Koordinaten besitzt, können wir um einen Punkt einen bestimmten Radius legen und nach benachbarten Wörtern suchen. Diese Wörter sind in der Regel semantisch eng miteinander verwandt.</p><pre>import math<br><br>words = {<br>    &quot;Breakfast&quot;: (2, 2),<br>    &quot;Orange&quot;: (2, 3),<br>    &quot;Apple&quot;: (2.5, 3),<br>    &quot;Coffee&quot;: (1.5, 2.8),<br>    &quot;Book&quot;: (8, 9)<br>}<br><br>center = words[&quot;Breakfast&quot;]<br>radius = 2<br><br>print(f&quot;Words within radius {radius} of Breakfast:&quot;)<br><br>for word, point in words.items():<br>    if word == &quot;Breakfast&quot;:<br>        continue<br><br>    x1, y1 = center<br>    x2, y2 = point<br><br>    distance = math.sqrt((x2 - x1)**2 + (y2 - y1)**2)<br><br>    if distance &lt;= radius:<br>        print(word)</pre><pre>Words within radius 2 of Breakfast:<br>Orange<br>Apple<br>Coffee</pre><p>🎉 Wunderbar! Unser Code kann nun ähnliche Wörter finden und die Ähnlichkeit zwischen zwei Begriffen berechnen.</p><p>Das mag auf den ersten Blick unspektakulär wirken, ist aber ein wichtiger Schritt. Wir haben damit die Grundlage geschaffen, um Bedeutungen mathematisch darzustellen und miteinander zu vergleichen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/357/0*7R6Lwyomsx9Jp_CJ.jpg" /></figure><p>Doch es gibt noch ein Problem. Aktuell erhalten wir lediglich Rohwerte für die Distanz:</p><pre>Breakfast ↔ Orange: 2.24<br>Breakfast ↔ Book: 9.22</pre><p>Auf den ersten Blick scheint das ausreichend zu sein, da kleinere Werte eine höhere Ähnlichkeit bedeuten. In einem anderen Datensatz könnten beispielsweise folgende Distanzen entstehen:</p><p>Apple ↔ Pear: 20</p><p>Greece ↔ Nepal: 50</p><p>Die absoluten Werte allein sagen wenig aus. Ist eine Distanz von 20 hoch oder niedrig? Bedeutet 50, dass die Begriffe völlig unterschiedlich sind? Ohne eine gemeinsame Skala lässt sich das nur schwer beurteilen.</p><p>Was uns fehlt, ist ein standardisiertes Maß, das die Ähnlichkeit unabhängig von den tatsächlichen Koordinaten beschreibt. Idealerweise möchten wir einen Wert erhalten, der beispielsweise zwischen 0 und 1 liegt, wobei 1 für maximale Ähnlichkeit und 0 für keine semantische Beziehung steht.</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*kVhtBoggH9QMNTA_" /></figure><h3>Vektoren</h3><p>Die Idee ist nun, Vektoren zu verwenden. Vektoren kann man sich als Pfeile vorstellen, die eine bestimmte Länge und Richtung besitzen. Sie können sich grundsätzlich überall im Raum befinden. Zur Vereinfachung betrachten wir sie jedoch in einem zweidimensionalen Koordinatensystem.</p><p>Betrachten wir zunächst unsere Wörter als Vektoren:</p><ul><li>Breakfast = <strong>(2, 3)</strong></li><li>Orange = <strong>(2, 2)</strong></li><li>Book = <strong>(-2, 3)</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/521/1*MvTO1l2qnUhiCxhdG4CZSA.png" /><figcaption><a href="https://gist.github.com/NurseyitTursunkulov/f78534a0af69cfc162f7ec376e5e585d">https://gist.github.com/NurseyitTursunkulov/f78534a0af69cfc162f7ec376e5e585d</a></figcaption></figure><p>Vergleichen wir nun den Vektor „Book“ mit dem Vektor „Breakfast“. Da es sich um Vektoren handelt, können wir sie frei verschieben, ohne ihre Richtung oder Länge zu verändern. Dadurch lassen sie sich einfacher miteinander vergleichen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/521/1*ZVOE56A3tRV6L7DzGUkFUQ.png" /></figure><p>Um die Ähnlichkeit zweier Vektoren zu berechnen, verwenden wir die <strong>Cosine Similarity</strong>. <em>(Dieses Konzept stammt aus der Geometrie und misst den Winkel zwischen zwei Vektoren. Je kleiner der Winkel ist, desto ähnlicher sind sich die Vektoren. Mehr über Vektoren, ihre Eigenschaften und mathematische Operationen ist auf </em><a href="https://mathprofi.ru/vektory_dlya_chainikov.html"><strong><em>mathprofi.com</em></strong></a><em>. Die Seite ist zwar auf Russisch, aber mit DeepL lässt sie sich leicht ins Deutsche übersetzen.)</em></p><p>Für die <strong>Cosine Similarity</strong> gilt folgende Formel:</p><p>Cosine Similarity = (a · b) / (|a| · |b|)</p><pre>import math<br><br>vectors = {<br>    &quot;Breakfast&quot;: (2, 2),<br>    &quot;Orange&quot;: (3, 2),<br>    &quot;Book&quot;: (-2, 1),<br>}<br><br><br>def cosine_similarity(v1, v2):<br>    dot_product = (v1[0] * v2[0] + v1[1] * v2[1])<br><br>    magnitude_v1 = math.sqrt(v1[0] ** 2 + v1[1] ** 2)<br><br>    magnitude_v2 = math.sqrt(v2[0] ** 2 + v2[1] ** 2)<br><br>    return dot_product / (magnitude_v1 * magnitude_v2)<br><br><br>similarity_bb = cosine_similarity(<br>    vectors[&quot;Breakfast&quot;],<br>    vectors[&quot;Book&quot;]<br>)<br><br><br>print(f&quot;Breakfast ↔ Book: {similarity_bb:.2f}&quot;)</pre><pre><br>Breakfast ↔ Book: -0.32</pre><p>Hier sehen wir, dass die beiden Vektoren semantisch nur schwach miteinander verbunden sind. Die Cosine Similarity ist niedrig, was auf eine geringe inhaltliche Nähe hindeutet.</p><p>Und jetzt vergleichen wir breakfast und Orange:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/521/1*JlcrGWzMS2f4E37F7jjAgg.png" /></figure><pre>similarity_bo = cosine_similarity(<br>    vectors[&quot;Breakfast&quot;],<br>    vectors[&quot;Orange&quot;]<br>)</pre><pre>Breakfast ↔ Orange: 0.98</pre><p>Breakfast und Orange geben hohe Ähnlichkeitswerte und sind semantisch eng miteinander verbunden.</p><p>Super! Aber was passiert, wenn wir ein Wort hinzufügen, das zum <em>breakfast</em> semantisch ähnlich ist, im Vektorraum jedoch weiter entfernt liegt, zum Beispiel Apple = (9, 6)?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/521/1*Ks88tjHJBVvEgA9_z4BBuA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/521/1*FEw1ZEsXj6j_q4r28H9Qhg.png" /></figure><pre>similarity_bb = cosine_similarity(<br>    vectors[&quot;Breakfast&quot;],<br>    (9, 6)<br>)<br>print(similarity_bb)</pre><pre>0.98058067569092</pre><p>Wir sehen, dass die Entfernung vom Ursprung keine große Rolle spielt. Entscheidend ist die Richtung der Vektoren. Da <em>Apple</em> und <em>Breakfast</em> in nahezu dieselbe Richtung zeigen, erhalten wir eine sehr hohe Ähnlichkeit.</p><p><strong>🎉 Wunderbar! </strong>So haben wir ein vereinfachtes Modell erstellt, das zeigt, wie moderne Sprachmodelle Bedeutung in Form von Vektoren repräsentieren und semantische Ähnlichkeiten berechnen. Dieses Modell ermöglicht es Synonyme und semantisch ähnliche Wörter zu finden. Wörter mit einer ähnlichen Bedeutung liegen häufig nahe beieinander, während inhaltlich unterschiedliche Begriffe weiter voneinander entfernt sind oder in verschiedene Richtungen zeigen.</p><p><strong>Cool, bis jetzt haben wir 3 worten benutzt, aber wie wurden wir nun Millionen von Wörtern in einem gemeinsamen semantischen Raum platzieren?</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*kVhtBoggH9QMNTA_" /></figure><p>Zum Glück müssen wir das nicht selbst tun. Dafür gibt es bereits trainierte Embedding-Modelle, die Wörter, Sätze und ganze Texte automatisch in semantische Vektoren konvertiert. Dadurch können wir Ähnlichkeiten direkt im Vektorraum messen.</p><p>Die Verwendung solcher Bibliotheken ermöglicht, ähnlich wie in unserem Beispiel mit der Suche nach Wörtern in einem bestimmten Radius, das Auffinden semantisch ähnlicher Begriffe sowie die Durchführung mathematischer Operationen auf ihren Vektoren.</p><p>Ein berühmtes Beispiel aus der Welt der Embeddings ist:</p><p>King − Man + Woman ≈ Queen</p><p>Solche Vektoroperationen ermöglichen es, semantische Beziehungen zwischen Wörtern abzubilden.</p><pre>import gensim.downloader as api<br><br>model = api.load(&quot;word2vec-google-news-300&quot;)<br><br>result = model.most_similar(<br>    positive=[&quot;king&quot;, &quot;woman&quot;],<br>    negative=[&quot;man&quot;],<br>    topn=1<br>)<br><br>print(result)</pre><pre>[(&#39;queen&#39;, 0.71)]</pre><p><strong>By the way: Die numerischen Werte eines Wortes, die wir bisher als Vektoren wie (2, 3) geschrieben haben, nennt man als Embeddings.</strong></p><h3>Semantic Chunker in unserem Archive</h3><p>Cool! Was haben wir jetzt erreicht? Wir können Wörter und Texte mithilfe der Bibliothek in Vektoren konvertieren. Danach können wir diese Vektoren miteinander vergleichen und bewerten, wie nah ihre Bedeutungen sind.</p><pre>model = SentenceTransformer(&quot;paraphrase-multilingual-MiniLM-L12-v2&quot;)<br><br>sentences = [<br>    &quot;The weather is lovely today.&quot;,<br>    &quot;It&#39;s so sunny outside!&quot;,<br>    &quot;He drove to the stadium.&quot;,<br>]<br><br>embeddings = model.encode(sentences)<br><br>first_similarity = cosine_similarity([embeddings[0]], [embeddings[1]])[0][0]<br>second_similarity = cosine_similarity([embeddings[1]], [embeddings[2]])[0][0]<br><br>print(f&quot;weather vs sun {first_similarity}&quot;) <br>print(f&quot;sun vs studion {second_similarity}&quot;) </pre><pre>weather vs sun 0.81<br>sun vs studion 0.15</pre><p>Wenn wir die berechneten Ähnlichkeiten visualisieren:</p><pre>similarities = [first_similarity, second_similarity]<br><br>plt.figure(figsize=(8, 4))<br><br>bars = plt.bar(<br>    [&quot;Weather ↔ Sun&quot;, &quot;Sun ↔ Stadium&quot;],<br>    similarities,<br>    color=&quot;steelblue&quot;<br>)<br><br>plt.ylabel(&quot;Cosine Similarity&quot;)<br>plt.title(&quot;Semantic Similarity Between Sentences&quot;)<br>plt.ylim(0, 1)<br><br>for bar, value in zip(bars, similarities):<br>    plt.text(<br>        bar.get_x() + bar.get_width() / 2,<br>        value + 0.02,<br>        f&quot;{value:.2f}&quot;,<br>        ha=&quot;center&quot;<br>    )<br><br>plt.grid(axis=&quot;y&quot;, alpha=0.3)<br><br>plt.tight_layout()<br>plt.show()</pre><p>erhalten wir ein Diagramm wie dieses:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oZH-SePUiAWRS_Xpu1n6DQ.png" /></figure><p>Sind die verglichenen Sätze semantisch ähnlich, ist ihr Ähnlichkeitswert hoch und der Balken entsprechend groß. Unterscheiden sie sich hingegen in ihrer Bedeutung, fällt der Wert geringer aus und der Balken bleibt entsprechend kürzer.</p><p><strong>Geil!</strong>🚀 Nachdem wir das Muster verstanden haben, wenden wir nun denselben Ansatz auf Produktionsdaten an, bei denen die Artikelgrenzen bekannt sind. Ab diesem Punkt konzentriere ich mich nur auf die Konzepte. Die vollständige Implementierung überlasse ich euch als Übung.</p><p>Die tatsächliche Grenze ist durch die grüne gestrichelte Linie markiert. Und nun schauen Sie einmal genau hin: Was fällt Ihnen auf?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FkWcXgpNnopC8rN8na9vnA.png" /></figure><p>Wenn wir die Kurve malen, sehen wir, dass die Einbrüche genau dort auftreten, wo die tatsächlichen thematischen Grenzen liegen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f24ooVPYnH2eGAlRgLnYLw.png" /></figure><p>Super! Jetzt müssen wir nur noch diese Einbrüche mathematisch berechen. Dann haben wir das Problem bereits gelöst.</p><p>Die einfachste Lösung besteht darin, einen <em>Threshold</em> einzuführen. Alle Ähnlichkeitswerte, die beispielsweise unter 0,3 liegen, werden als Einbruch und damit als potenzielle thematische Grenze betrachtet.</p><p>Nun können wir die Grenzen direkt aus den <em>similarities</em> berechnen. Dazu nehmen wir die indexen aller Werte, die unter dem Treshhold von 0,3 liegen. Diese indexen stellen unsere berechnete thematischen Grenzen dar. Nennen wir sie <em>counted_boundaries</em>.</p><p>Was haben wir bis jetzt?</p><p><em>counted_boundaries, actual_boundaries. </em>Damit konnen wir berechnen wie erfolgreich unser algorithmen die grenzen gefunden hat.</p><pre>counted_boundaries = [3, 6, 10] #just example<br>actual_boundaries = [3, 6, 8, 10]<br><br>correct = len(<br>    set(counted_boundaries) &amp;<br>    set(actual_boundaries)<br>)<br><br>accuracy = correct / len(actual_boundaries) * 100<br><br>print(f&quot;Accuracy: {accuracy:.2f}%&quot;)</pre><pre>Accuracy: 75.00%</pre><p>Wir verpacken unsere Logik in einer Funktion damit wir verschiedene Modelle, Datensätze und Parameter flexibel testen und miteinander vergleichen können.</p><pre>def find_boundaries(sentences, threshold=0.3, model):<br>    embeddings = model.encode(sentences)<br><br>    boundaries = []<br><br>    for i in range(len(embeddings) - 1):<br>        similarity = cosine_similarity(<br>            [embeddings[i]],<br>            [embeddings[i + 1]]<br>        )[0][0]<br><br><br>        if similarity &lt; threshold:<br>            boundaries.append(i)<br><br>    return boundaries, similarities<br><br><br><br>def calculate_success_rate(predicted, actual):<br>    correct = len(set(predicted) &amp; set(actual))<br><br>    if len(actual) == 0:<br>        return 0<br><br>    return correct / len(actual)<br><br></pre><p>Anschließend testen wir mehrere Embedding-Modelle auf eine menge von Testdaten. Die Ergebnisse speichern wir zusammen mit den Diagrammen, um sie später zu analysieren.</p><pre>models = [<br>    &quot;paraphrase-multilingual-MiniLM-L12-v2&quot;,<br>    &quot;all-MiniLM-L6-v2&quot;,<br>    &quot;all-mpnet-base-v2&quot;,<br>]<br><br>test_documents = [<br>    {<br>        &quot;sentences&quot;: [...],<br>        &quot;actual_boundaries&quot;: [5, 12],<br>    },<br>    {<br>        &quot;sentences&quot;: [...],<br>        &quot;actual_boundaries&quot;: [7, 18],<br>    },<br>]<br><br><br>for model_name in models:<br><br>    model = SentenceTransformer(model_name)<br><br>    for document in test_documents:<br><br>        counted_boundaries = find_boundaries(<br>            model,<br>            document[&quot;sentences&quot;]<br>        )<br>        score = calculate_success_rate(<br>            counted_boundaries,<br>            document[&quot;actual_boundaries&quot;]<br>        )<br>        saveResults(counted_boundaries, score, model_name)<br>        drawDiagram(counted_boundaries, score, model_name)</pre><p>Das war’s!🎉🎉🎉 Mit diesem Ansatz konnte ich bereits eine Genauigkeit von rund 70 % erreichen. Eigentlich wollte ich an dieser Stelle schon Feierabend machen. Doch eine Frage ließ mir keine Ruhe: Warum erreicht unser Algorithmus keine 90 %, Können wir ihn noch weiter verbessern?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/460/0*Ue7Nz0r8xMC-bjHe.jpg" /></figure><p>Lassen Sie uns gemeinsam herausfinden, wo die Grenzen dieses Ansatzes liegen und wie wir ihn weiter verbessern können.</p><p>Werfen wir nun einen Blick auf die fehlerhaften Fälle in unserer gespeicherten Tabelle. Dabei stoßen wir auf folgendes Diagramm:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*G2V2o9s4oPdKPGpVcBJhGQ.png" /></figure><p>Doch irgendetwas stimmt hier nicht. Wenn wir fast 90 % der Grenzen verfehlen. Das Diagramm vermittelt den Eindruck, als würde das gesamte Dokument nur ein einziges Thema behandeln. Werfen wir daher einen Blick auf den eigentlichen Text. Er sieht ungefähr so aus:</p><blockquote>1. In Deutschland herrscht eine schwere Wirtschaftskrise, und die Regierungskoalition ist zerbrochen.</blockquote><blockquote>2. Die etablierten Parteien verlieren zunehmend Stimmen bei ihren Wählern.</blockquote><blockquote>3. Angela Merkel gewinnt die Wahl, und ihre Partei zieht als stärkste Kraft in den Bundestag ein.</blockquote><blockquote>4. Usain Bolt gewinnt erneut die Weltmeisterschaft.</blockquote><blockquote>5. Obwohl er in der vergangenen Saison verletzt war, konnte er seine Konkurrenten erneut hinter sich lassen.</blockquote><blockquote>6. Die nächsten Olympischen Spiele finden in Deutschland statt und werden den Abschluss seiner sportlichen Karriere markieren.</blockquote><p>Nach dem dritten Satz endet der Text über Politik, und beginnt ein Text über Sport. Der dritte und der vierte Satz sprechen jedoch beide über einen Sieg. Deshalb betrachtet unser Algorithmus sie als ähnlich. Unser Programm vergleicht die Sätze 4 und 5 weiter. Da beide zum selben Text gehören, ist ihre Ähnlichkeit ebenfalls hoch, und wir verpassen die eigentliche Grenze.</p><h4>Was können wir in diesem Fall tun?</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*jE6xhROqioZiN-QZ16BizQ.jpeg" /></figure><p>Wir nehmen jeweils drei Sätze links und vergleichen sie mit drei Sätzen rechts. Dadurch vergleichen wir nicht einzelne Sätze, sondern deren Kontext.</p><pre>def find_boundaries(model, sentences, window_size=3, threshold=0.3):<br>    boundaries = []<br><br>    for i in range(window_size, len(sentences) - window_size):<br>        left_window = &quot; &quot;.join(<br>            sentences[i - window_size:i]<br>        )<br><br>        right_window = &quot; &quot;.join(<br>            sentences[i:i + window_size]<br>        )<br><br>        left_embedding = model.encode(left_window)<br>        right_embedding = model.encode(right_window)<br><br>        similarity = cosine_similarity(<br>            [left_embedding],<br>            [right_embedding]<br>        )[0][0]<br><br>        if similarity &lt; threshold:<br>            boundaries.append(i)<br><br>    return boundaries</pre><p>Nach dem erneuten Testlauf auf unseren Testdaten sehen wir sofort einen positiven Effekt: Die Genauigkeit steigt um rund 10 Prozent🚀🚀🚀🎉🎉🎉.</p><p><strong>Top!</strong></p><p>Natürlich hört die Optimierung hier nicht auf. Wir können mit verschiedenen Threshold-Werten experimentieren, die Größe des Sliding Windows anpassen oder sogar einen dynamischen Threshold verwenden, der sich an die Verteilung der Similarity-Werte im Text anpasst.</p><p>All diese Ansätze könnten die Ergebnisse weiter verbessern. Die Details überlasse ich jedoch Ihnen als Hausaufgabe, sonst wäre dieser Artikel vermutlich doppelt so lang geworden. 🙂</p><p><strong>Und das ist erst der Anfang. NLP ist ein riesiges und unglaublich spannendes Themengebiet.</strong></p><p>In den nächsten Artikeln werden wir versuchen, unseren Algorithmus weiter zu verbessern, indem wir nicht nur ganze Sätze, sondern auch die Reihenfolge der Wörter innerhalb eines Satzes berücksichtigen.</p><p>Der aktuelle Ansatz kann thematische Grenzen bereits recht gut finden, liegt jedoch manchmal ein paar Sätze neben der tatsächlichen Grenze. Deshalb wollen wir künftig eine Idee aufgreifen, die an Suchverfahren aus der Quicksort erinnert: Zunächst bestimmen wir eine grobe Grenze und verfeinern diese anschließend in mehreren Schritten, bis wir die exakte Position gefunden haben.</p><p><strong>Vielen Dank fürs Lesen und Mitdenken. Bis zum nächsten Mal, wenn wir unseren Algorithmus noch ein Stück besser machen!</strong> 😊 🚀</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b0e4d5541cdd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Counter for billiards clubs]]></title>
            <link>https://medium.com/@nurseyit.tursunkulov/counter-for-billiards-clubs-68612541227f?source=rss-85e77a3a7114------2</link>
            <guid isPermaLink="false">https://medium.com/p/68612541227f</guid>
            <category><![CDATA[raspberry-pi]]></category>
            <category><![CDATA[android-app-development]]></category>
            <dc:creator><![CDATA[Nurseyit Tursunkulov]]></dc:creator>
            <pubDate>Thu, 31 Oct 2019 19:30:46 GMT</pubDate>
            <atom:updated>2019-10-31T19:30:46.076Z</atom:updated>
            <content:encoded><![CDATA[<p>Counter for billiards clubs</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*vqYTTeze111bMkFO" /></figure><p>I got an offer to make a counter for a billiard club. The problem was that managers count the sum of a game with a calculator and write date to notebooks. This was inefficient because there could be miscounting, stealing (since you can’t control managers 24 hours per day) and it was just a boring job.</p><p>// this article is not yet finished, I will write more when I have free time</p><p>I decided to make an android app that would count everything, write to a database, login/logout managers and so on. For this, I used Raspberry Pi, Relays Arduino, and just a smartphone. Here I will explain how I wrote code, connected hardware parts, which problem I faced and how I solved them. Here is GitHub repo <a href="https://github.com/NurseyitTursunkulov/Bilyard">https://github.com/NurseyitTursunkulov/Bilyard</a> any contributions or suggestions are welcome.</p><p>The general scheme looks like this:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/400/0*Gz8IHGYFojwj__6R" /></figure><p>Android sends commands to raspberry by wifi, and raspi transfers it farther to relay which turns on/off the light above the table</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*NzGlqOMjET4sXOZ3" /></figure><p>The coding stuff in hardware is pretty easy. I installed Flask framework in Raspi, and communication implemented with REST api. Flask just get command as “/off/3” or “/onn/4 “.</p><p>The main meat is in the android code, because I wanted to write code according clean architechture.</p><p>So this the end for today, you can check repo, it is preaty self explanaitory. I will finish this article as soon as I have time.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=68612541227f" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>