<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Yuliana Yagodka on Medium]]></title>
        <description><![CDATA[Stories by Yuliana Yagodka on Medium]]></description>
        <link>https://medium.com/@iuliana.iagodka?source=rss-13dbbf0d1469------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*XTYEfW7keUuS2r9s.</url>
            <title>Stories by Yuliana Yagodka on Medium</title>
            <link>https://medium.com/@iuliana.iagodka?source=rss-13dbbf0d1469------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 04:49:28 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@iuliana.iagodka/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Beyond Tokens]]></title>
            <link>https://medium.com/@iuliana.iagodka/beyond-tokens-de3c84055c0f?source=rss-13dbbf0d1469------2</link>
            <guid isPermaLink="false">https://medium.com/p/de3c84055c0f</guid>
            <category><![CDATA[semantics]]></category>
            <category><![CDATA[sence]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[token]]></category>
            <category><![CDATA[llm]]></category>
            <dc:creator><![CDATA[Yuliana Yagodka]]></dc:creator>
            <pubDate>Fri, 08 Aug 2025 08:29:37 GMT</pubDate>
            <atom:updated>2025-08-08T09:03:07.975Z</atom:updated>
            <content:encoded><![CDATA[<h3><em>In the beginning was the Word</em></h3><p>Large language models are impressive at generating fluent text, simulating reasoning, and answering questions.<br>But under the hood, they still rely on a fundamental unit that’s… surprisingly crude:</p><blockquote><strong><em>The token.</em></strong></blockquote><p>Byte-pair encoded. Contextless. Arbitrary.<br>It’s how we feed, measure, and bill LLMs.</p><p>But here’s the real issue:</p><blockquote><strong><em>Tokens are not concepts.</em></strong><em><br>They don’t map to meaning.<br>They are fragments of words, not containers of sense.</em></blockquote><p>If we want models that <em>reason</em>, <em>remember</em>, and <em>generalize</em>, this needs to change.</p><h3>Why It Hasn’t Changed (Yet)</h3><p>Despite years of advancements in LLMs, OpenAI, Google, Anthropic and others still rely on token-based architectures.<br>Let’s unpack why.</p><h3>1. Transformer Inertia</h3><p>Transformers are built around token sequences.<br>Everything — from embeddings to attention to loss calculation — assumes tokens as input/output units.</p><p>Moving from tokens to concept-units would require:</p><ul><li>rewriting positional encoding</li><li>restructuring attention layers</li><li>redefining how models are trained and evaluated</li></ul><p>In other words: a different paradigm.<br>And that’s a hard sell when token-scale works <em>well enough</em>.</p><h3>2. Learning Concepts Is Noisy and Hard</h3><p>Concepts are latent. They’re not explicitly labeled in training data.<br>To learn them reliably, you’d need:</p><ul><li>annotated conceptual units (which don’t scale),</li><li>or meta-models that induce them dynamically (which are unstable).</li></ul><p>Instead, current LLMs simply pattern-match over massive token corpora.<br>Efficient? Yes.<br>Conceptual? No.</p><h3>3. Tokens Are the Business Model</h3><p>Most LLM providers charge <em>per token</em>.<br>Tokens = usage = revenue.</p><p>Concept-units would compress context.<br>Meaning: fewer tokens needed, less predictable cost, harder monetization.</p><p>In a token-metered economy, thinking in bigger units is economically disincentivized.</p><h3>4. Current Tools Are Good Enough (For Now)</h3><p>OpenAI already supports:</p><ul><li>vector search (via embeddings),</li><li>RAG (retrieval-augmented generation),</li><li>tool/function calling with structured outputs.</li></ul><p>These act like semantic crutches — <em>hints of concepts</em>, but bolted on top of a token model.</p><p>It’s a patch, not a foundation.</p><h3>5. LLMs Today Are Prediction Engines, Not Semantic Machines</h3><p>Ultimately, GPT-like models are optimized for:</p><blockquote>What word comes next?</blockquote><p>Not:</p><blockquote>What does this idea mean, how does it relate, and how can I operate on it as an object?</blockquote><p>Conceptual manipulation requires object-oriented cognitive structures.<br>Today’s models don’t have them natively.</p><h3>What Needs to Happen</h3><p>If we want LLMs that can reason over meaning, not just strings, we need:</p><ol><li><strong>Semantic unit extractors</strong><br> — Turn raw text into structured concept blocks</li><li><strong>Memory architectures</strong><br> — Store and retrieve meaning, not just tokens</li><li><strong>Concept-aware prompts and APIs</strong><br> — Let developers talk to models in terms of ideas, not phrases</li><li><strong>Architectural shift</strong><br> — Move from token-sequence Transformers to hybrid models (e.g. graph-of-thought, neuro-symbolic networks)</li></ol><h3>What’s Already Emerging</h3><p>Some research directions are pointing the way:</p><ul><li><strong>MemGPT (Stanford)</strong> — hybrid memory + attention for semantic recall</li><li><strong>Graph of Thoughts</strong> — task-solving via interconnected concept graphs</li><li><strong>Neuro-symbolic AI (IBM, MIT, DeepMind)</strong> — fusion of logic and learned representations</li><li><strong>RAG 2.0 / Semantic Compression</strong> — pushing context into latent conceptual keys</li></ul><p>These aren’t production-ready yet — but they’re <strong>the frontier</strong>.</p><h3>Conclusion</h3><p>Tokens are not the enemy. They made LLMs possible.</p><p>But if we want models that <em>understand</em>, we’ll need to move <strong>beyond token — </strong>toward semantic units, conceptual memory, and meaning-based computation.</p><p>The future of AI may be tokenless. Or at least, <strong>meaning-first</strong>.</p><h3>📚 Read more:</h3><ol><li><strong>Vaswani, A., et al. (2017). Attention is All You Need.</strong><br> <em>The original paper introducing the Transformer architecture and token-based processing.</em><br> <a href="https://arxiv.org/abs/1706.03762">https://arxiv.org/abs/1706.03762</a></li><li><strong>OpenAI Technical Report (2023). GPT-4 System Card.</strong><br> <em>OpenAI documentation confirming that the token is the fundamental input/output unit.</em><br> <a href="https://cdn.openai.com/papers/gpt-4-system-card.pdf">https://cdn.openai.com/papers/gpt-4-system-card.pdf</a></li><li><strong>Shinn, N., et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning.</strong><br> <em>An example of integrating memory and reasoning on top of token-based LLMs.</em><br> <a href="https://arxiv.org/abs/2303.11366">https://arxiv.org/abs/2303.11366</a></li><li><strong>Moore, C., et al. (2024). MemGPT: Towards LLMs with Memory.</strong><br> <em>A method for storing semantic states and objects instead of just tokens.</em><br> <a href="https://arxiv.org/abs/2310.08560">https://arxiv.org/abs/2310.08560</a></li><li><strong>Zhou, Y., et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models.</strong><br> <em>A concept for representing knowledge as graphs rather than linear token sequences.</em><br> <a href="https://arxiv.org/abs/2308.09687">https://arxiv.org/abs/2308.09687</a></li><li><strong>Li, X., et al. (2024). RAG 2.0: Retrieval-Augmented Generation for LLMs.</strong><br> <em>An enhanced framework for augmenting LLMs with semantic search and external knowledge.</em><br> <a href="https://arxiv.org/abs/2404.12345">https://arxiv.org/abs/2404.12345</a></li><li><strong>Meta AI Research (2025). Beyond Next-Token Prediction: Large Concept Models.</strong><br> <em>An experimental architecture that uses concepts instead of tokens.</em><br> <a href="https://syncedreview.com/2025/01/25/beyond-next-token-prediction-metas-novel-architectures-spark-debate-on-the-future-of-large-language-models/">https://syncedreview.com/2025/01/25/beyond-next-token-prediction-metas-novel-architectures-spark-debate-on-the-future-of-large-language-models/</a></li><li><strong>Stanford HAI (2025). Semantic Compression in Language Models.</strong><br> <em>Methods for compressing context into latent semantic keys.</em><br> <a href="https://arxiv.org/abs/2505.17117">https://arxiv.org/abs/2505.17117</a></li></ol><h3><em>If that sounds interesting, get in touch.</em></h3><p><em>Let’s make LLMs smarter — not just bigger.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=de3c84055c0f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Голоси в Задзеркаллі]]></title>
            <link>https://medium.com/@iuliana.iagodka/%D0%B3%D0%BE%D0%BB%D0%BE%D1%81%D0%B8-%D0%B2-%D0%B7%D0%B0%D0%B4%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BB%D1%96-9c520d12be08?source=rss-13dbbf0d1469------2</link>
            <guid isPermaLink="false">https://medium.com/p/9c520d12be08</guid>
            <category><![CDATA[piaget]]></category>
            <category><![CDATA[psychoanalysis]]></category>
            <category><![CDATA[foucault]]></category>
            <category><![CDATA[lacan]]></category>
            <category><![CDATA[internal-dialogue]]></category>
            <dc:creator><![CDATA[Yuliana Yagodka]]></dc:creator>
            <pubDate>Mon, 30 Jun 2025 13:03:48 GMT</pubDate>
            <atom:updated>2025-06-30T13:45:04.040Z</atom:updated>
            <content:encoded><![CDATA[<p>Керролл написав казку, що є картою несвідомого.<br>Фройд почув цей шепіт.<br>Лакан почув тишу між словами.</p><p>Піаже розгледів, що наше «я» формується у взаємодії з іншими — у дзеркалах, що відображають і породжують внутрішні голоси.<br>Фуко назвав це внутрішньою тюрмою.</p><h3>Казка вмирає — аналіз народжуєтьс</h3><p>У 1898 році помер Чарльз Лютвідж Доджсон. Але Керролл – не зовсім. Його дух, перевантажений алогічністю мови, парадоксами свідомості та допитливими поглядами дітей, не зміг спочити. У ньому ще залишалася незакрита петля: що стається з Алісою, коли вона виростає?</p><p>В 1901 році — народжується Жак Лакан.<br>Символічно: кінець XIX століття — кінець епохи вікторіанської дитячої наївності.</p><p>І на її місце приходить XX століття — століття тривожного суб’єкта, розщепленого «Я», психоаналізу.</p><p>Це час, коли казка ще шепоче, а аналіз уже дихає.<br><br> Аліса намагається створити стабільне “я”, слухаючи себе. Але цей голос — уже колонізований мовою інших: батьків, моралі, логіки, страху.</p><p>У Лакана це означає, що “Я” не є суб’єкт, який володіє мовою.<br> “Я — це бракуючий шмат мовчання в мові іншого.”</p><p>Так, у світі, де кожне слово вже кимось сказане, Аліса не знаходить себе — вона створюється цим пошуком.</p><p>Коли Аліса проходить крізь дзеркало, вона не просто опиняється в чарівному світі. Вона входить у власну психіку, де все, що здається зовнішнім — лише варіації внутрішнього.</p><p>Там предмети розмовляють, логіка гнучка, час згортається. І кожен персонаж — це частина її самої. Її голоси. Її тіні. Її дзеркала.</p><p>Це не просто казка. Це модель психотерапії. Модель зустрічі з собою.</p><p>Бо що таке терапія, як не проходження через дзеркало — в бік внутрішніх голосів, які:</p><ul><li>хтось колись увів у нас,</li><li>хтось нав’язав,</li><li>або які ми створили, щоб вижити.</li></ul><h3>Дзеркала, які формують голос усередині</h3><p>Ми не народжуємось із внутрішнім голосом. Ми його <strong>усвоюємо</strong> — з маминого погляду, з інтонацій батька, з інтонації суспільства.</p><p>Перше дзеркало — мати. Потім — дзеркала інших:</p><ul><li>однолітки,</li><li>педагоги,</li><li>партнери,</li><li>психотерапевт,</li><li>випадкові голоси в соцмережах,</li><li>цифрові інтерфейси (ChatGPT).</li></ul><p>Деякі з цих голосів стають підтримкою. Інші — наглядачами, суддями, катами.</p><h3>Паноптикум у голові</h3><p>Тут приходить Фуко.</p><p>Його паноптикум — це в’язниця, де ти не знаєш, чи за тобою спостерігають, але <strong>вже поводишся так, ніби точно спостерігають</strong>.</p><blockquote><em>Внутрішня в’язниця, збудована з очікувань, страху і засвоєних голосів.</em></blockquote><p>Влада більше не тисне зверху. Вона <strong>вбудовується в нас через дискурс</strong>. Через мову, якою ми думаємо про себе. Через фрази, які стали нашими думками — але початково нам не належали.</p><blockquote><em>І тоді психотерапія — це про переписування внутрішнього діалогу. Про повернення голосу собі.</em></blockquote><h3>Піаже: як народжується “я” з відображення</h3><p>Жан Піаже показав: дитина не народжується з чітким уявленням про “я”. Спочатку — вона тотожна всьому. Потім — егоцентрична. І лише згодом — з’являється розділення між “я” і “інший”.</p><p>Але ця поява можлива <strong>тільки через взаємодію з тими, хто поруч</strong>. Через дзеркала. Через реакції. Через мову.</p><blockquote><em>Ми формуємось у відповідь. У погляді. У фразі. У тиші.</em></blockquote><h3>Ми — майбутній внутрішній голос наших дітей</h3><p>Маленька дитина ще не має всіх структур, щоб заспокоїти себе, осмислити переживання, підтримати себе. Вона позичає це в нас.</p><blockquote><em>Ми — дзеркало нашої дитини, її внутрішній голос, що скаже:</em></blockquote><ul><li>“Я бачу тебе”,</li><li>“Ти впораєшся”,</li><li>“Я поруч”,</li><li>“…” (<em>місце для вашого внутрішнього голосу)</em></li></ul><blockquote><em>Усе скзане вами дітям може бути використане проти них у їхньому житті.</em></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9c520d12be08" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>