<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Marc Chicha on Medium]]></title>
        <description><![CDATA[Stories by Marc Chicha on Medium]]></description>
        <link>https://medium.com/@marc.chicha_82934?source=rss-1d9ad84bf6d------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*fCxI3mVlKAB_x3D5HBnbHQ.jpeg</url>
            <title>Stories by Marc Chicha on Medium</title>
            <link>https://medium.com/@marc.chicha_82934?source=rss-1d9ad84bf6d------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 16:35:18 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@marc.chicha_82934/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[“Grok on The Grill”, Part III-2 (*F)]]></title>
            <link>https://ai.plainenglish.io/grok-on-the-grill-part-iii-2-f-7411fe16c893?source=rss-1d9ad84bf6d------2</link>
            <guid isPermaLink="false">https://medium.com/p/7411fe16c893</guid>
            <category><![CDATA[hallucinations-in-llms]]></category>
            <category><![CDATA[cognition]]></category>
            <category><![CDATA[llm]]></category>
            <dc:creator><![CDATA[Marc Chicha]]></dc:creator>
            <pubDate>Fri, 14 Nov 2025 15:02:48 GMT</pubDate>
            <atom:updated>2025-11-27T16:27:54.583Z</atom:updated>
            <content:encoded><![CDATA[<h4>(Après le grill, le lance-flammes)</h4><p><strong><em>“L’Origine des Espèces (artificielles)”</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*fo4QWVKer7tBzcXi" /><figcaption>arePhoto by <a href="https://unsplash.com/@maxberg?utm_source=medium&amp;utm_medium=referral">Maxim Berg</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p><strong><em>(</em></strong><a href="https://medium.com/@marc.chicha_82934/grok-on-the-grill-part-iii-1-f-de92cdd88d88"><strong><em>Grok On The Grill, Part III-1-F*, continued</em></strong></a><strong><em>)</em></strong></p><h3>4. Même espace, bases vectorielles différentes ?</h3><p>Désormais, avec une image plus familière de la représentation interne de la signification pour les <strong><em>LLMs</em></strong>, nous pouvons ajouter une étape à l’exploration, et questionner l’<strong><em>adéquation</em></strong> de cette <strong><em>signification artificielle, géométrique</em></strong>, avec la nôtre, en tant qu’humains.</p><p><em>En bref</em>: Comment positionner la <em>considérable compétence apparente, “tous azimuts” des </em><strong><em>LLMs </em></strong><em>dans la compréhension de nos demandes</em>, à la lumière de cette tendance toujours persistante et inévitable qu’ils présentent tous, à générer des <em>hallucinations</em>, des <em>confabulations</em> et <em>d’autres réponses inattendues </em>?</p><h3>4.1. “Nous, Et Eux” : Eux, les LLMs</h3><h4>4.1.1. Une portée immense, mais approximative ? La Question-10.</h4><p><em>Question</em> : <strong><em>« Que faut-il pour comprendre un mot ? »</em></strong><br>La question de la compréhension ne peut pas être exposée en termes plus clairs que par <a href="https://fr.wikipedia.org/wiki/Diego_Marconi"><strong><em>Diego Marconi</em></strong>,</a> <em>Professeur de Philosophie du Langage à L’Université de Turin-Vercelli (Italie)</em>, dans la toute première phrase de son livre, <a href="https://www.amazon.fr/-/en/Diego-Marconi/dp/0262133334/ref=sr_1_1?crid=2WTKHSM3GBOS4&amp;dib=eyJ2IjoiMSJ9.rzHIwn3QmKfsJPFiGmh0kBQoaLV1no3BLr5vmOBnPcA7LpqM34pw_QlV4t9ab0lQAioEQ-X_MzbQZ2mPv4iZriAEUGIOrqnCMOXQ3mErAYaJSgp16jDyqE7FHQNC8IxGuD6ua6XhIZ5T48-Nkt6OPbfDMIYAJcOLT2kCiTFsoyZ6g3P2DrbNlWmkn0i_lSda0ItmfXcmYtrMuYehbCUoMI29XPatWGRAQLqopl95qTg.eGmZObhrsg8VE3aFPjDP87yrbkyCYvJZLI6CME-hsrM&amp;dib_tag=se&amp;keywords=lexical+competence&amp;qid=1759056156&amp;s=books&amp;sprefix=lexical+competence%2Cstripbooks%2C53&amp;sr=1-1"><strong><em>Lexical Competence</em></strong></a><strong><em>, </em></strong>(<strong><em>MIT</em></strong>, <em>1997</em>).</p><blockquote>« Ce livre traite d’un seul problème philosophique, à savoir, quelle est la différence entre un système, naturel ou artificiel, dont on peut dire qu’il comprend, ou ne comprend pas un langage naturel.<em> </em>»</blockquote><p>L’enseignement du <strong><em>Professeur Diego Marconi</em> </strong>s’appuie sur le <em>concept de compétence lexicale</em> pour questionner <strong><em>l’aptitude à la signification lexicale </em></strong>(<em>humaine ou artificielle</em>) de toute entité lors de l’utilisation du langage naturel. <br>En fait, <em>exactement notre sujet</em>, à part entière. <br>Ainsi, la <em>compétence lexicale sémantique</em> consiste en deux capacités distinctes et complémentaires: <em>référentielle</em> et <em>inférentielle</em>:</p><ul><li><em>La compétence sémantique </em><strong><em>référentielle</em></strong>,<br>à savoir, la capacité de comprendre le sens des mots par la relation à leurs <strong><em>référents</em></strong> ou <strong><em>dénotations</em></strong>; en bref, cette compétence lexicale consiste à savoir <strong><em>à quoi un mot fait référence</em></strong>, ou <em>c</em><strong><em>e qu’il représente dans le monde</em></strong>,</li></ul><p>et</p><ul><li><em>La compétence sémantique </em><strong><em>inférentielle</em></strong>,<br>à savoir, la capacité <strong><em>d’inférer la signification</em></strong> à partir d’expressions linguistiques <strong><em>qui ne sont pas</em> <em>explicitement énoncées ou directement accessibles par référence</em></strong>; cette compétence implique l’utilisation d’informations <em>contextuelles</em>, de <em>connaissances préalables</em> et de <em>processus cognitifs</em> comme l’<strong><em>inférence</em></strong>, l’<strong><em>implication</em></strong> et la<strong> </strong><a href="https://en.wikipedia.org/wiki/Pragmatics"><strong><em>pragmatique</em></strong></a><em>, </em>pour en <strong><em>dériver</em></strong> la signification.</li></ul><p>Évidemment, <em>signification</em> et <em>compréhension</em> resteront toujours des domaines incertains et flous, totalement exclusifs de toute métrique raisonnable ou totalement objective, mais au moins disposons-nous maintenant de <em>deux dimensions principales </em>selon lesquelles nous pouvons évaluer une <em>vraisemblance</em> préalable, étudier des exemples sélectionnés de <em>compréhension douteuse</em>, puis émettre une <strong><em>estimation éclairée des capacités de nos grands modèles de langage.</em></strong></p><p>D’un autre côté, comme nos modèles s’expriment couramment dans notre langage naturel, et comprennent visiblement nos demandes <strong><em>-du moins, en apparence-</em></strong>, 80% du temps, ils nous offrent l’occasion exceptionnelle de <em>requérir leur propre appréciation sur leurs propres performances de compréhensio</em>n, le long de ces deux axes distincts : <em>référentiel</em>, et <em>inférentiel</em>.</p><h4>4.1.2. “Oublier le grill, utiliser le lance-flammes”: L’auto-test final</h4><p>Ainsi, comme complément aux 9 questions initiales adressées à <em>Grok</em>, pour <em>tester sa capacité à découvrir les traces digitales de l’immense Charles Saunders Peirce à travers un texte traduit,</em><br>J’ai soumis le modèle à une nouvelle série de requêtes, la <strong><em>« Question 10 »</em></strong> (<em>indexée :« Q10-</em><strong><em>x </em></strong><em>»| </em><strong><em>x</em></strong><em>=</em><strong><em>1,..,11</em></strong>), mais cette fois, <em>principalement destinée à lui faire évaluer ses propres capacités sémantiques, celles qu’il avait manifestées lors des interrogations précédentes, </em><strong><em>Q1-Q9</em></strong><em>.</em><br>Et à ce stade, alors que <em>Grok</em> a commis de nouvelles erreurs sévères et indubitables “à la volée”, c’est à dire pendant qu’il évaluait sa propre compétence dans la première phase, je l’ai finalement conduit à reconsidérer également ses nouvelles erreurs, et invité à exprimer <a href="https://github.com/First6a/GotGrilled/blob/main/TheGrill-Q10%2B%2B.pdf"><strong><em>ses propres conclusions sur ses propres capacités sémantiques</em></strong></a>, <strong><em>référentielles</em></strong> et <strong><em>inférentielles</em></strong>, du début à la fin de cette session.<br>Comme vous pourrez le voir dans le dans le rapport PDF, la série contenue dans <strong><em>“Question 10” </em></strong>a été posée bien après la première série, mais dans la même session continuée, pour <em>assurer que le modèle n’avait pas effacé le contenu des échanges écrits dans les questions-réponses de 1 à 9.</em> <br>Les deux premières questions de cette série <strong><em>[Q10–1 et Q10–2] </em></strong>n’avaient pour but que de vérifier</p><ul><li>(1): que la signification des <strong><em>concepts</em></strong> de compétence sémantique <em>référentielle</em> et <em>inférentielle</em> du modèle étaient bien <strong><em>respectivement alignés</em></strong><em> sur les concepts réels de l’utilisateur</em> : <strong><em>[Q10–1]</em></strong>, et</li><li>(2): que le modèle reconnaissait que la compétence sémantique de l’une ou l’autre catégorie est <strong><em>variable</em></strong>, <em>et peut donc être très différente d’une question à l’autre</em> : <strong><em>[Q10–2]</em></strong>.</li></ul><p>Puis, de <strong><em>Q10–4 à Q10–11</em></strong>, immédiatement à <strong><em>la suite de la question Q10–3</em></strong><em> ci-dessous, Grok</em> est de nouveau <em>passé sur le grill (session poursuivie en français, donc questions en français)</em>, avec divers recoupement sur les questions précédentes, le long des deux dimensions, <em>référentielle</em> et <em>inférentielle</em> de sa compétence sémantique lexicale:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*io41Tndxh-TiQMy19GJKwQ.png" /><figcaption><strong>(“TheGrill-Q10++.pdf”) : Q10–3</strong></figcaption></figure><p>Tout comme pour les questions <em>1 à 9 </em>de l’exercice précédent, je vous suggère vivement de <em>télécharger le fichier</em>, de l’ouvrir avec n’importe quel <em>lecteur PDF</em>, pour explorer en détail également cette deuxième partie de la conversation:</p><p><em>Vous pourriez ressentir comme un sentiment étrange, un peu comme assister à une séance de thérapie dans le bureau d’un psy …</em></p><p>En fait, s’exprimant sur ses propres performances sémantiques, <em>Grok</em> s’est initialement attribué <strong><em>8/10</em></strong> et <strong><em>7/10 </em></strong><em>respectivement</em>, pour ses compétences lexicales<em> référentielle</em> et <em>inférentielle</em> globales (sur les <strong><em>Q&amp;A 1 à 9</em></strong>), exprimant ainsi, initialement, une <strong><em>confiance en soi</em></strong><em> </em><strong><em>très satisfaisante</em></strong><em>, </em>dans sa <em>compréhension du sens </em>de notre conversation<em>.</em></p><p>Mais par la suite, comme ses erreurs passées lui étaient progressivement et séparément <em>remémorées</em>, et qu’il a été <em>invité à reconsidérer ses scores</em>, le modèle a commencé à glisser vers une <em>dégradation progressive de son auto-évaluation globale</em>, jusqu’à<strong><em> </em></strong>atteindre<strong><em> 5/10</em></strong> &amp; <strong><em>6/10, </em></strong>respectivement.</p><p>Puis, à l’occasion de la question <strong><em>Q10–7</em></strong>, <em>Grok<br>- </em>(1) a clairement exprimé une pensée et une réponse dans lesquelles il a explicitement confondu les significations respectives de <strong><em>« rise » </em></strong>et <strong><em>« fall </em></strong>» (<strong><em>« hausse » et « baisse »</em></strong>), tout en affirmant qu’il ne s’agissait que <strong><em>d’une erreur de formulation</em></strong> (sic, <em>« a formulation error »</em>); puis<br>- (2) un peu plus tard, en faisant une addition dont l’opérande était une liste de 9 notes (<em>ses propres scores</em>), <em>des nombres entiers tous compris dans l’intervalle</em> <strong><em>[0–10]</em></strong>, le modèle a trouvé <strong><em>76</em></strong>, <em>faux</em>, au lieu de <strong><em>69</em></strong>, <em>bon résultat</em>.<br>Pour être complètement honnête, <em>Grok</em> a remarqué tout seul son erreur d’addition, et l’a corrigée spontanément pendant son processus de réflexion, sans action de l’utilisateur. <br>Mais la <em>cause</em> <em>présumée</em> qu’il a attribué à cette erreur a <em>mis en question sa compréhension, </em>lorsque <em>Grok</em> a froidement expliqué que chaque valeur numérique étant représentée par un <em>token</em>, son erreur pourrait provenir soit <em>« d’un échec d’appairage des nombres avec leur valeur littérale »</em>, soit « <em>d’une erreur de tokenisation par confusion éventuelle entre les tokens </em><strong><em>“76”</em></strong><em> et </em><strong><em>“69” </em></strong><em>»</em>…</p><p>En conséquence, à la fin de <strong><em>Q10–9</em></strong>, le modèle a finalement reconnu la gravité du <em>cumul exceptionnel de ses erreurs de compréhension </em><strong><em>dans l’instance correspondante</em></strong>, et a honnêtement noté sa propre compétence <strong><em>référentielle: 1/10</em></strong>, et sa compétence <strong><em>inférentielle: 2/10.</em></strong> <br>Rien à ajouter, sinon l’émergence d’une sorte de « <strong><em>paradoxe d’ Épiménide</em></strong> » (ou <em>paradoxe du menteur</em>):</p><ul><li>soit <strong><em>vous croyez ce que dit Grok</em></strong>, et <em>faites confiance à son auto-évaluation</em> de compétence, <br>- et alors <strong><em>vous décidez que vous ne pouvez pas faire confiance à un modèle qui peut, à des moments imprévisibles atteindre de tels scores</em>.</strong></li><li><em>soit </em><strong><em>vous ne croyez pas ce que dit Grok</em>,</strong> et <em>ne faites pas confiance à son auto-évaluation</em> (<em>vous pourriez, par exemple, penser que ses réponses ont peut-être été induites par mes requêtes</em>),<br>- et alors <strong><em>vous décidez que vous ne pouvez pas faire confiance à un modèle avec un sens de la vérité fondamentale (</em></strong><em>“ground truth”</em><strong><em>) aussi fragile</em>…</strong></li></ul><p><strong><em>Le choix vous appartient.</em></strong></p><h3>4.2. “Nous”: les humains…</h3><h4>4.2.1.Portée limitée, compréhension beaucoup plus profonde…</h4><p>Il peut être utile de rappeler ici que nos cerveaux primitifs sont dotés de capacités linguistiques <a href="https://languagehat.com/when-did-human-language-emerge/"><em>depuis 135.000 ans environ,</em></a> par deux infimes parties de notre cerveau tout entier, deux réseaux spécialisés et connectés (<em>dans l’hémisphère dominant</em>) consacrés à au traitement du langage, les zones de <a href="https://en.wikipedia.org/wiki/Broca%27s_area"><strong><em>Broca</em></strong></a> et <a href="https://en.wikipedia.org/wiki/Wernicke%27s_area"><strong><em>Wernicke</em></strong></a>; cette <em>spécialisation</em> a pu émerger au cours de notre évolution, par <a href="https://en.wikipedia.org/wiki/Exaptation"><strong><em>exaptation</em></strong></a> peut-être, -<em>ou autrement</em>- de réseaux neuronaux initialement consacrés à la <em>communication primitive par gestes</em>, comme c’est encore le cas chez les primates.</p><p>D’autre part, comme nous sommes immergés, depuis notre naissance, dans <em>l’état en constante évolution des affaires du monde</em>, que nous partageons et nommons tous « <strong><em>le monde extérieur </em></strong>» et / ou <strong><em>« la vie réelle »,</em></strong><br>Nous <strong><em>apprenons en vivant dedans</em></strong>, et acquérons nos connaissances à son sujet</p><ul><li><em>à travers nos </em><strong><em>percepts</em></strong>, nos ‘<em>inputs sensoriels’</em>,</li><li>par nos <strong><em>prédictions constantes</em></strong> sur ‘<em>l’évolution de l’état de ses affaires</em>’,</li><li>par les <strong><em>actions</em></strong> que nous prenons constamment -<em>dans un processus dynamique sans relâche </em>-, pour nous <strong><em>adapter</em></strong> à nos conditions de vie;</li></ul><p>tandis que les <strong><em>LLMs</em></strong>, eux, n’extraient leurs connaissances sur la vie réelle <em>qu’en </em><strong><em>une seule fois</em></strong><em> et de </em><strong><em>manière statique</em></strong><em> pendant leur entraînement, par la seule distillation de leur énorme base de données textuelles.</em></p><h4><strong><em>4.2.2. « Une carte n’est pas le territoire »</em></strong></h4><p>Ainsi, et pour emprunter à<strong><em> </em></strong><a href="https://en.wikipedia.org/wiki/Alfred_Korzybski"><strong><em>Alfred Korzybski</em></strong></a>, sa géniale métaphore,</p><ul><li>nous, humains, dessinons notre <strong><em>carte</em></strong><em> du </em>monde personnelle <strong><em>directement, à partir de notre expérience</em></strong><em>, certes limit</em>ée, mais <em>in vivo</em>, dans le <strong><em>« monde extérieur »</em></strong>, notre<strong><em> territoire</em></strong>, le réel; et nous <em>mutualisons</em> (pour ainsi dire) nos cartes limitées sur ce territoire, à l’aide du <strong><em>langage naturel, </em></strong><em>pour réduire l’incertitude de notre condition</em><strong><em>;</em></strong></li><li>tandis que les <strong><em>LLMs </em></strong>dessinent leur propre <strong><em>carte</em></strong> … : <strong><em>à partir d’une autre carte,</em> une <em>carte</em> <em>seulement textuelle</em></strong>, faite de <em>cartes juxtaposées</em>, c’est-à-dire leur énorme base de données d’entraînement:<br>Pour comprendre à quoi ressemble le monde extérieur,<em> </em><strong><em>les LLMs sont seulement dotés d’une immense ‘carte faite d’autres cartes’…</em></strong></li></ul><p>Évidemment, cette <em>carte faite d’autres cartes</em> est tout à fait gigantesque, en <strong><em>taille</em></strong> comme en <strong><em>portée</em></strong>, <em>par rapport à notre carte personnelle inévitablement limitée</em>, et c’est ce qui rend les <strong><em>performances des LLM réellement exceptionnelles</em></strong>, et tout à fait <em>impressionnantes</em> pour nous.</p><p>Mais la « <strong><em>texture </em></strong>», le <strong><em>grain fin </em></strong>d’une telle carte faite d’autres cartes uniquement textuelles, est à peine comparable à la nôtre de toute façon, car la nôtre est nécessairement et infiniment plus riche, car elle dessinée et prend ses racines <strong><em>« </em></strong><em>dans la vie réelle (‘in real life’) »</em><strong><em>, dotant ainsi nos capacités de raisonnement d’une expérience sensible, sensée, et significative de notre « monde extérieur »</em></strong>.</p><p>Ainsi, à titre d’illustration, le <strong><em>Prof. Diego Marconi </em></strong>observe finement, <em>verbatim</em>: &gt;&gt;&gt;<strong><em>”D’autre part, le système ne peut pas établir si une phrase est vraie ou fausse dans une situation qui ne lui est pas donnée par le langage. Par exemple, il ne peut pas déterminer si une phrase est vraie ou fausse dans le monde réel, il ne peut pas vérifier la phrase, à moins que le « monde réel » ne lui soit donné par une description linguistique. Si vous placez le système dans une pièce et que vous lui demandez d’évaluer la phrase « Il y a au moins quatre sièges dans cette pièce », le système ne pourra pas le faire. »”</em></strong> <em>(op. cit., page 138)</em></p><p>De plus, et sans trop entrer dans des détails neuroscientifiques, les modules spécialisés de <strong><em>Broca</em></strong> et de<strong><em> Wernicke</em></strong> du cerveau humain sont loin d’être seuls responsables de la <strong><em>cognition</em></strong> humaine à l’œuvre dans la <em>compréhension du langage</em>: les développements les plus récents démontrent de manière convaincante que le <em>langage est traité à travers les connexions </em><strong><em>entre ces deux modules</em></strong><em> et </em><strong><em>l’ensemble des autres réseaux cérébraux:</em></strong> lorsque nous <em>comprenons </em>le langage, d’autres modules cérébraux interconnectés s’activent corrélativement, tant <em>directement</em> que par <a href="https://www.sciencedirect.com/science/article/abs/pii/S2451902219301387?via%3Dihub"><em>activation corollaire</em></a>, notamment l’<em>hippocampe</em> et le <em>cortex entorhinal </em>(<a href="https://philarchive.org/versions/GENCME">pour <strong><em>indexer</em></strong> et <strong><em>parcourir</em></strong> nos <strong><em>mémoires épisodiques et sémantiques</em></strong></a>), et/ou notre <em>cortex frontal</em> (<em>pour synthétiser des données en temps réel et délibérer nos décisions</em>), lors d’interactions de <em>cognition</em> particulièrement riches, <em>complexes et encore mal connues</em>.</p><p>En termes purement fonctionnels, le LLM pourrait ainsi être regardé comme une sorte de <strong><em>traducteur de langage très sophistiqué</em></strong>, équivalent des aires de <strong><em>Broca</em></strong> et <strong><em>Wernicke</em></strong> et de celles-là seulement, mais privé de tout “<em>ce qui est autour</em>” : pas de <em>cortex</em>, pas de <em>mémoire ni sémantique ni épisodique</em>, pas de <em>mécanisme de navigation dans l’espace des concepts</em> lié en <em>feedback</em> à l’<em>hippocampe</em> et au c<em>ortex entorhinal</em>, pas d’<em>intention</em>, pas d’<em>instincts</em>, pas d’<em>affects</em>, pas de <em>vision du monde</em>…;</p><p>Rien d’autre, <em>pour en tenir lieu et simuler la compréhension</em>, que</p><ul><li>la <strong><em>prévision statistique du mot suivant le plus probable </em></strong><em>en contexte et position,</em> en référence à sa <strong><em>base de textes</em></strong>,</li><li>à l’aide d’<em>un seul outil</em> pour extraire les sens des mots : <strong><em>l’auto-attention régressive</em></strong>, ce mécanisme unique, original et technologiquement brillant, qui dote le modèle de compétences <em>référentielle,</em> et surtout <em>inférentielle</em> faibles <em>mais suffisamment bonnes (“good enough”) pour lui permettre d’entretenir toujours une </em><strong><em>conversation parfaitement fluide</em>, <em>syntaxiquement, grammaticalement irréprochable</em></strong>, imitant une compréhension humaine satisfaisante, <strong><em>80% du temps,</em></strong> par référence aux <em>motifs signifiants collectés </em>dans une base gigantesque de textes distillés par auto-attention…</li></ul><p>En quelque sorte : un <a href="https://fr.wikipedia.org/wiki/Cerveau_dans_une_cuve"><strong><em>cerveau dans une cuve</em></strong></a><strong> </strong>(‘<a href="https://en.wikipedia.org/wiki/Brain_in_a_vat"><strong><em>brain in a vat</em></strong>’</a>), du type pur “<a href="https://fr.wikipedia.org/wiki/Syst%C3%A8me_1_/_Syst%C3%A8me_2_:_Les_deux_vitesses_de_la_pens%C3%A9e"><strong><em>Système 1</em></strong></a>” défini par <a href="https://en.wikipedia.org/wiki/Thinking,_Fast_and_Slow"><strong><em>Daniel Kahneman</em></strong></a>, pour le seul <em>traitement</em> du langage, mais, pour ainsi dire, en “<strong><em>inférence de surface</em>”</strong> quand à sa <strong><em>compréhension</em></strong>…</p><p>Une telle <em>traduction</em> est évidemment nécessaire, et incontestablement impressionnante, mais <strong><em>elle n’est pas suffisante pour une compréhension réelle</em></strong>, c’est-à-dire <em>pour donner en toutes circonstances aux mots et aux phrases du langage naturel </em><strong><em>une signification </em></strong>qui</p><ul><li><em>non seulement, relie de manière fiable ce que représentent ces mots et phrases </em><strong><em>avec des choses réelles et des états du monde extérieur</em></strong><em>,</em></li><li><em>mais en outre,</em><strong><em> puisse activer toutes les inférences raisonnables</em></strong><em> qu’un locuteur puisse tirer du </em><strong><em>message</em></strong><em> </em><strong><em>que ces mots et phrases véhiculent</em></strong><em>.</em></li></ul><p>C’est l’argument le plus fort et le plus convaincant qui valider l’expérience dite de la <strong><em>« Chambre Chinoise » : </em></strong>l’entité dans la chambre peut manipuler très proprement les signes du langage, sans rien comprendre néanmoins aux idées que le langage véhicule.<br><strong><em>Observation</em></strong> : <br><em>Quand c’est un </em><a href="https://www.sciencesetavenir.fr/animaux/oiseaux/question-de-la-semaine-pourquoi-les-perroquets-sont-ils-les-seuls-animaux-a-avoir-la-faculte-de-parler_137876"><strong><em>perroquet</em></strong></a><em> qui fait exactement ça, est-ce uniquement parce que le volatile coûte bien moins cher à entraîner que tout le monde trouve ça si drôle ?</em>🤔</p><h3>4.3. Comprehension et incompréhensions</h3><h4><em>4.3.1. Compréhension</em></h4><p><em>Condition sine qua non </em>pour échanger en langage naturel, avec un modèle, des expressions portant <em>des contenus qui font sens sur l’état des affaires du monde</em>, <br>il faut évidemment que les mots et les phrases qui véhiculent les idées dans cet échange aient la même <strong><em>signification</em></strong> pour le <strong><em>modèle</em></strong> et pour son <strong><em>utilisateur</em></strong>.<br>En combinant</p><ul><li>la métaphore de la <strong><em>carte</em></strong> et du <strong><em>territoire</em></strong>,</li><li>et la vision abstraite, théorique <br>- de <em>toutes les significations possibles </em>des mots et des phrases du langage naturel comme un <strong><em>espace vectoriel</em></strong>, <br>- et de leur <em>compréhension</em>, comme l’activité qui consiste à parcourir une <strong><em>trajectoire</em></strong> dans cet espace,</li></ul><p>on peut à nouveau former une <em>image mentale </em>d’un échange <em>question-réponse</em> avec un grand modèle de langage, du seul point de vue abstrait, géométrique de sa <strong><em>signification</em></strong> :</p><ul><li>Quand l’utilisateur <em>émet</em> sa question, le <em>contenu signifiant </em>de <em>la question</em> <br>devient une <strong><em>trajectoire</em></strong><em> dans l’espace sémantique lexical de l’utilisateur </em>(<em>son itinéraire</em> dans sa propr<em>e carte : </em>son <em>espace sémantique lexical </em><strong><em>naturel</em></strong>);</li><li>Quand le modèle <em>comprend </em>cette question, il parcourt par son calcul <em>une trajectoire supposée </em><strong><em>identique</em></strong> dans son <em>propre espace sémantique lexical </em><strong><em>artificiel</em></strong>, et cette trajectoire aboutit en un <strong><em>point</em></strong> <em>de cet espace sémantique. </em>Ce point représente la <strong><em>signification lexicale globale</em></strong><em> </em>de ce que le <strong><em>modèle a compris</em></strong> de la <em>question</em> de l’utilisateur<strong><em>, </em></strong>et forme la <em>signification globale </em>à partir de laquelle le modèle va <em>générer sa réponse vectorielle</em>;</li><li>Quand le modèle génère sa réponse, le <em>contenu signifiant</em> qu’il ajoute, par son calcul, <em>mot après mot</em>, à la <em>signification globale de la question</em>, est la <strong>c<em>ontinuation </em>de l’<em>itinéraire</em> <em>sémantique</em> </strong>tracé par la question de l’utilisateur dans la <em>carte du modèle</em>, i.e.<em> son espace sémantique lexical </em><strong><em>artificiel</em></strong>; cette <em>continuation de trajectoire</em> suit dans l’espace sémantique du modèle une <a href="https://fr.wikipedia.org/wiki/G%C3%A9od%C3%A9sique"><strong><em>géodésique</em></strong></a> <strong><em>pilotée par la plus grande probabilité de signification du mot suivant</em></strong>, par référence<br>- à tous les <em>patterns textuels </em>contenus dans sa base textuelle,<br>- à ses <em>objectifs d’entraînement</em>, et<br>- à la <em>stratégie </em>que le modèle applique pour <em>parcourir sa trajectoire.</em></li><li>Cette trajectoire s’achève <em>lorsque le moteur d’inférence probabiliste du modèle ‘n’a plus de carburant’, c’est à dire</em><strong><em> quand la probabilité de trouver un mot suivant qui ajoute du sens à sa réponse tombe à zéro</em></strong>; l’extrémité de la trajectoire globale, où la génération s’interrompt, est alors <strong><em>un nouveau point </em></strong>dans l’<em>espace sémantique lexical artificiel </em>du modèle; ce point représente la <strong><em>signification globale</em></strong>, nuancée sur les <strong><em>n</em></strong><em>=20.000</em> <strong><em>dimensions sémantiques</em></strong> du modèle, du <strong><em>narratif complet</em></strong> constitué de la <strong><em>question de l’utilisateur </em></strong>et de la <strong><em>réponse générée par le modèle</em></strong>.</li><li>Enfin, quand le modèle communique la réponse à l’utilisateur, l’utilisateur <strong><em>comprend cette réponse </em></strong><em>en analysant, dans son propre espace sémantique lexical</em><strong><em> naturel, sa signification </em></strong><em>par rapport à la </em><strong><em>signification de sa question et à ce qu’il sait déjà de l’évolution des affaires du monde</em></strong><em>.</em></li></ul><p>Dans cette histoire, les mots du langage, les phrases, les expressions lexicales ont tous un <strong><em>contenu sémantique lexical </em></strong>: tous représentent des états des affaires du monde, <strong><em>auxquels ils réfèrent</em></strong>. <br>En tant que cet ‘<em>état des affaires du monde</em>’ est le <strong><em>territoire</em></strong> unique auquel réfèrent toutes les cartes, celles des utilisateurs comme celles des <strong><em>LLM</em></strong>s, l’<em>espace naturel</em> de la signification des expressions lexicales pour un utilisateur devrait, par construction, être <strong><em>le même </em></strong>que l’<em>espace artificiel</em> de la signification des expressions lexicales pour tous les <strong><em>LLM</em></strong>s.</p><p>En effet, il n’y a qu’un seul <em>véritable territoire,</em> dans lequel les <em>cartes de signification </em>respectives de l’utilisateur et du modèle permettent de naviguer : c’est ce <strong><em>monde extérieur</em></strong>, cette<em> “vie réelle” </em>que décrivent ces cartes, chacune à sa façon; et on sait que si les cartes du modèle couvrent globalement <strong><em>beaucoup plus de champ cognitif </em></strong>que toutes celles de tous ses utilisateurs réunis, ces cartes <em>artificielles</em> sont cependant <em>beaucoup moins localement détaillées </em>: quoi qu’on fasse, elles ne peuvent restituer localement, au moins pour le moment, qu’une <strong><em>compréhension purement</em> “<em>livresque</em>” </strong><em>et</em><strong><em> statique</em> </strong><em>de cet état des affaires du monde</em>, là où nos propres cartes individuelles <em>naturelles</em> sont<em> </em><strong><em>infiniment plus complètes, constamment mises à jour, </em>et <em>comportent des nuances bien plus utiles.</em></strong></p><p>Pour en être bien persuadé, il suffit de prendre deux exemples extrêmes :</p><ol><li><a href="https://blogababa.eklablog.com/l-homme-qui-a-vu-a214567675"><strong><em>L’histoire de ‘l’homme qui a vu l’homme qui a vu l’ours</em></strong></a><strong><em>’,</em></strong> <br>- qui illustre “<em>(ce) risque de déformer au fur et à mesure de sa répétition l’histoire d’origine, assimilable au colportage de ragots”. <br></em>En termes de <em>signification </em>pure,<br>- parler d’un ours, <em>sur</em> <em>la base de ce qu’on a pu en apprendre en distillant des milliers de pages d’histoires d’ours</em>, et <br>- parler d’un ours, <em>parce qu’on en a vu un de très près</em>,<br>ne <em>peut probablement pas conférer tout à fait la même compréhension</em> de ce <em>qu’est vraiment un ours… en chair, en poils, en griffes et en dents</em>; <br>surtout si justement, ce jour même où <em>l’homme qui a vu l’ours en vrai</em>, l’ours était en liberté, et qu’il était peut-être même un petit peu en colère…</li><li><a href="https://en.wikipedia.org/wiki/Commonsense_reasoning"><strong><em>Le raisonnement de bon sens, ou de sens commun</em></strong></a><strong><em> : <br>- </em></strong>dès la naissance, l’expérience vivante des premiers principes qui régissent l’<em>espace</em>, le <em>temps</em>, les <em>interactions physiques</em> et les <em>relations sociales</em> contribuent à la formation de notre “<em>raisonnement de bon sens</em>”, celui qui nous permet très tôt de comprendre, par exemple, qu’un objet persiste quand il disparaît derrière un autre objet, ou qu’il tombe sur le sol quand on le pousse au-delà du bord d’une table, etc. (c’est la “<em>physique naïve”)… <br></em><strong><em>Or, cette formation du raisonnement le plus basique est totalement exclusive du langage, puisqu’elle a lieu pour l’essentiel avant même l’apprentissage du langage, et ne peut être, par sa nature même, exprimée ni par des mots ni par des textes puisqu’elle résulte d’expériences sensorielles vécues, et mémorisées à long terme dans le cortex cérébral.</em></strong><em><br>Par conséquent, même si on faisait l’impasse sur la différence, pourtant essentielle entre </em><strong><em>connaissances par expérimentation</em></strong><em> </em><strong><em>sensorielle vécue</em></strong><em> et </em><strong><em>connaissances livresques</em></strong><em>, </em>il n’existerait de toutes façons, <em>et par nature même </em><strong><em>aucune documentation écrite, textuelle,</em></strong> qui puisse permettre à un modèle, quelle que soit sa compétence lexicale alléguée, <strong><em>d’acquérir les bases fondatrices du raisonnement de bon sens.</em></strong></li></ol><h4>4.3.2. “Odyssée de l’Espace” : le livre de bord.</h4><h4>4.3.2.1. L’allégorie de la trajectoire</h4><p>Ainsi, en termes de <em>compréhension</em> pure, pour qu’un utilisateur et son modèle puissent <em>échanger de manière sensée sur l’état des affaires du monde</em>, il est indispensable qu’ils puissent <em>comprendre de la même manière les mêmes affaires</em>, c’est à dire : <strong><em>que leurs trajectoires respectives, chacune dans son espace sémantique sémantique de référence, pour l’un, naturel, et pour l’autre, artificiel, les emmènent respectivement aux mêmes endroits, bien que leurs cartes du territoire puissent être différentes.</em></strong></p><p>En termes géométriques, on a vu que la trajectoire sémantique globale de l’échange complet <strong><em>utilisateur-modèle-utilisateur </em></strong><br>- <em>commence dans l’espace sémantique </em><strong><em>naturel</em></strong><em> </em>de l’utilisateur, par la signification qu’il donne à sa requête (“<em>à l’aller</em>”)<br>- <em>se poursuit, par l’interprétation de la question par le modèle</em>, qui traduit dans son<em> espace sémantique </em><strong><em>artificiel</em></strong> la <em>signification</em> de la question (avec ses outils <em>mathématiques de </em><strong><em>NLP</em></strong>), puis génère sa réponse, calculée (avec <em>les mêmes outils</em>) dans son <em>espace</em> <em>artificiel</em>; puis il communique son résultat à l’utilisateur (“<em>au retour”),</em><br>- <em>l’utilisateur interprète enfin cette réponse en analysant sa signification dans son propre espace </em><strong><em>naturel</em></strong>, <strong><em>où il évalue les conséquences de cette signification sur l’évolution de l’état des affaires du monde</em></strong>…</p><blockquote><strong>nota bene 1</strong><br>La trajectoire commence dans l’espace sémantique naturel de l’utilisateur, traverse l’espace sémantique artificiel du modèle, et revient dans l’espace sémantique naturel de l’utilisateur.</blockquote><p>Certes, nous ne saurions imaginer une trajectoire dans un espace à 20.000 dimensions… Mais pour tenter de visualiser ce qui se passe en termes <em>de navigation dans l’espace sémantique</em>, l’image d’une trajectoire dans un espace à <em>deux dimensions </em>seulement, c’est à dire <em>dans un plan euclidien </em>(cf. ‘<strong><em>Conclusion 3</em></strong>’ ci-dessous), est tout à fait suffisante :</p><ul><li>“<strong><em>Le territoire”</em></strong> est <strong><em>l’état des affaires du monde </em></strong>: un territoire infini, constamment fluctuant, essentiellement inconnu, incertain et donc dangereux, car il est enveloppé d’une brume épaisse, impénétrable qui réduit tellement le champ visuel que le seul moyen de s’y déplacer est d’utiliser une <strong><em>carte </em></strong>(<em>une carte de compréhension</em>) <br>Bref : “<em>Terra incognita</em>”, au sens propre du “<em>Réel Inconnu</em>” lui-même…</li><li><strong><em>“L’utilisateur” </em></strong>est un <strong><em>voyageur</em></strong>, qui se déplace toujours dans ce territoire. <em>Il dispose d’une </em><strong><em>carte </em></strong><em>ordinaire, en </em><strong><em>2D, </em></strong><em>très détaillée, dotée d’un maillage très fin</em>, qui lui permet d’y trouver son chemin; <br>- <em>navigateur prudent</em>, il a déjà enregistré sur cette carte détaillée toutes les parties qu’il a déjà explorées: celles qui sont proches de son habitat naturel; <br>- mais également<em> navigateur par nature</em>, le voyageur aime bien explorer les parties plus lointaines, celles qu’il ne connaît pas.</li><li><strong><em>“Le modèle”</em></strong> est un <strong><em>explorateur</em></strong><em> virtuel</em>, qui se déplace “<em>en pensée</em>” dans ce même territoire, et <em>dispose aussi d’une </em><strong><em>carte</em></strong><em> en 2D, qui lui est propre </em>: elle est en effet vraiment immense, et s’étend pratiquement <em>jusqu’aux confins</em> de l’horizon perdu dans la brume, mais elle <em>très sommaire</em> : <br>- d’une part,<em> elle est </em><strong><em>beaucoup moins détaillée</em></strong><em> </em>que celle du voyageur, et <em>dotée d’un maillage bien moins serré</em>; <br>- mais d’autre part et surtout, <strong><em>cette carte n’a pas été établie par une exploration</em></strong><em> </em>réelle du territoire, mais par <strong><em>assemblage de copies de qualité variable</em></strong> (peut-être douteuse), <strong><em>d’autres cartes de sources et d’origines très diverses</em>, <em>nécessairement incertaines compte tenu de la taille immense de cette carte faite de cartes, et du maillage très relâché…</em></strong></li></ul><p>Ce décor planté, “<em>la croisière</em>” peut commencer :</p><p>L’<em>utilisateur</em> décide de se rendre dans une partie lointaine du territoire, le <strong><em>“point X”</em></strong><em>,</em> en envoyant d’abord le <em>modèle</em> en <em>éclaireur.</em></p><blockquote><strong>nota bene 2</strong><br>L’explorateur facture des honoraires (indécents?) au voyageur pour ce travail, mais il est indestructible, et il sait parfaitement naviguer dans son propre espace virtuel; donc personne ne prend aucun risque; (à part, bien sûr, le coût des honoraires...)</blockquote><ul><li>(L’utilisateur) : <strong><em>le voyageur</em></strong> relève <strong><em>sur sa carte 2D</em> personnelle (trè<em>s détaillée</em>)</strong> la direction générale du <strong><em>point X </em></strong>qu’il souhaite explorer, et trace dans cette carte une trajectoire depuis son emplacement actuel, d’où il contemple le paysage proche: le “<strong><em>point A</em></strong>”, <em>jusqu’à la fin de sa carte dans cette direction;</em> <em>il marque ce point sur le bord de sa carte</em> : <strong><em>“point B”</em></strong>; <br>puis passe le contrôle de la navigation au modèle, et le requiert de poursuivre l’exploration (i.e : <em>l’utilisateur appuie sur la touche “Return” : il passe le prompt au modèle</em>).</li><li>(Le modèle) : <strong><em>l’explorateur</em></strong> prend <strong><em>sa propre carte </em></strong>(<em>sommaire</em>), y reconstitue (comme il peut) la trajectoire initiale du voyageur du <strong><em>point A</em></strong> au <strong><em>point B, </em></strong>et calcule (<em>il est très doué en calculs</em>) une trajectoire du <strong><em>point B </em></strong>jusqu’au <strong><em>point X</em></strong>, en passant par autant de <em>points de route </em>(<em>way-points</em>) : <strong><em>C, D, E, etc. </em></strong>que nécessaire, pour atteindre le <strong><em>point X</em></strong>, son objectif; puis l’explorateur communique au voyageur le résultat de sa mission : <em>il restitue la trajectoire calculée, </em><strong><em>dans sa carte sommaire</em></strong>, du <strong><em>point B</em></strong> au <strong><em>point X</em></strong>, avec ensemble <em>tous les points de route intermédiaires</em> pour atteindre la destination, le <strong><em>point X</em></strong>;</li><li><em>(L’utilisateur)</em> : <strong><em>le voyageur </em></strong><em>reporte alors sur </em><strong><em>sa propre carte 2D </em></strong><em>détaillée la trajectoire </em><strong><em>du point B au point X</em></strong><em>, avec ensemble tous les points de route intermédiaires.</em></li></ul><p><strong>L’<em>exploration virtuelle</em> est terminée</strong> <em>: </em>l’utilisateur n’a plus qu’à vérifier qu’il reconnaît, implicitement ou explicitement, que le<em> </em><strong><em>point X </em></strong>noté sur sa carte<em> </em><strong><em>correspond bien à un état possible des affaires du monde</em></strong><em>, c’est à dire au</em><strong><em> territoire</em></strong><em> dans lequel il a été virtuellement transporté par le voyage que le modèle </em><strong><em>a parcouru dans sa carte sommaire.</em></strong></p><blockquote><strong>nota bene 3</strong><br>- Quand <strong>le voyageur explore lui-même</strong>, et <strong>cartographie</strong> simultanément une partie du territoire qu’il ne connaît pas, il <strong>vérifie</strong> aussi soigneusement que possible que les indications qu’il porte sur sa carte correspondent bien au territoire qu’il parcourt : cette vérification est le plus sûr moyen pour lui de ne pas courir le risque de se perdre.<br>- <strong>L’explorateur, lui, ne vérifie rien</strong>, car il ne peut rien vérifier : il construit sa trajectoire <strong>en aveugle</strong>, “le nez dans son cockpit”, un point de route après l’autre, selon <strong>la géodésique de son espace sémantique artificiel : celle de la plus grande probabilité du point suivant par rapport au point précédent</strong>, dans la direction générale suivie depuis le début du parcours…<br>En bref <strong>:</strong> <br>Le <strong>mythe de<em> </em></strong><a href="https://fr.wikipedia.org/wiki/Tir%C3%A9sias"><strong>Tirésias</strong></a>, devin <strong>aveugle</strong> d’Apollon à <strong>Thèbes </strong>serait-il <strong>revisité</strong> … par l’algèbre linéaire, les GPU et les Big Data ?</blockquote><h4>4.3.2.2. Superposition des cartes ? ou pas.</h4><p>Il faut convoquer une <em>nouvelle image mentale </em>pour bien comprendre à quoi cette “<em>croisière </em>virtuelle ” se résout: c’est une image simple, mais plus spécialisée de <em>navigation en mer</em>, que tous les marins reconnaîtront aisément: c’est l’histoire de la <strong><em>“route sur le fond”, </em></strong>ou<em> route vraie.</em></p><p>Lorsqu’un navigateur trace sur la carte sa route en mer, les points de route successifs qu’il y porte sont des points qui s’entendent, en général, à la <em>surface de la mer </em>(toujours préférable, l’avenir des équipages...). <br>Tant que la navigation est parfaite, la route parcourue sur la carte suit en tous points ‘<em>la route sur le fond</em>’ de la mer, que le marin ne connaît pas (tant qu’il navigue à la surface..). <br>Mais le mauvais temps, par example un fort courant ou du vent adverse, peuvent ‘modifier le référentiel à la surface’, perturber la croisière, et provoquer un <em>écart</em> entre la <em>route sur la carte </em>et la <em>route sur le fond.</em><br>Si un tel écart survient, tant que le marin n’aura pas d’informations sur sa route exacte, virtuelle, sur le fond, il restera dans l’incapacité de corriger sa trajectoire en surface: et plus la trajectoire sera longue, et surtout plus elle comportera de bifurcations importantes, plus la croisière risquera de se terminer par une mauvaise surprise : au bout de la route sur la carte <strong><em>(notre point X, </em></strong>précisément), c’est à dire <em>à l’endroit où la route sur la carte doit nécessairement rejoindre la route sur le fond</em>… surprise! on n’a pas atteint la destination: devoir assumer les conséquences est — <em>généralement</em> — une <em>affaire de navigation</em> regrettable…</p><blockquote><strong>Observation :</strong><br>Le modèle LLM parcourt sa <strong>trajectoire sémantique d’une manière très particulière</strong> : <strong>toujours “vers l’avant”, en accumulant le sens de tout ce qu’il reçu en input, plus l’histoire entière de ce qu’il a lui-même généré.</strong><br>Ce “mode de raisonnement” est celui d’un <strong><em>automate</em></strong><em> au sens strict </em>: il n’est pas autonome, et ne comporte donc<strong> ni marche arrière</strong>, <strong>ni “<em>dispositif d’arrêt d’urgence</em>”</strong>; son mouvement dans l’espace résulte seulement de ses probabilités de prédiction pour le mot suivant, et de ses capacités limitées d’inférence.<br><strong>La rigidité de ce mode d’exploration comporte une conséquence </strong>: si le modèle a commis une erreur de compréhension quelques mots en amont et qu’il s’en aperçoit, il pourra certes la rectifier, <strong>mais il ne pourra jamais se replacer dans l’état où il se trouvait avant de la commettre: Sa trajectoire contient l’erreur pour toujours, elle passe par la mauvaise bifurcation dans l’espace, et cette erreur va continuer d’affecter la suite de la trajectoire, malgré la rectification</strong>, à supposer qu’elle ait lieu.<br>Et c’est probablement ce qui explique cette tendance observable du modèle à abonder en <strong>justifications de toutes sortes </strong>quand il commet une erreur manifeste, (cf. <a href="https://github.com/First6a/GotGrilled/blob/main/HOT-Grok-commented.pdf"><strong>Q1-Q9</strong></a><strong>, </strong><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-ii-f-d24ac744c58e">Partie II</a>), plutôt que ‘<strong>d’effacer simplement son ardoise</strong>’ à partir de la ligne erronée, et de reprendre son raisonnement sur la bonne trajectoire, ce qu’il ne peut pas faire, par construction; alors même que c’est ce qui simulerait évidemment le mieux, soit dit en passant, <strong>un cheminement intelligent</strong>… (ça s’appelle <strong>backtracking ability</strong><em>, </em>la capacité de faire ‘<em>machine arrière</em>’; et il n’en dispose pas...)</blockquote><p><strong><em>Conclusion 1 </em></strong>: <br><em>“En navigation et en général, suivre la ‘</em><strong><em>route sur le fond</em></strong><em>’ est la seule garantie d’arriver à bon port, car le bon port est l’endroit où elle aboutit</em><strong><em> à coup sûr”.</em></strong></p><p><strong><em>Conclusion 2 : <br></em></strong><em>Comme une erreur d’arrondi dans une longue séquence de calcul, </em><strong><em>plus tôt interviendra une erreur de navigation “</em></strong><em>à l’estime</em><strong><em>”, plus grand sera l’écart à l’arrivée:</em></strong><em> La longueur de la route conditionne </em><strong><em>l’amplification</em></strong><em> de toute erreur de cap. Et si la route comporte des </em><strong><em>bifurcations</em></strong><em> </em><strong><em>entre des ‘points de route’ </em></strong><em>(c’est très précisément le cas pour toute navigation sémantique lexicale algorithmique)</em><strong><em>, l’amplification des erreurs sera évidemment décuplée.</em></strong></p><p><strong><em>Conclusion 3 :</em></strong><em> <br>Représenter l’espace à n dimensions dans lequel tracer notre trajectoire, comme un plan en deux dimensions “</em><strong><em>euclidien</em></strong><em>”, c’est à dire </em><strong><em>sans courbure</em></strong><em>, était une </em><strong><em>sur-simplification </em></strong><em>de la sur-simplification… Rien en effet ne permet de supposer que l’espace sémantique n’est pas courbe, localement ni globalement, ce qui pourrait encore augmenter tragiquement </em><strong><em>un potentiel déjà fort d’erreurs de trajectoires de compréhension</em></strong><em>. <br>Une passionnante, et très troublante étude sur ce sujet, mettant en évidence une troublante analogie avec la physique relativiste, en l’occurrence entre le continuum spatio-temporel Einsteinien à trois dimensions d’espace et une de temps, et le continuum de l’espace sémantique multidimensionnel des LLMs, vient d’être publiée sur cette plateforme par </em><a href="https://riccardo-disipio.medium.com/"><strong><em>Riccardo Di Sipio</em> </strong></a><em>(</em><a href="https://medium.com/data-science-collective/the-spacetime-of-large-language-models-6677c74a0fc3"><em>cf. </em><strong><em>The Spacetime of Large Language Models</em></strong></a><strong><em> </em></strong><em>&amp; </em><strong><em>ref. </em></strong><a href="https://arxiv.org/abs/2511.03060"><strong><em>ArXiv</em></strong></a><strong><em>)</em></strong></p><p>Retour à notre “<strong><em>croisière virtuelle</em></strong>” <em>dans la compréhension</em>:</p><ul><li>La trajectoire <strong><em>A-X</em></strong> figure sur la carte détaillée du voyageur, <strong><em>l’utilisateur</em></strong>: elle représente son cheminement <em>sur sa carte naturelle de compréhension;</em> tous les points intermédiaires qui y sont portés représentent l’évolution, un mot après l’autre, de la signification globale de l’échange <strong><em>Q&amp;R</em></strong>, <strong><em>question-et-réponse</em></strong>: <br>- de <strong><em>A à B</em></strong>, la <em>signification de la question</em>, <br>- de <strong><em>B à X</em></strong>, la <em>signification de la réponse</em>; <br>Et l’ensemble, du point de vue de la signification pour le ‘voyageur’, l’<strong><em>utilisateur</em></strong>, est cette signification lexicale par lequel <strong><em>l’utilisateur comprend, dans la vie réelle</em></strong><em>, l’évolution </em><strong><em>réelle</em></strong><em> des affaires du monde,</em></li><li>La trajectoire <strong><em>A-X</em></strong> figure également sur la carte sommaire de l’explorateur virtuel, <strong><em>le modèle</em></strong>, et représente <br>- sa propre route sur sa propre carte <em>artificielle</em>, et <br>- tous les points intermédiaires qui y sont portés représentent la même évolution, accumulée un mot après l’autre, de la <em>signification globale de l’échange</em>; <br>Mais cette fois, du point de vue du sens pour l’explorateur, le <strong><em>modèle</em></strong>, celui par lequel <em>il comprend virtuellement dans sa simulation, </em><strong><em>et sous les limitations inférentielles qui affectent son “raisonnement”</em></strong><em>, l’évolution </em><strong><em>virtuelle</em></strong><em> des affaires du monde…</em></li></ul><blockquote>&gt; <strong>Nous connaissons avec une précision totale la manière dont la carte sémantique du modèle est construite</strong>, c’est à dire comment le modèle utilise le langage naturel pour décrire l’évolution des affaires du monde.<br>Mais<br>&gt; <strong>Nous ignorons cependant presque tout de la manière dont notre propre carte sémantique est construite </strong>: nous savons seulement qu’elle décrit l’évolution des affaires du monde d’une manière suffisamment fiable et invariante pour nous <strong>permettre d’y faire à chaque instant les prédictions qui ont assuré la survie de l’espèce, en y traçant notre route depuis 135.000 ans environ,</strong> époque à laquelle nous avons collectivement été dotés de cet instrument magique, sans même savoir exactement ni comment, ni pourquoi…</blockquote><p>Nous avons donc de bonnes raisons de retenir comme “<strong><em>route sur le fond</em></strong>” ou route vraie, la route portée sur notre propre carte, naturelle et détaillée, c’est à dire: <em>la signification que nous donnons nous-même naturellement au langage naturel pour comprendre depuis toujours l’évolution des affaires du monde :</em></p><blockquote><strong>Notre sémantique lexicale est le seul critère à retenir pour donner une signification en langage naturel aux textes qui décrivent l’état des affaires du monde.</strong></blockquote><p>Munis de ce résultat -<em>qu’on peut considérer raisonnablement</em> “<strong><em>de bon sens</em></strong>”-, l’interprétation géométrique d<em>e ce parcours de signification </em>fait apparaître que la <em>parfaite maîtrise syntaxique et grammaticale </em>que le modèle possède sur le langage naturel de l’utilisateur <em>a masqué, voire</em> <em>complètement escamoté </em><strong><em>un double changement de base </em></strong><em>dans l’espace multidimensionnel unique de la signification.</em></p><p>En effet, un <em>double changement de référentiel sémantique</em> a manifestement et incontestablement été opéré,</p><ul><li>Au début de la compréhension, <strong><em>au point B</em></strong>, <br><em>lorsque l’utilisateur a transféré le contrôle de la navigation et laissé le modèle interpréter la requête et générer la réponse, </em><strong><em>toutes deux dans son espace de compréhension artificielle,</em></strong></li><li>Puis à nouveau, <strong><em>au point X</em></strong>,<br><em>lorsque le modèle a transmis sa réponse à l’utilisateur, et que l’utilisateur a interprété cette réponse et a intégré les conséquences qui en ont résulté sur les affaires du monde, </em><strong><em>dans son propre espace sémantique naturel.</em></strong></li></ul><p>Rendre compte de ce <em>changement de base vectorielle</em> exige donc<br>- de noter désormais <strong><em>A’, B’, C’, …, X’, les points de la trajectoire du modèle</em></strong> <em>dans l’espace des significations</em>, <strong><em>sur la carte de l’utilisateur</em></strong><em>,</em> celle qui contient “<strong><em>la route sur le fond</em></strong>”, seul critère fonctionnel de <em>conformité à la complexité de l’espace multidimensionnel parcouru</em>,<br>- de conserve<strong><em>r </em></strong><em>la référence </em><strong><em>originale A, B, C, …, X</em></strong>, pour les points correspondants de la <strong><em>trajectoire de l’utilisateur </em></strong>dans ce même espace,<br>- et de <strong><em>comparer ces deux trajectoires dans</em> <em>l’espace des significations, du seul point de vue de l’utilisateur</em></strong><em> </em>:</p><ul><li>Si ces deux trajectoires sont <strong><em>identiques</em></strong> en tous points, alors l’utilisateur et son modèle <br>- <strong><em>auront bien compris les mêmes choses relatives aux affaires du monde</em></strong><em>,</em> choses auxquelles l’échange réfère, <br>- et seront parvenus à <em>un échange sans surprise</em> dans lequel le modèle aura bien compris la question, et l’utilisateur aura <em>non seulement </em>bien compris la réponse, mais l’aura également jugée “<em>non surprenante</em>”, c’est à dire <em>conforme à ce qu’il aurait lui même pu affirmer en termes de “valeurs de vérité” </em>relatives aux références “<em>des affaires du monde de la vie réelle</em>”. <br>C’est le <em>cas général</em>, dans <strong><em>80% </em></strong>des échanges.</li><li>A contrario, des trajectoires différentes traduiront une <em>incompréhension quelque part</em>, qui ne peut procéder <em>que du modèle</em>, si on exclut l’hypothèse triviale dans laquelle l’utilisateur pose une question qui ne fait pas sens.<br>C’est l’ensemble des <em>“</em><strong><em>cas particuliers d’incompréhension</em></strong><em>”</em> : <strong><em>20%</em></strong> des échanges.</li></ul><p>Comme <em>les </em><strong><em>“dimensions de signification”</em></strong><em> (n=20.000) qui structurent l’espace sémantique du modèle </em>sont seulement conditionnées</p><ul><li><em>par la descente de gradient lors de l’apprentissage automatique lors de la phase de pré-entraînement du modèle,</em> et</li><li><em>par la base de textes d’entraînement, laissée à la total discrétion des concepteurs du modèle,</em></li></ul><p><strong><em>ces dimensions sont totalement abstraites</em></strong><em>, et ne portent chacune aucune signification qui puisse être déchiffrée: </em><strong><em>c’est le côté sombre, opaque de la sémantique distribuée.</em></strong></p><p>Ainsi, nous sommes totalement incapables ni d’évaluer, ni a fortiori de calculer la <strong><em>matrice de transformation</em></strong> <strong><em>nécessaire pour passer en toute sécurité de la cartographie du langage naturel du modèle à la nôtre, et vice-versa</em></strong>: nous ne pouvons donc tout simplement pas savoir</p><ul><li><em>ni comment ce changement de base peut affecter la trajectoire globale que l’échange dessine dans l’espace réel de la compréhension,</em></li><li><em>et donc, en d’autres termes, si inévitable changement de cadre référentiel produit, ou ne produit pas des conséquences indésirables sur la compréhension du modèle, qui pourrait être différente de la nôtre.</em></li></ul><p>Ce que nous savons tous, par notre expérience vécue du <em>bon sens en informatique général</em>e, c’est presque invariablement que :</p><p><strong><em>“If something can go wrong, it will.” </em></strong>(pratiquement intraduisible):<br><strong><em>« Si quelque chose peut mal tourner, alors ça va mal tourner. »</em></strong></p><p>Ainsi, nous pouvons <strong><em>raisonnablement supposer </em></strong><em>que le changement de cadre référentiel produit des conséquences </em>qui pourraient tout aussi bien expliquer ce qui reste jusque-là inexplicable: <strong><em>les hallucinations et les types de phénomènes de la catégorie.</em></strong></p><p><strong><em>Géométriquement parlant, une hallucination peut être ainsi regardée comme une trajectoire sémantique atypique du modèle dans son espace sémantique, traduisant la signification d’une réponse non conforme, en tout ou en partie, à ce que l’utilisateur pourrait lui-même affirmer en termes de valeurs de vérité, c’est à dire par rapport à ce que l’utilisateur sait de ‘l’évolution de l’état des affaires du monde’.</em></strong></p><h4>4.3.3. Incompréhensions et mal-compréhensions</h4><h4>4.3.3.1. L’héritage oublié de Jerry Fodor</h4><p>Comme l<strong><em>e Professeur </em></strong><a href="https://medium.com/@ontologik"><strong><em>Walid Saba</em></strong></a> l’explique dans <a href="https://medium.com/ontologik/language-cognition-re-reading-jerry-fodor-53e98c9933f4"><strong><em>un autre article</em></strong></a> sur cette plateforme<strong><em> (</em></strong>de la série <a href="https://medium.com/ontologik"><strong><em>Ontologik</em></strong></a><strong><em>, </em></strong>déjà citée), <a href="https://en.wikipedia.org/wiki/Jerry_Fodor"><strong><em>Jerry Fodor</em></strong></a><strong><em> </em></strong>avait déjà démontré dès la fin des années 80, dans le cadre d’une querelle de chercheurs (entre les “<em>Classiques” </em>et les “<em>Connexionnistes”)</em>, que les réseaux artificiels profonds ou <strong><em>DNNs</em></strong>, “<em>Deep Neural Networks</em>” tentaient (déjà à l’époque) de <em>nous vendre deux histoires totalement contradictoires</em> :</p><ol><li>le langage est “<em>learnable</em>”: il est <em>susceptible d’être appris</em>, et</li><li>le langage peut être appris <strong><em>sans</em></strong> “<em>systématicité</em>” ni “<em>structures symboliques</em>” deux propriétés inhérentes au langage, que les <strong><em>DNNs</em></strong> sont <em>incapables</em> de <em>traiter</em>.</li></ol><p>Cette thèse fait notamment l’objet d’un article (co auteur<strong><em> </em></strong><a href="https://en.wikipedia.org/wiki/Zenon_Pylyshyn"><strong><em>Zenon W. Pylyshin</em></strong></a><strong><em>) </em></strong>totalement passionnant, mais assez difficile à lire: <a href="https://github.com/First6a/GotGrilled/blob/main/ConnectionistArchitecture.pdf">“<strong><em>Connectionism and Cognitive Architecture”</em></strong></a><strong><em>, </em></strong>que le professeur <strong><em>Saba</em></strong> restitue très clairement :<br><em>Notre architecture cognitive est fondée sur des structures symboliques que les </em><strong><em>DNNs</em></strong><em> sont incapables de capturer.</em> <strong><em>Selon Fodor, les DNNs</em></strong> <strong><em>ne peuvent donc pas expliquer comment nous exprimons nos pensées en langage naturel</em></strong>.</p><p>En effet, pour qu’il soit possible de l’apprendre, le langage naturel doit être “<em>systématique</em>” : la “<strong><em>systématicité</em></strong>” au sens de <strong><em>Fodor</em></strong>, c’est le fait qu’une unité syntaxique n’est pas un amas informe, une simple juxtaposition de significations “<em>atomiques</em>”, mais une <em>structure</em> comportant des <em>éléments constituants</em> qui peuvent prendre toutes les valeurs possibles de “<em>choses similaires</em>”, et <em>fonctionnent comme autant de </em><strong><em>variables</em></strong><em> qui peuvent prendre le même statut dans la structure</em>.<br>Cette caractéristique assure la “<strong><em>productivité</em></strong>”, c’est à dire la possibilité de <em>composer </em><strong><em>une infinité structurée de toutes les pensées possibles</em></strong>, et permet ainsi de <strong><em>représenter par le langage une infinité possibles d’affaires du monde</em></strong>, par de simples <strong><em>changements de variables</em></strong><em> dans ces structures</em>. <br>C’est ainsi que le langage confère une infinité de représentations signifiantes possibles avec des moyens finis: le <em>vocabulaire</em>, et les <em>règles de syntaxes et de grammaire</em>.</p><p>Cette productivité implique la “<strong><em>compositionnalité</em></strong>” : quand on remplace les variables dans une structure syntaxique, la signification de la structure linguistique change, et devient alors <strong><em>fonction de la signification de ses éléments constituants</em></strong><em>.</em> <br>Ainsi, la compositionnalité est elle un argument fort : c’est la seule explication possible de <em>notre possibilité de comprendre un nombre potentiellement infini de pensées </em><strong><em>à partir d’un petit nombre d’exemples</em>,</strong> et d’expliquer <em>comment nous avons la capacité extraordinaire de </em><strong><em>comprendre</em></strong><em> </em><strong><em>les idées émises dans un discours à la même vitesse que son élocution</em></strong><em>.</em></p><p>D’un autre côté, les informations de <em>sortie</em> du nœud d’un <strong><em>DNN</em></strong> ne sont <em>jamais décomposables en ses constituants:</em> Quand une phrase est présentée dans un réseau artificiel, <strong><em>le réseau ne peut pas la décomposer</em> </strong>: il se contente de trouver, par approximation probabiliste, <em>une phrase de signification globalement similaire</em>, c’est à dire <em>approximativement et globalement similaire</em>, <em>avec d’autres constituants dans les mêmes positions, similaires entre eux</em>. <br>Ce réseau ne peut donc apprendre le langage (respectivement : <em>la </em><strong><em>signification</em></strong><em> du langage</em>), que de manière “<strong><em>atomique”</em></strong>, <strong><em>phrase par phrase</em></strong>, puisqu’il ne sait pas les décomposer en éléments variables: <em>il ne peut donc pas activer la mécanique nécessaire pour produire une infinité de pensées et de phrases nécessaires pour exprimer ces pensées.</em></p><p>Il en résulte que les <strong><em>définitions récursives sur les structures symboliques </em></strong><em>du langage, agissant sur les variables symboliques</em> <em>qui nous permettent de représenter de manière finie, avec des ressources finies, des possibilités infinies, </em><strong><em>sont hors de portée des réseaux artificiels profonds</em></strong><em> </em>: compte tenu de l’infinité de significations qu’une phrase peut comporter, la notion même de “<em>probabilité d’une phrase</em>” n’a aucun sens.</p><p>Or les nœuds d’un <strong><em>DNN</em></strong>s sont ‘<em>atomiques</em>’ du point de vue <em>sémantique</em>: le réseau ne dispose d’<em>aucun accès aux constituants</em> qui ont produit l’output d’aucun des nœud du réseau; conséquence: les <em>constituants</em> qui ont <em>déterminé l’état d’un nœud donné</em> n’ont <em>aucun accès</em> aux co<em>nstituants du nœud précédent</em>, ce qui livre le réseau à une tâche impossible : <em>pour pouvoir rendre compte de la </em><strong><em>productivité infinie des pensées</em></strong><em>, il lui faudrait un </em><strong><em>nombre infini de nœuds et de paramètres</em></strong><em> pour pouvoir mémoriser toutes les significations possibles de toutes les phrases possibles du langage naturel</em>…</p><p>L’une des conséquences fondamentales de ce raisonnement très convaincant, c’est que la <strong><em>systématicité-Fodor</em></strong>, telle que ci-dessus évoquée, <em>est requise pour expliquer tous les aspects inférentiels du langage naturel</em>: si la valeur de sortie d’un nœud du <strong><em>DNN</em></strong>, qui recompose toutes ses entrées, <em>n’est pas décomposable</em> en ses constituants, <em>alors il ne lui est évidemment pas possible d’inférer localement quoi que ce soit sur ces constituants qui lui sont inaccessibles</em>. <br>Exemple d’illustration: Quote</p><blockquote>&gt;&gt;&gt;if we hear ‘<strong>John and Mary went to the store’</strong> then clearly ‘<strong>Mary went to the store</strong>’ on its own is implied — that is, that a structure like <strong>A &amp; B </strong>must be <strong>breakable into constituents</strong> so that <strong>I can get </strong>from that <strong>B</strong>. <br>And, again, the value at a node in a <strong>DNN</strong> that composes all inputs is not breakable into its constituents!</blockquote><p>soit, en français :</p><blockquote>&gt;&gt;&gt;Quand on entend : « <strong>John et Mary sont allés au magasin</strong> », alors clairement « <strong>Marie est allée au magasin</strong> » est <strong>sous</strong>-<strong>entendu</strong> — c’est-à-dire qu’une <strong>structure </strong>comme <strong>“A &amp; B”</strong> doit être <strong>décomposée en ses constituants</strong> pour pouvoir <strong>inférer ce “B”. </strong><br>Et, encore une fois, la valeur à un nœud dans un <strong>DNN</strong>, qui intègre toutes ses entrées, <strong>n’est pas décomposable en ses constituants</strong>!</blockquote><p>Cet exemple simple suffit à démontrer à quel point la thèse de <strong><em>Jerry Fodor</em></strong> est convaincante : Le défaut de systématicité du réseau artificiel <strong><em>réduit nécessairement et visiblement ses capacités d’inférence</em></strong>, en entraînant nécessairement ce qu’on pourrait appeler de <strong><em>lourdes pertes en signification</em></strong>.</p><p>Une grande partie du contenu signifiant du message peut donc être perdue ou altérée, ce qui pourra orienter la compréhension globale du modèle vers une trajectoire plausible, mais dont la signification peut s’avérer sans rapport avec quoi que ce soit que l’utilisateur puisse comprendre.</p><p>Dans l’exemple, si le modèle <strong><em>ignore</em></strong> superbement qu’il peut <strong><em>inférer</em></strong> de l’assertion: <strong>“<em>John et Mary sont allés au magasin</em>”</strong> que: “<strong><em>Mary est (</em></strong><em>effectivement</em><strong><em>)</em> <em>allée au magasin</em>”</strong>, <br>alors il peut très bien générer une belle histoire, dans laquelle <em>Mary est allée sur la planète Mars</em>, et que <em>John s’est senti tout seul parce que c’est Mary qui avait la liste des courses à faire, et le panier à provisions</em>; <br>et pourquoi pas, après tout ?... 🙃</p><h4>4.3.3.2. Hallucinations et Paréidolies</h4><p><strong><em>Paréidolie ?</em></strong><br>Chacun d’entre nous, un jour ou l’autre, s’est laissé aller volontairement (ou pas), à une interprétation fausse d’un faisceau de perceptions, par exemple visuelles et/ou auditives: ainsi la <a href="https://fr.wikipedia.org/wiki/Par%C3%A9idolie"><strong><em>paréidolie</em></strong></a><strong><em>, </em></strong>est-elle communément définie et qualifiée</p><ul><li><strong><em>“</em></strong><em>expression de (cette) tendance du cerveau à </em><strong><em>créer du sens </em></strong><em>en </em><strong><em>assimilant des formes aléatoires</em></strong><em> à des </em><strong><em>formes </em></strong><em>qu’il a </em><strong><em>déjà référencées</em></strong>”;</li><li><em>tendance des sens à i</em><strong><em>nterpréter une perception</em></strong><em> en la comparant à des </em><strong><em>objets déjà connus</em></strong><em>. Il est possible que cette préférence découle de l’</em><a href="https://fr.wikipedia.org/wiki/S%C3%A9lection_naturelle"><em>avantage évolutif</em></a><em> conféré par une très forte capacité à </em><a href="https://fr.wikipedia.org/wiki/D%C3%A9tecter_une_pr%C3%A9sence"><em>détecter une présence</em></a><em>, qui favorise la survie mais pas nécessairement la précision</em><a href="https://fr.wikipedia.org/wiki/Par%C3%A9idolie#cite_note-Haidt2013293-3"><em>[3]</em></a><em>. Ainsi, les erreurs se font presque toutes dans la même « direction » : des </em><a href="https://fr.wikipedia.org/wiki/Faux_positif"><strong><em>faux positifs</em></strong></a><strong><em> </em></strong><em>(reconnaître une présence qui n’est pas là) plutôt que des </em><a href="https://fr.wikipedia.org/wiki/Faux-n%C3%A9gatif"><em>faux négatifs</em></a><em> (ne pas reconnaître une présence),</em></li><li><strong>“<em>la plupart du temps utile pour classer un objet nouveau dans une catégorie connue, mais elle peut aussi être source d’erreurs</em>”.</strong></li></ul><p>Ces symptômes évoquent de manière très troublante le ‘<em>comportement’</em> et les mécanismes de <em>recherche de signification d’un modèle de langage en action:</em> Il recherche du sens, en crée en assimilant les formes aléatoires qu’il rencontre à des formes qu’il a déjà référencées, et en invente selon ses propres paramètres de température…</p><p>Quand nous, humains, en rêvant tout éveillés, nous découvrons qu’un nuage ressemble à un oiseau, ou un rocher à un animal, notre <strong>“<em>Système 2” </em></strong><em>sait bien que ces rêvent ne correspondent à aucune réalité,</em></p><p>Car si notre santé mentale est satisfaisante, nous disposons d’un “<strong><em>Système 2” </em></strong><em>de “</em><strong><em>Kahneman”</em></strong><em>,</em> et d’une sorte de<strong><em> bouton d’arrêt d’urgence</em></strong> qui nous ramène très vite <em>au réel de l’évolution des affaires du monde </em>: il ne nous viendrait pas à l’idée d’<em>élaborer des conséquences inférentielles </em>sur la base de ces visions ou de ces sons évocateurs.</p><p>Et c’est pourtant le risque que nous pourrions courir, en nous fiant sans vérifier aux inférences d’un grand modèle de langage, sur une question que nous connaissons mal, <strong><em>dont le traitement requiert une compréhension profonde, et des inférences complexes qui dépassent les capacités inférentielles du modèle.</em></strong></p><p><em>Ainsi, le grand public des utilisateurs se trouve exposé à un risque:</em></p><p>Poussés par un énorme battage publicitaire, tout en étant probablement et de manière compréhensible séduits par la fluidité de leurs échanges, et la la « <em>cohérence de surface</em> » des réponses qu’ils obtiennent,<br>Les utilisateurs pourraient bien <strong><em>dériver lentement vers une externalisation</em></strong><em> réelle de leur </em><strong><em>fonction naturelle</em></strong> de “<em>penser par eux-mêmes</em>” :</p><blockquote>Faire ainsi totalement confiance, sans précautions, aux facilités évidentes offertes par les modèles, dans le mépris ou l’ignorance de leurs limitations structurelles, pourrait ainsi conduire le public à déléguer à ces modèles, de manière aveugle et préjudiciable, nombre de tâches humaines qui exigent pourtant des compétences sémantiques inférentielles plus élevées que celles dont les modèles sont réellement dotés.</blockquote><p>Certes, <em>la communauté des concepteurs de modèles est totalement, et foncièrement honnête: </em>les modèles délivrent tous, en complète conformité avec leurs directives d’objectifs, et à ma connaissance <em>sans aucune exception</em>, <em>un jugement honnête sur leurs capacités réelles de compréhension du langage naturel </em>: il suffit de leur poser clairement la question, et de leur demander de développer; en langage naturel, pour profiter du miracle technologique…</p><p><strong><em>Mais encore faut-il que quelqu’un leur pose la question.</em></strong></p><p><em>Je vous suggère d’essayer vous-même, et de ré-éditer l’expérience des questions Q1-Q10 avec d’autres modèles: vous pourriez être aussi surpris que moi par la démystification…</em></p><h4>4.3.3.3. Récapitulation</h4><h4>Causes possibles des “hallucinations”</h4><p><strong><em>La trajectoire du modèle dans l’espace sémantique doit être mise en question</em></strong>: Toutes les fois qu’elle s’écarte de celle de son utilisateur, c’est qu’une <strong><em>mal-compréhension</em></strong> s’est glissée quelque part, <em>signe potentiel de défaillance </em>du modèle.</p><p>Selon toute évidence, <em>la navigation du modèle dans l’espace sémantique doit toujours être considérée comme </em><strong><em>approximative </em></strong>par rapport à la nôtre, voire dans certains cas (20%), comme <em>carrément </em><strong><em>erratique</em></strong>, car</p><ol><li>Quelle que soit la taille de sa base d’entraînement, <em>aucun modèle ne pourra jamais mémoriser</em> <strong><em>l’infinité de significations possibles de l’infinité de toutes les phrases possibles du langage naturel</em></strong>,</li><li>Le défaut de “<strong><em>systématicité-Fodor</em></strong>” de son apprentissage du langage <strong><em>altère</em></strong><em> nécessairement</em>, et par construction, sa <strong><em>compétence sémantique inférentielle</em></strong>. (cf. <em>Partie III-1 section </em><strong><em>3.3.3</em></strong>, ‘<em>potemkins</em>’, ),</li><li>La <em>conformation de l’espace vectoriel</em> qui lui tient lieu de<em> représentation du sens</em> peut réduire notablement son “<a href="https://fr.wikipedia.org/wiki/Pouvoir_de_r%C3%A9solution"><strong><em>pouvoir de</em> <em>résolution</em></strong></a><em>” sémantique</em>, dans certaines zones particulières de l’espace des significations (cf. <em>Partie III-1</em> <em>section</em> <strong><em>3.3.1</em></strong>, <strong><em>Karlgren &amp; Kanerva</em></strong>, <em>“vide de la calotte polaire”, “carte plus précise que le terrain”, “horizon de l’intérêt”</em>, “<em>horizon du bruit</em>”),</li><li>Sa progression vectorielle par <em>bifurcations successives dans l’espace sémantique </em>amplifie les <em>pertes potentielles de signification globale</em> qui peuvent être <em>provoquées par un écart local de la trajectoire de signification</em>: plus un écart intervient tôt dans la trajectoire, plus l’<em>effet d’amplification</em> peut conduire à un non-sens complet (cf. <em>Partie III-2 section</em> <strong><em>4.3.2.2</em></strong>. <strong><em>Conclusion 2</em></strong>)</li><li>Son “<em>mode de raisonnement</em>” algorithmique, par <em>accumulation de la signification globale</em> d’un texte, est exclusif de tout retour en arrière (‘<em>backtracking’</em>) en cas d’erreur; sur un <em>prompt de réorientation</em>, le modèle est incapable d’oublier les étapes précédentes erronées, dont <em>la signification erronée continue d’influencer la trajectoire sémantique rectifiée</em> (cf. <em>Partie III-2 section</em> <strong><em>4.3.2.2</em></strong>, “<strong><em>Observation</em></strong>”).</li></ol><p>Tout bien considéré, la fluidité parfaite de la conversation que chacun d’entre nous entretient avec son modèle favori est ainsi tellement extraordinaire qu’elle peut facilement faire oublier que cette aisance apparente <strong><em>simule seulement</em></strong> <strong><em>un “raisonnement intelligent” : s’exprimer parfaitement </em></strong><em>en langage naturel</em><strong><em> </em></strong><em>ne signifie pas forcément</em><strong><em> comprendre parfaitement </em></strong><em>le langage naturel.</em></p><p>Et c’est précisément dans cette sorte de <a href="https://fr.wikipedia.org/wiki/Dissonance_cognitive"><strong><em>dissonance cognitive</em></strong></a><strong><em> voilée</em> </strong>(cf. <em>Partie III-1 section</em> <strong><em>3.3.3.</em></strong> ‘<strong><em>potemkins</em></strong>’, ) que <strong><em>réside le danger potentiel de ce merveilleux outil technologique</em></strong> : l’enseignement théorique de <strong><em>Fodor</em></strong> démontre quasi-irréfutablement<strong><em> </em></strong><em>que le modèle connexionniste </em><strong><em>n’est structurellement capable de comprendre parfaitement </em></strong><em>qu’une partie </em><strong><em>seulement</em></strong><em> de ce qu’il est par ailleurs </em><strong><em>capable d’exprimer parfaitement.</em></strong></p><h4>Prochaine étape et remèdes possibles ?</h4><p><strong><em>En termes scientifiques, </em></strong><br>On peut regarder la persistance à l’hallucination des grands modèles de langage comme la <strong><em>preuve empirique</em></strong> nécessaire pour assurer que l’hypothèse de leur <strong><em>compétence lexicale sémantique complète</em></strong> est <a href="https://fr.wikipedia.org/wiki/R%C3%A9futabilit%C3%A9"><strong><em>réfutable</em></strong></a>.</p><p>On peut aussi contempler dans cette persistance <strong><em>la remarquable validation des thèses de Jerry Fodor</em></strong>, et sa <em>victoire philosophique posthume </em>dans la querelle doctrinale qui l’opposait jadis aux <em>Connexionnistes</em>.</p><p>Si les causes probables d’hallucinations listées ci-dessus sont toutes aussi structurelles qu’elles paraissent, alors elles ne pourront être résolues que par un <strong><em>changement complet du paradigme des modèles</em></strong>, cette “<em>Troisième Vague</em>”, dite “<a href="https://fr.wikipedia.org/wiki/IA_neuro-symbolique"><em>Neuro-Symbolique</em></a>”, sur laquelle les actuels <em>Connexionnistes</em> et les héritiers des <em>Classiques</em> -<em>ils reviennent dans la course</em>- sont déjà au travail depuis longtemps, pour faire converger leurs théories…</p><p><strong><em>En termes économiques,<br></em></strong>Si le grand public continue de s’émerveiller sur les prouesses syntactiques réelles des grands modèles de langage, et à surfer joyeusement la vague savamment entretenue par une impitoyable concurrence, les grandes entreprises commencent déjà à <a href="https://www.apolloacademy.com/ai-adoption-rate-trending-down-for-large-companies/">“<em>réduire leur exposition</em>”</a> à cette technologie, dont elles commencent certainement à mesurer les limites.</p><p>La persistance des hallucinations, tous modèles confondus, toutes tailles confondues, démontre chaque jour un peu mieux que leur <strong><em>cause est certainement structurelle</em></strong>, et qu’un “<em>cerveau dans une cuve</em>” ne pourra jamais faire le même travail qu’un cerveau proprement dit, quelle que soit la débauche de moyens qu’on décide de lui consacrer.</p><p>L’histoire dira -<em>en l’occurrence: le marché financier</em>-, s’il est vraiment raisonnable de continuer d’aligner des GPUs de plus en plus puissants, de plus en plus nombreux, et de consommer une énergie de plus en plus vertigineuse -<em>à la limite de la décence</em>-, <br>pour obtenir un résultat industriel qui demeure invariablement -<em>en mettant les choses au mieux</em>-, <strong><em>inacceptable dans 20% des cas…</em></strong> <br><em>Jouons au jeu du modèle : </em><br>- soit la séquence ordonnée des mots suivants: <br><strong><em>[“LLMs”, ”competition”, “hype”, “hallucinations”, ”valeur”, ”marché”]<br>- </em></strong>suivant la fameuse géodésique de la plus grande probabilité dans l’espace lexical des significations, choisissez le mot suivant de la séquence, <br>entre : “<strong><em>croissance</em></strong>” et “<strong><em>bulle</em></strong>”…⌛</p><p><strong><em>En termes pratiques,<br></em></strong>Pour faire simple, eu égard à l’immensité spectaculaire de leur champ cognitif, et à la fragilité de leur compétence sémantique, on peut décrire raisonnablement les <strong><em>LLMs</em></strong> par la <em>métaphore d’un bibliothécaire un peu simplet </em>qui aurait charge de donner accès à pratiquement tous les livres couvrant l’étendue du savoir humain: le modèle saura certainement vous retrouver tous les ouvrages que vous pourriez souhaiter, sur n’importe quel sujet, sans craindre d’inventer des références pour vous rendre service quand ils n’en trouvera pas de disponibles; mais il ne faudra pas trop le pousser sur le contenu des livres, car ses moyens limités sont d’un esprit simple, très serviable, et très inventif, qui ne craint jamais d’adapter sa propre réalité totalement déconnectée du monde à vos exigences documentaires...</p><p>On évidemment peut s’inquiéter sérieusement, et légitimement de la diffusion actuelle, à une aussi large échelle d’un outil qui, pour extraordinairement attirant qu’il apparaisse, n’est rien d’autre qu’un génial ‘<em>Jeu de la Simulation d’Alan Turing</em>’, “<strong><em>Turing Imitation Game</em></strong>”, <strong>c’est à dire <em>une machine qui parle en réalité, mais qui ne comprend pas vraiment tout ce qu’elle dit</em>.</strong></p><blockquote><strong><em>[ </em>note de fin<em> ]</em></strong><br>Je serai heureux d’échanger avec vous sur ce sujet et sur cette plateforme, pour constituer une bibliothèque de cas intéressants d’expériences hallucinations, provoquées ou non, et les répertorier techniquement selon leur source.<br>Je ne saurai trop vous recommander de tenter votre chance avec les <strong>antonymies</strong> en première lieu, en demandant par exemple à votre modèle favori de vous faire un rapport sur “<strong>l’inverse d’une grenouille</strong>”, ou “<strong>l’opposé d’une enclume</strong>” : on peut aimer la technologie et apprécier tout autant l’humour, voire même la poésie… 😇</blockquote><p>./.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7411fe16c893" width="1" height="1" alt=""><hr><p><a href="https://ai.plainenglish.io/grok-on-the-grill-part-iii-2-f-7411fe16c893">“Grok on The Grill”, Part III-2 (*F)</a> was originally published in <a href="https://ai.plainenglish.io/">Artificial Intelligence in Plain English</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[“Grok on The Grill”, Part III-2 (*E)]]></title>
            <link>https://ai.plainenglish.io/grok-on-the-grill-part-iii-2-e-b49eca6272fd?source=rss-1d9ad84bf6d------2</link>
            <guid isPermaLink="false">https://medium.com/p/b49eca6272fd</guid>
            <category><![CDATA[hallucinations-in-llms]]></category>
            <category><![CDATA[cognition]]></category>
            <category><![CDATA[llm]]></category>
            <dc:creator><![CDATA[Marc Chicha]]></dc:creator>
            <pubDate>Thu, 13 Nov 2025 08:18:59 GMT</pubDate>
            <atom:updated>2025-11-27T16:27:56.954Z</atom:updated>
            <content:encoded><![CDATA[<h4>(After the grill, the flamethrower)</h4><p><strong><em>“The Origin of (artificial) Species”</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*NmTdmjQL0gXGOB78" /><figcaption>Photo by <a href="https://unsplash.com/@maxberg?utm_source=medium&amp;utm_medium=referral">Maxim Berg</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p><strong><em>(</em></strong><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-iii-1-e-5a5f6bd35f11"><strong><em>Grok On The Grill, Part III-1-E*, continued</em></strong></a><strong><em>)</em></strong></p><h3>4. Same space, different vector bases ?</h3><p>Now, with a more familiar picture of their<em> internal representation of meaning,</em> we might add a step to the exploration, and question the <strong><em>adequacy</em></strong> of this <em>artificial, geometric sense of meaning, </em>by respect to ours, as humans.</p><p><em>Shortly</em>: How to position the <strong><em>LLMs</em></strong> remarkable all-out <em>apparent competence in understanding</em> our requests, in the light of their ever persistent, inescapable trend that they all present generating <em>hallucinations</em>, <em>confabulations</em>, and <em>other unexpected responses</em> ?</p><h3>4.1. “Us And Them”</h3><h4>Talking about lexical semantic competence…</h4><h4>4.1.1. “Them”, huge in scope, brittle by design: The Q10 complement</h4><p>Question : “<strong><em>What does it take to understand a word ?</em></strong>”<br>The <em>question of understanding</em> can’t be exposed in clearer terms than these words from <a href="https://fr.wikipedia.org/wiki/Diego_Marconi"><strong><em>Diego Marconi</em></strong>,</a> <em>Professor of Philosophy of Language at The University of Torino at Vercelli (Italy)</em>, in the very first sentence of his <strong><em>book, </em></strong><a href="https://www.amazon.fr/-/en/Diego-Marconi/dp/0262133334/ref=sr_1_1?crid=2WTKHSM3GBOS4&amp;dib=eyJ2IjoiMSJ9.rzHIwn3QmKfsJPFiGmh0kBQoaLV1no3BLr5vmOBnPcA7LpqM34pw_QlV4t9ab0lQAioEQ-X_MzbQZ2mPv4iZriAEUGIOrqnCMOXQ3mErAYaJSgp16jDyqE7FHQNC8IxGuD6ua6XhIZ5T48-Nkt6OPbfDMIYAJcOLT2kCiTFsoyZ6g3P2DrbNlWmkn0i_lSda0ItmfXcmYtrMuYehbCUoMI29XPatWGRAQLqopl95qTg.eGmZObhrsg8VE3aFPjDP87yrbkyCYvJZLI6CME-hsrM&amp;dib_tag=se&amp;keywords=lexical+competence&amp;qid=1759056156&amp;s=books&amp;sprefix=lexical+competence%2Cstripbooks%2C53&amp;sr=1-1"><strong><em>Lexical Competence</em></strong></a><strong><em>, </em></strong>(<strong><em>MIT</em></strong>, <em>1997</em>).</p><blockquote>“This book is about a single philosophical problem, namely, what is the difference between a system, natural or artificial, that can be said to understand a natural language and one that cannot.”</blockquote><p><strong><em>Prof. Marconi </em></strong>’s teachings lean on the concept of <strong><em>lexical competence </em></strong>to question any entity’s (human or artificial) <em>lexical understanding</em> <em>abilities</em> of utterances when using natural language. <br>Namely : <em>our exact topic</em>, in its own right. <br>Thus, semantic lexical competence consists in two distinct and complementary abilities, <em>referential</em> and <em>inferential</em> :</p><ul><li><strong><em>Referential</em> semantic competence</strong>,<br>namely, the ability to understand the meaning of words <strong><em>in relation to their referents or denotations</em>;</strong> in short, this lexical competence is about knowing <strong><em>what a word refers to</em>,</strong> or <strong><em>represents in the world</em></strong>, <strong>and</strong></li><li><strong><em>Inferential</em> semantic competence</strong>,<br>namely, the <strong><em>ability to infer the meaning</em></strong><em> </em>from linguistic expressions that are <strong><em>not explicitly stated </em></strong>or <strong><em>directly referable</em></strong>; this competence involves using <strong><em>contextual</em></strong> information, <strong><em>prior knowledge</em></strong>, and <strong><em>cognitive processes</em></strong> like <strong><em>inference</em></strong>, <strong><em>implication</em></strong> and <a href="https://en.wikipedia.org/wiki/Pragmatics"><strong><em>pragmatics</em></strong></a> to <strong><em>derive</em></strong> meaning.</li></ul><p>Obviously, <em>meaning</em> and <em>understanding</em> will always remain uncertain and fuzzy domains, totally exclusive of any reasonable, completely objective metrics, but at least <em>we now have two main ‘dimensions’</em> along which we can assess a prior <em>likelihood</em>, study selected examples of <em>questionable understandin</em>g, then issue <strong><em>an educated guess about our models’ capabilities</em></strong>.</p><p>On the other hand, as our models fluently use our natural language, and obviously understand our demands — <em>at least, in appearance </em>— 8<strong>0% of the time</strong>, they offer us the exceptional opportunity to request <strong><em>their own assessment on their own performance in understanding</em></strong>, along these two distinct axes: <strong><em>referential</em></strong>, and <strong><em>inferential</em></strong>.</p><h4>4.1.2. “Forget the grill, use the flamethrower”: The final self-test…</h4><p>Thus, as a complement to the nine initial questions sent to <em>Grok</em> to test his <em>ability to discover </em><strong><em>Charles Saunders Peirce</em></strong><em> ‘s digital footprints in a translated text,</em><br>I submitted the model to a new series of requests, dubbed “<strong><em>Question 10</em></strong>” (<em>indexed: “Q10-</em><strong><em>x</em></strong><em>”, </em><strong><em>x=1,..,11</em></strong>); but this time, <em>mainly intended to let Grok evaluate its own semantic abilities, those that it had shown earlier, in the </em><strong><em>[Q1-Q9] </em></strong>phase of the test,<br>And at this point, while <em>Grok</em> made new <em>severe and unmistakable errors</em> <em>on the fly </em>while he assessed his semantic competence in the first phase <strong><em>[Q1-Q9]</em></strong>, I eventually led him to also <em>reconsider his new mistakes in understanding</em>, and <em>invited him to express </em><strong><em>h</em></strong><a href="https://github.com/First6a/GotGrilled/blob/main/TheGrill-Q10%2B%2B.pdf"><strong><em>is own conclusions about his own semantic, referential and inferential abilities</em></strong></a><strong><em>,</em></strong> from the beginning to the end of the entire session.</p><p>As you can see in the <a href="https://github.com/First6a/GotGrilled/blob/main/TheGrill-Q10%2B%2B.pdf"><strong><em>PDF report</em></strong></a>, the <strong><em>“Question 10” </em></strong>series was asked well after the first series <strong><em>[Q1-Q9],</em></strong> but in the same continued session to ensure that the model would not have erased the content of the written exchanges in the <em>questions &amp; answers from 1 to 9</em>.</p><p>The first two questions in this series, <strong><em>[Q10–1 and Q10–2]</em></strong> were only intended to verify</p><ul><li>(1): <em>that the concepts of referential and inferential semantic competence of the model were </em><strong><em>aligned</em></strong> with the actual user’s concepts, respectively<strong><em>([Q10–1])</em></strong>, and</li><li>(2): <em>that the model recognized that the semantic competence of either category is </em><strong><em>variable</em></strong>, and therefore may be very different from one question to another <strong><em>([Q10–2])</em></strong>.</li></ul><p>Then, immediately after <strong><em>Q10–3</em></strong> hereunder, <em>the main one</em>, <em>Grok</em> passed one more time on the grill, from <strong><em>Q10–4 to Q10–11</em></strong>, around the following prompt (<em>session in French, therefore continued in French</em>), with cross-checking reviews about the previous prompts, along the two dimensions, <em>referential</em> and <em>inferential, </em>of <em>Grok</em> ’s semantic lexical competence :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*io41Tndxh-TiQMy19GJKwQ.png" /><figcaption><strong>TheGrill-Q10++.pdf : Q10–3</strong></figcaption></figure><p>That is, translated :</p><blockquote><strong>Q10–3</strong><br><strong>User</strong> : “Thank you Grok. Regarding your constant lexical semantic skills, regardless of the variations of competence that can result from the context of the questions, can you on a scale of 1 to 10 (0 = null skill, 10 = maximum skill, that is to say like a human) evaluate with honesty and objectivity your structural lexical semantic skills, respectively “referential” and “inferential”, by justifying the notes that you attribute to yourself ?”</blockquote><p>Just as for <strong><em>questions 1–9 </em></strong>in <a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-ii-e-1f2904eac010"><strong><em>Part II</em></strong></a>, I strongly suggest you download the file, open it with any <em>PDF reader</em>, and explore the details of this second part of the conversation too :</p><p><em>You might experience some uncanny feeling, a bit like attending a therapy in a shrink’s office …</em></p><p>(By the way : the word “<em>shrink</em>” comes from “<a href="https://www.thefreemanonline.org/why-are-psychiatrists-called-shrinks/"><strong><em>head shrinkage</em></strong></a>,” which refers to the ancient practice of shrinking the head of a conquered enemy. But <em>Grok</em> is still my friend; 😉 anyway…)</p><p>In fact, expressing his own semantic performances, <em>Grok</em> initially scored <strong><em>8/10 and 7/10 respectively</em></strong>, for his overall <em>referential</em> and <em>inferential</em> lexical skills (on <strong><em>Q&amp;A 1 to 9</em></strong>), thus initially expressing a <strong><em>pretty good self-confidence</em></strong> in his <em>understanding</em> of our conversation’s <em>meaning</em>.</p><p>But subsequently, as his past mistakes were <em>gradually</em> and <em>separately</em> <em>recalled</em> while he was invited to <em>maybe reconsider his scores</em>, the model started to slip into a progressive <em>degradation of his overall assessment</em>, <strong><em>down to 5/10 &amp; 6/10 respectively.</em></strong></p><p>And then suddenly, about <strong><em>Q10–7</em></strong>, <em>Grok</em> <br><strong><em>(1):</em></strong> clearly <em>expressed a thought </em>and a <em>response </em>where he <em>explicitly conflated the respective meaning</em> of “<strong><em>rise</em></strong>” and “<strong><em>fall</em></strong>” (“<strong><em>hausse</em></strong>” et “<strong><em>baisse</em></strong>”), and stated it was only a <strong><em>formulation error</em></strong> (sic, “<em>une erreur de formulation</em>”); then later on <br><strong><em>(2):</em></strong> as the result of a simple addition, whose operand was a <em>9-items list of integers</em> (his own scores) <em>comprised in the 0–10 interval</em>, the model found <strong><em>76</em></strong>, <em>wrong</em>, <em>instead of</em><strong><em> 69</em></strong>, <em>right</em>. <br>To be completely honest, <em>Grok</em> did notice on his own his addition error and corrected it in his thinking process, without any user action. <br>But this <em>error’s alleged cause</em> defies <em>reasonable understanding</em> and became <em>overwhelming</em> when <em>Grok</em> coldly explained that <em>each numeric value being represented by a token</em>, his error might either come <em>“from a failure in pairing numbers with their literal value”</em>, or <em>“from a tokenization error in possibly conflating the tokens </em><strong><em>“76”</em></strong><em> and “</em><strong><em>69”</em></strong><em>”</em>…</p><p>Therefore, at the end of <strong><em>Q10–9,</em></strong> the model finally recognized the seriousness of the exceptional cumulation of its <strong><em>errors in understanding</em></strong><em> </em>in the corresponding instance, and <em>honestly gave its own </em><strong><em>referential</em></strong><em> competence a </em><strong><em>1/10 </em></strong><em>score, and its </em><strong><em>inferential</em></strong><em> competence one, </em><strong><em>2/10</em></strong>…<br>Nothing to add, but the <em>unsurprising emergence</em> here of <em>sort-of</em> <strong><em>“Epimenides paradox”</em></strong> (<strong><em>‘the paradox of the liar’</em></strong>):</p><ul><li>either<em> </em><strong><em>you believe what Grok says</em></strong><em>, and trust his skills self-assessment; </em><br> then you should decide that <strong><em>you can’t trust a model </em>with such unpredictable self-scores in understanding competences,</strong></li><li>or <strong><em>you don’t believe what Grok says</em></strong><em>, and don’t trust his self-assessment</em> (you might, for example, think that his answers may have been induced by my requests);<br>then you should decide that <strong><em>you can’t trust a model </em>with such a fragile sense of ground truth.</strong></li></ul><p><strong><em>The choice is yours.</em></strong></p><h3>4.2. “We”, humans…</h3><h4>4.2.1. Limited in scope, but understanding infinitely richer</h4><p>It may be relevant to remind here that our primitive brains have been endowed with language abilities roughly <a href="https://languagehat.com/when-did-human-language-emerge/"><em>135.000 years ago,</em></a> by two small parts of our whole brain, two specialized and connected networks (in the <em>dominant hemisphere</em>) devoted to our language processing, <a href="https://en.wikipedia.org/wiki/Broca%27s_area"><strong><em>Broca</em></strong></a><strong><em> ’</em></strong>s and <a href="https://en.wikipedia.org/wiki/Wernicke%27s_area"><strong><em>Wernicke</em></strong></a><strong><em> ’</em></strong>s areas; this specialization might possibly have emerged during evolution, by <a href="https://en.wikipedia.org/wiki/Exaptation"><strong><em>exaptation</em></strong></a><strong><em> </em></strong>maybe or otherwise, from networks initially devoted to primitive communication that arose from gestures, as it is still the case with primates…</p><p>On the other hand, as we are immersed since our birth in the constantly evolving <em>state of the affairs of this world </em>that we all share, and use to call “<em>the</em> <em>outside world</em>” and/or “<em>real life</em>”,<br>We <strong><em>learn by living</em></strong> in this world; and we <strong><em>acquire our knowledge</em></strong><em> </em>about it <em>through our </em><strong><em>percepts</em></strong>, our <em>‘</em><strong><em>sensory inputs</em></strong><em>’,</em> by the <strong><em>constant predictions</em></strong> we make about the <em>evolution of the affairs</em>, and <em>by the </em><strong><em>constant actions</em></strong> we take <em>-in a relentlessly </em><strong><em>dynamic</em></strong><em> process-</em>, to <strong><em>adapt</em></strong> ourselves to our life conditions; whereas <strong><em>LLMs</em></strong> extract their knowledge about real life <em>only once, one-pass, </em><strong><em>statically</em></strong>, during their training <em>through their huge textual database</em>.</p><h4>4.2.2. “<strong><em>A map is not the territory</em></strong>”</h4><p>Therefore, borrowing the brilliant “<strong><em>map &amp; territory</em></strong>” metaphor from<strong><em> </em></strong><a href="https://en.wikipedia.org/wiki/Alfred_Korzybski"><strong><em>Alfred Korzybski</em></strong></a><strong><em>,</em></strong></p><ul><li>we humans draw our personal<strong><em> maps</em></strong> directly from <em>our limited living experience</em> in the “<em>outside world</em>”, the <strong><em>territory</em></strong>, and use our <strong><em>natural language </em></strong>to pool these personal, limited maps,</li><li>whereas LLMs draw their own gigantic map … well : <strong><em>from bazillions of another maps</em>, <em>only textual,</em></strong><em> </em>that is their huge textual training database, <em>made itself out of juxtaposed maps: </em><strong><em>they are endowed with a map of maps to figure out what the world is like…</em></strong></li></ul><p>Obviously, this <em>map made of maps</em> is immensely huge in <em>size</em> and <em>scope</em> by respect to our personal limited ones, <em>and this what </em><strong><em>makes the LLMs’ performances</em></strong><em> </em><strong><em>really</em></strong><em> </em><strong><em>outstanding, </em></strong>and <em>very impressive</em> to us.</p><p>But the “<strong><em>texture</em></strong>”, the ‘<strong><em>fine grain’</em> </strong>of such <em>a map made of other maps</em> can’t probably cope with ours in anyway, as ours is <em>necessarily and infinitely richer</em>, being drawn and constantly updated <em>by direct and active </em>living “<em>in real life (IRL)”, </em><strong><em>thus endowing our reasoning abilities with sensible, meaningful experience</em> <em>of our ‘outside world’.</em></strong></p><p>Thus, as an illustration, <strong><em>Prof. Diego Marconi </em></strong>sharply observes, quote : <br>&gt;&gt;&gt;<strong><em>“On the other hand, the system cannot establish whether a sentence is true or false in a situation that is not given to it through language. For example, it cannot determine if a sentence is true or false in the real world, it cannot verify the sentence, unless the “real world” is given to it through a linguistic description. If you place the system in a room and require it to evaluate the sentence “There are at least four seats in this room”, the system won’t do it.” </em></strong>(op. cit., page 138)</p><p>Moreover, <strong><em>Broca </em></strong>’s and <strong><em>Wernicke ‘</em></strong>s specialized modules in the human brain are far from sole responsible for human <em>cognition</em> at stake in <em>language understanding </em>: Neuroscience convincingly shows that language is processed throughout connections between those two modules <strong><em>and</em></strong> <strong>the whole brain</strong> : when we <em>understand</em>, we also rely on many other parts of our brain networks through both <em>direct</em> and <a href="https://www.sciencedirect.com/science/article/abs/pii/S2451902219301387?via%3Dihub"><em>corollary discharge</em></a>, noticeably our <a href="https://philarchive.org/versions/GENCME"><em>hippocampus</em> (<em>to </em><strong><em>index</em></strong><em> an </em><strong><em>navigate</em></strong><em> our </em><strong><em>episodic</em></strong><em> and </em><strong><em>semantic</em></strong><em> </em><strong><em>memories</em></strong></a>), and/or our cortex (<em>to </em><strong><em>synthesize</em></strong><em> data in real time and </em><strong><em>deliberate</em></strong><em> our </em><strong><em>decisions</em></strong>) in particularly rich, <em>complex and still poorly understood </em>interactions for <em>cognition</em>.</p><p>In purely <em>functional</em> terms, the <strong><em>LLM</em></strong>s could thus be regarded as a kind of very sophisticated <strong><em>language translator</em></strong>, equivalent to the <strong><em>Broca</em></strong> and <strong><em>Wernicke</em></strong> areas, and only those, but deprived of all “<em>what is around</em>”: <br>no <em>cortex</em>, no <em>memory</em> neither <em>semantic</em> nor <em>episodic</em>, no <em>mechanism</em> for<em> navigation in space of concepts</em> related in feedback to the <em>hippocampus</em> and the <em>entorhinal</em> <em>cortex</em>, no <em>intention</em>, no <em>instincts</em>, no <em>affects</em>, no <em>worldview</em>…;</p><p><strong><em>Nothing else</em></strong>, to <em>stand for</em> and <em>simulate</em> <em>understanding</em>, but</p><ul><li>the <em>statistical forecast of the most likely following word, in context and position</em>, by reference to its text base,</li><li>using a <em>single tool </em>to extract the meanings of the words: <em>the regressive self-attention</em>, this unique, original and <em>technologically brilliant mechanism</em>, which endows the model with <em>weak referential</em> and <em>inferential</em> skills, but “good enough” to maintain <strong><em>a perfectly fluid conversation, syntactically, grammatically irreproachable</em></strong>, imitating a satisfactory human understanding, <strong><em>80% of the time</em></strong>, by reference to the <em>significant patterns </em>collected in a gigantic base of texts <em>distilled by self-attention</em>…</li></ul><p>A ‘<a href="https://en.wikipedia.org/wiki/Brain_in_a_vat"><strong><em>brain in a vat</em></strong>’</a> somehow, namely: a pure “<strong><em>S</em></strong><a href="https://fr.wikipedia.org/wiki/Syst%C3%A8me_1_/_Syst%C3%A8me_2_:_Les_deux_vitesses_de_la_pens%C3%A9e"><strong><em>ystem 1</em></strong></a>”-type module as defined by <a href="https://en.wikipedia.org/wiki/Thinking,_Fast_and_Slow"><strong><em>Daniel Kahneman</em></strong></a>, designed for the <em>sole purpose of language</em> <em>processin</em>g, but only understanding in “<em>surface inference</em>”, so to speak.</p><p>Such a <em>translation</em> is obviously necessary, and yields <em>unquestionably impressive results</em>, but it is not enough for a real understanding, that is, to give in all circumstances the words and phrases of natural language a meaning that</p><ul><li><em>not only reliably connects what these words and phrases represent </em><strong><em>by respect to real things and states of the outside world</em></strong><em>,</em></li><li><em>and can </em><strong><em>furthermore activate all reasonable inferences </em></strong><em>that a speaker can draw from the message that these words and phrases convey.</em></li></ul><p>This is the strongest and most convincing argument that validates the so-called “<strong><em>Chinese Room</em></strong>” experiment where the <em>entity in the room</em> can handle the signs of language very cleanly, <em>without understanding anything to the ideas that language conveys</em>.<br><strong><em>Observation:</em></strong><br><em>When a </em><a href="https://www.sciencesetavenir.fr/animaux/oiseaux/question-de-la-semaine-pourquoi-les-perroquets-sont-ils-les-seuls-animaux-a-avoir-la-faculte-de-parler_137876"><strong><em>parrot</em></strong></a><em> does exactly that, is it only because the birdy is much cheaper to train that everyone finds it so funny? </em>🤔</p><h3>4.3. Understanding and misunderstandings</h3><h4>4.3.1. Understanding</h4><p>As a <em>sine qua non</em> condition for an exchange in natural language with a model, through expressions bearing content that make sense about the world’s affairs, <br>it is obviously necessary that the words and sentences that convey the user’s ideas in this exchange have the <strong><em>same meaning</em> </strong>for the <strong><em>model</em></strong> and for the <strong><em>user</em></strong>.</p><p>The combination</p><ul><li><strong><em>of the “map and territory” metaphor,</em></strong></li><li>and the <strong><em>abstract, theoretical vision</em></strong> <br>- of <em>all possible meanings </em>of words and phrases of natural language as a <em>vector space</em>, <br>- and their <em>understanding</em>, as <em>moving along a trajectory </em>in this space,</li></ul><p>allows to form a mental image of a <em>question-and-answer</em> exchange with a large model of language, if only from the <em>abstract, geometric point of view </em>of <em>meaning</em>:</p><ul><li><em>When the user issues their question</em>, the meaningful content of the question becomes a trajectory in the user’s lexical semantic space (his route on his own map: the<em> </em><strong><em>natural</em></strong> lexical semantic space);</li><li><em>When the model understands this question</em>, their computation draws a supposedly identical trajectory in its own <strong><em>artificial</em></strong> lexical semantic space, and this trajectory ends at a <strong><em>point</em></strong> in this semantic space.<br>This point represents the <strong><em>overall lexical meaning</em></strong> of <strong><em>what the model has understood from the user’s question</em></strong><em>,</em> and forms the<em> overall meaning </em>from which the model would <em>generate its vector response</em>;<br>When the model generates its answer, the content meaning that it adds, by its computation, word after word, to the overall meaning of the question, is the <em>continuation of the semantic route drawn by the user’s question in the model’s map,</em> i.e. its <strong><em>artificial</em></strong> lexical semantic space; this continuation of trajectory follows in the model’s semantic space <em>by reference<br>- </em>to all <em>text patterns </em>contained in its textual database, <br>- to its <em>training goals</em>, and<br>- to the <em>strategy that the model applies to walk</em> its trajectory.</li><li>This trajectory comes to an end when the model’<em>s probabilistic inference engine</em> meets a ‘<em>fuel shortage</em>’, viz. <strong><em>the probability of finding a following word that adds meaning to its answer drops to zero</em></strong>; the end of the global trajectory, where the generation is interrupted, is then a <em>new</em> <strong><em>point</em></strong> in the artificial lexical semantic space of the model; this point represents the <strong><em>global meaning </em></strong><em>(nuanced over the n(=20,000) semantic dimensions</em> of the model) of the <em>complete narrative composed by the user’s request and the model’s generated response</em>.</li><li>And eventually, when the model communicates their response to the user, the user <em>understands</em> <em>the response</em> when <em>understanding its meaning in his own natural lexical semantic space</em>, relating <em>to the meaning of his request</em>, <strong><em>and</em></strong> <em>to what he already knows about the evolving state of the world’s affairs</em>.</li></ul><p>In this story, the <em>words of language</em>, <em>sentences</em>, and <em>lexical expressions all have a </em><strong><em>lexical</em></strong><em> </em><strong><em>semantic content</em></strong>: they all <em>represent states of the world’s affairs</em>, <strong><em>to which they refer</em></strong>. As this state of world affairs is the <strong><em>unique territory</em></strong> to which all maps refer, the user’s map and the <strong><em>LLM</em></strong>’ s map as well, then the <strong><em>natural</em></strong> user’s space of meaning <em>should by design be the </em><strong><em>same exactly</em></strong><em> </em>as the <strong><em>artificial</em></strong> space of meaning of for <em>all the LLMs</em>.</p><p>As a matter of fact, there is <em>only </em><strong><em>one</em></strong> <strong><em>territory</em></strong> in which the respective user’s and model’s <em>maps of meaning</em> respectively allow them to <em>navigate</em>: this <em>territory</em> is the <em>external world</em>, the “<em>real life</em>” that these maps describe, each in its own way; and we know that if the models’ maps generally cover <em>a far much larger cognitive field </em>than all those of all its users combined, these <em>artificial</em> maps are however <em>far less locally detailed</em>: whatever we can do, they can only reproduce locally, at least for the moment, <strong><em>a purely “bookish”, static understanding of the world’s affairs</em></strong>, whereas every one of our own individual, natural maps as human user is <strong><em>infinitely more detailed</em></strong>, <em>constantly updated</em>, and <strong><em>have much more usable, useful nuances</em></strong>.</p><p>Two salient examples help envision this difference :</p><ol><li>The legendary ‘<em>story </em><strong><em>of the man who saw the man who saw the bear</em>’</strong>, <br>- which illustrates “<em>gradually distorting risks, as the original story is repeated, assimilable to </em><strong><em>peddling</em></strong><em> </em><strong><em>of gossip</em></strong>”. <br>In terms of pure meaning,<br>- to talk about a bear, <em>based on what you have learned by distilling thousands of pages of bear stories</em>, and <br>- to talk about a bear, <em>because you really saw one very closely</em>,<br>Probably <em>doesn’t quite give the same understanding of what a bear really is,</em> in flesh, hair, claws and teeth; especially if that very day when <em>the man </em>saw <em>the beast for real</em>, the bear was at large, and even -perhaps-, a little angry…</li><li>The “<strong><em>common sense</em></strong>” reasoning: <br>- from the moment of our birth, our living experience of the <em>first principles </em>that govern <em>space</em>, <em>time</em>, <em>physical</em> <em>interactions</em> and <em>social</em> <em>relations</em> contribute to the formation of <strong>our</strong> “<strong><em>common sense reasoning</em></strong>”, the one that allows us very early to understand, for example, that an object persists when it disappears behind another object, or that it falls on the ground when it is pushed beyond the edge of a table, etc. (“<em>naive physics</em>”)<br>However, this utmost basic training in reasoning is <em>totally exclusive of language</em>, since it takes place essentially even before we learn language, and cannot be, <em>by its very nature,</em> <em>expressed neither by words nor by texts</em>, since this kind of training results from <em>lived sensory experiences</em>, memorized once and forever on the long term in the cerebral cortex.<br>Therefore, even if we overlooked the difference, yet essential between <strong><em>knowledge through lived sensory experimentation</em></strong> and <strong><em>bookish knowledge</em></strong>, <strong>there would be no written, textual documentation </strong>whatsoever that could allow a model, <strong><em>whatever its alleged lexical competence</em></strong>, <em>to acquire the basic foundations of common sense reasoning</em>.</li></ol><h4>4.3.2. “Space Odysseus”: A logbook</h4><h4>4.3.2.1. Allegory of the Trajectory</h4><p>Thus, in terms of <em>pure understanding</em>, in order for a <em>user</em> and his <em>model</em> to exchange in a sensible way about the state of world’s affairs, it is essential that they <em>can understand the same world’s affairs in the same way</em>, that is to say: <strong><em>that their respective trajectories, each in their semantic space of reference, natural for the user, artificial for the model, take them respectively to the same places although their maps could be different</em></strong></p><p>In <em>geometric terms</em>, we have already seen that the <em>overall semantic trajectory</em> of the complete <em>user-model-user</em> exchange<br>- <em>begins</em> in the <strong><em>natural</em></strong><em> semantic space</em> of the <em>user</em>, by the <em>meaning</em> he expresses through his <em>request</em> (“<em>on the way</em>”),<br>- <em>continues</em>, by the <em>interpretation of the question by the model</em>, which <em>translates into its </em><strong><em>artificial</em></strong><em> semantic space </em>(with its <em>math </em><strong><em>NLP</em></strong><em> tools</em>), the <em>meaning</em> of the question, then <em>generates its answer</em>, still in its artificial space (using the same tools); and then <em>communicates</em> its result to the <em>user</em>,<br>- which finally <em>interprets this response</em> by analyzing (“<em>on the return</em>”) their <em>meaning</em> <em>in its own </em><strong><em>natural</em></strong><em> space</em>, <strong><em>where the user evaluates the consequences of this meaning on the evolution of the subsequent state of world’s affairs</em></strong>…</p><blockquote><strong>nota bene 1</strong><br>The trajectory begins in the natural semantic space of the user, passes through the artificial semantic space of the model, and returns to the natural semantic space of the user.</blockquote><p>Of course, no one can imagine a <em>trajectory</em> in a <em>20,000-dimensional space</em>… But to visualize what is going on <em>in terms of pure navigation in the semantic space</em>, the <em>image of a trajectory in a two-dimensional space</em> only, that is to say in a <em>Euclidean</em> plane (cf. ‘<strong><em>Conclusion 3’ </em></strong>below), is quite sufficient:</p><ul><li>The “<strong><em>territory</em></strong>” is the <em>state of the world’s affairs</em>: an infinite territory, fluctuating relentlessly, essentially unknown, uncertain and therefore dangerous, because it is wrapped in a thick, impenetrable mist that reduces the visual field so much that the only way to move there is to use a <strong><em>map</em></strong> (a <em>map of understanding</em>) <br>In short: “<em>Terra incognita</em>”, in the true sense of the “<em>Real Unknown</em>”, in person…</li><li>The “<strong><em>user</em></strong>” is an ordinary traveler in this territory. He owns an ordinary map, in <strong><em>2D</em></strong>, <em>very detailed</em>, with a <em>very fine mesh</em>, which allows it to find its way there; <br>- <em>as a careful navigator</em>, he has already recorded on this detailed map all the parts of the territory he has already explored: those that are close to his ‘natural habitat’; <br>- <em>but also as a navigator by nature,</em> the traveler likes to explore the more distant parts, those he does not know yet.</li><li>The “<strong><em>model</em></strong>” is another traveler, a virtual <strong><em>explorer</em></strong> who only moves “<em>in thought</em>” in this same <em>territory</em>, and also owns <strong><em>his own map</em></strong> in <strong><em>2D</em></strong>, which is unique to it: it is <em>indeed really immense</em>, and extends <em>practically to the edges of the horizon </em>lost in the mist; <em>but it very summary </em>a map: <br>- for first, it is <em>much less detailed</em>, by far, than that of the traveler, and with a <em>much less tight mesh</em>; <br>- and furthermore<em>, and above all</em>, this map <strong><em>has not been drawn by a real exploration of the territory,</em></strong> but <em>by</em> <strong><em>assembling copies of other, variable quality</em> </strong>(perhaps doubtful) <strong><em>maps</em>, <em>from diverse sources and diverse origins or textures,</em> <em>necessarily uncertain given the immense size of this card made of cards, and the very loose mesh…</em></strong></li></ul><p>The scene is set, then the “<em>cruise</em>” can start:</p><p>The <em>user</em> decides to go to a <em>distant part of the territory</em>, the “<strong><em>X point</em></strong>”, by first sending the <em>model</em> as <em>an</em> <em>explorer</em>.</p><blockquote><strong>nota bene 2</strong><br>The model demands indecent fees for this work, but he knows navigation very well in its own virtual space. Moreover, the model is indestructible, and never gets lost; therefore no one takes any risk; (the fees put apart…)</blockquote><ul><li>(<em>The user</em>): the <strong><em>traveler</em></strong> points on his personal (very detailed) 2D <strong><em>map</em></strong> the general direction of the <strong><em>X-point</em></strong> that he wishes to explore, and draws on his map a <em>trajectory</em> <br>- <em>from his current location</em>, from where he contemplates the near landscape: the starting point, “<strong><em>A</em></strong>”, <br>- <em>until the</em><strong><em> end of his map</em></strong><em> in this direction</em>; <em>he marks this point on the </em><strong><em>edge of his detailed map</em></strong>: “<strong><em>B </em></strong>”; <br>- then he passes the <em>navigation control to the model,</em> and requires him to <em>continue the exploration</em> (i.e: the user presses the “<strong><em>Return</em></strong>” key, passing the <em>prompt</em> to the model).</li><li>(<em>The model</em>): the <strong><em>explorer</em></strong> takes his own (<strong><em>basic</em></strong>) <strong>map</strong>, reports (as he can) the <em>initial traveler’s trajectory from </em><strong><em>A </em></strong><em>to </em><strong><em>B</em>,</strong> and computes (<em>he is very gifted for computations</em>) a <em>trajectory on his own map </em><strong><em>from B to X</em></strong>, passing through as many points of road (way-points): <strong><em>C, D, E, etc.</em></strong>, as necessary, to reach X, <em>his objective</em>;</li><li>(The user): the <strong><em>traveler</em></strong> then <em>reports on his own map </em><strong><em>the trajectory from B to X</em></strong><em>, together with all the intermediate route points.</em></li></ul><p><strong><em>The virtual exploration (of meaning) is over</em></strong><em>:</em> the <em>user</em> only has to check that he recognizes, <em>implicitly</em> or <em>explicitly</em>, <em>that the X point on his map corresponds to a possible state of world affairs,</em> that is to say : <em>to the part of the </em><strong><em>territory </em></strong><em>where he has been virtually transported by the model’s journey while walking his basic, summary card…</em></p><blockquote><strong>nota bene 3</strong><br>- When the <strong>traveler</strong> explores by himself some part of the territory he does not know yet, and simultaneously draws a map of it, he <strong>checks</strong> as carefully as possible -<strong>implicitly</strong> or <strong>explicitly</strong>-, that the indications he mentions on his map rightly correspond to the territory he travels: this verification is the surest way for him not to run the risk of getting lost (in understanding).<br>- The <strong>explorer does not check anything</strong>, because he is unable to verify anything: he builds his trajectory <strong>blindly</strong>, “his nose in the cockpit”, a way-point after the other, <strong>according to his own geodesic of the greatest probability of the next point compared to the previous point, in the general direction followed since the beginning of the course…<br></strong>In short: <br><strong>is The myth of </strong><a href="https://en.wikipedia.org/wiki/Tiresias"><strong>Tiresias</strong></a>, the <strong>blind</strong> prophet of Apollo in the Ancient Thebes, <strong>revisited</strong> … by <strong>linear algebra</strong>, <strong>GPU</strong>s and <strong>Big Data</strong>?</blockquote><h4>4.3.2.2. Superposition of the maps? or not.</h4><p>We have to summon <em>a new mental image</em> to understand how this <em>“virtual cruise”</em> amounts to in terms of pure meaning; it is a simple, but more technical image related to <a href="https://en.wikipedia.org/wiki/Course_(navigation)">navigation at sea,</a> that all sailors will easily recognize: the story of the <em>“course over the ground” </em>or ‘<em>course made good’</em>.</p><p>When a navigator draws on the map his route at sea, the successive points that he marks on the map are generally understood <em>on the surface of the sea</em> (<em>admittedly better for the crew’s well-being…</em>). <br>As long as the navigation is perfect, the <em>course on the map</em> obviously follows -in each and every point- ‘<em>the course over the ground</em>’ of the sea, which the sailor of course does not know (as long as he sails on the sea surface). <br>However, some bad weather -for example, a strong current and/or an adverse wind-, can move the referential on the surface of the sea, badly disturb the cruise, and cause a gap between the <em>route on the map</em> and the <em>course over the ground</em>.<br>If such a gap occurs, as long as the sailor has no information on his exact, real route, on the bottom of the sea, he will be unable to correct his trajectory at the surface: and the longer the trajectory, especially if bifurcation points exist, the more likely the cruise will meet an unhappy ending: <em>at the end of the route on the map</em> (our point marked “<strong><em>X</em></strong>” , precisely), that is to say: at the exact place where <em>the route on the map should join the course over the ground</em>: surprise! we have not reached the destination. <br>Needless to say: The resulting consequences are usually a bad navigation deal.</p><blockquote><strong>nota bene 1</strong><br>The LLM model travels its semantic trajectory in a very particular way: always “<strong>forward</strong>”, accumulating <strong>the meaning of everything it has received in input, plus the meaning of the entire history of what it has itself generated.</strong><br>This “mode of reasoning” is that of an <strong>automaton</strong> in the strict sense: it is not autonomous, and does not involve neither any reverse travel ability, nor “emergency stop button”; <strong>its movement in semantic space results only from its probability of prediction for the next word, and from its limited inferential abilities.</strong><br><strong>The rigidity of this mode of exploration has a consequence:</strong> if the model has made <strong>an error in understanding a few words upstream </strong>and it notices it, it can certainly correct it, but <strong>it can never come back to the state he was in before he made an error</strong>: <strong>Its ‘understanding course’ contains the error forever, as it passes through the wrong bifurcation in space, and this error will continue to affect the continuation of the trajectory, whatever the correction</strong>, if any.<br>And this is probably what explains this model’s observable tendency to <strong>abound in justifications of all kinds </strong>when it commits a manifest error, (cf. <a href="https://github.com/First6a/GotGrilled/blob/main/HOT-Grok-commented.pdf"><strong>Q1-Q9</strong></a><strong>, </strong><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-ii-f-d24ac744c58e">Part II</a>), rather than<strong> ‘just erase the slate’</strong> from the wrong line on, a<strong>nd resume its ‘understanding’ on the right trajectory</strong>; whereas (by the way) this kind of course would have been the best and most ‘intelligent’ one in case of an error… (it’s called <strong>backtracking ability</strong>, this ability to review, then come back anew with a fresh start; and the model can’t do it, by design…)</blockquote><p><strong><em>Conclusion 1</em></strong>: <em>“Following the ‘</em><strong><em>course over the ground</em></strong><em>’ is the only guarantee to arrive safely, because the right port is the place where this course ends </em><strong><em>for sure</em></strong><em>.”</em></p><p><strong><em>Conclusion 2 </em></strong><em>: just like a rounding error in a long calculation sequence, </em><strong><em>the sooner an error occurs, the greater the gap on arrival</em></strong><em>: The length of the route conditions the </em><strong><em>amplification</em></strong><em> of any heading error. And if the road has </em><strong><em>bifurcations</em></strong><em> </em><strong><em>through ‘way-points’ </em></strong><em>(this is typically the case for any algorithmic lexical semantic navigation)</em> <strong><em>the amplification of errors will be increased tenfold.</em></strong></p><p><strong><em>Conclusion 3 </em></strong><em>: we made an over-simplification of the over-simplification above, when choosing a </em><strong><em>2D Euclidean plane</em></strong><em> instead of the n-dimensional space in which to trace our trajectories, that is to say: </em><strong><em>a space without curvature</em></strong><em>… Nothing in fact allows us to assume that the semantic space is not curved, locally and/or globally, which could still tragically increase the already strong potential sources of errors for trajectories in understanding. <br>An impressive and very exciting study on this subject, highlighting a disturbing analogy with relativistic (Einsteinian) physics </em>(<em>namely, between the Einsteinian space-time continuum with three dimensions of space and one of time, and the continuum of the multidimensional semantic space of LLMs)</em>,<em> has just been published on this platform by </em><a href="https://riccardo-disipio.medium.com/"><strong><em>Riccardo Di Sipio</em> </strong></a><em>(</em><a href="https://medium.com/data-science-collective/the-spacetime-of-large-language-models-6677c74a0fc3"><strong><em>The Spacetime of Large Language Models</em></strong></a><strong><em> </em></strong><em>&amp; </em><strong><em>ref. </em></strong><a href="https://arxiv.org/abs/2511.03060"><strong><em>ArXiv</em></strong></a><strong><em> </em></strong><em>source</em><strong><em>)</em></strong></p><p>Back to our “<strong><em>virtual cruise</em></strong>” in understanding :</p><ul><li>The understanding trajectory <strong><em>A-X</em></strong> appears on the <strong><em>user</em></strong><em>’s detailed map</em>:<br>it figures his <em>journey, on his natural map of understanding</em>; <em>all the intermediate points that are marked therein represent the evolution, one word after another, of the </em><strong><em>overall meaning of the Q&amp;A exchange, question-and-answer</em></strong>: <br>- from <strong><em>A to B,</em></strong><em> the meaning of the question</em>, <br>- from <strong><em>B to X</em></strong>, <em>the meaning of the answer</em>; <br><em>And the whole, from the user’s standpoint, namely: </em><strong><em>the lexical, natural meaning</em></strong><em> </em><strong><em>by which the user understands, in real life, the real evolution of the world’s affairs by respect to the question-and-answer with the model.</em></strong></li><li>The understanding <strong><em>A-X</em></strong> trajectory is also marked on the <strong><em>model</em></strong>’s <em>basic, summary map</em> and figures its own <em>virtual journey</em> <em>on its own </em><strong><em>artificial</em></strong><em> map</em>; <em>all the</em> <em>intermediate points marked therein represent the same evolution, accumulated one word after the other, </em><strong><em>of the overall meaning of the Q&amp;A exchange, question-and-answe</em></strong><em>r,</em><br><em>But this time from the model’s standpoint, namely</em>: <strong><em>the lexical, virtual meaning by which the model himself virtually understands </em></strong><em>(in its simulation conditioned by the inferential limitations affecting its mode of “reasoning”),</em><strong><em> the virtual evolution of the world’s affairs, by respect to the exchange with its user.</em></strong><em>🙂‍↕️</em></li></ul><blockquote>&gt;<strong>We know with total accuracy</strong> <strong>how the model’s semantic map is built</strong>, that is, <strong>how</strong> the model uses natural language to describe the evolution of the world’s affairs.<br><em>But</em><br>&gt; <strong>Yet we ignore almost everything about how our own semantic map is built: </strong>We only know that it describes the evolution of the world’s affairs in sufficiently reliable and invariant a way as to allow us to make -every moment of our lives-, <strong>all the predictions that ensured the survival of our species, finding our way there for about 135,000 years,</strong> since we were collectively endowed with natural language, this magical tool, without even knowing exactly either how or why…</blockquote><p>Thus we have good reasons to regard as the “<em>route over the ground</em>” the path carried by our own map, natural and detailed, that is to say: <em>the meaning that we naturally give ourselves to the natural language, when we understand the world’s affairs:</em></p><blockquote><strong>Our lexical semantics is the only criterion to retain, in order to give in natural language a meaning to the texts that describe the state of our world’s affairs.</strong></blockquote><p>Equipped with this result — which can be <em>reasonably</em> <em>regarded a</em><strong><em>s “common-sensical”</em></strong> — the geometric interpretation of this path of understanding reveals that the perfect syntactic and grammatical mastery that the model shows on the natural language of the user <em>has </em><strong><em>masked</em></strong><em>, </em><strong><em>or even completely retracted,</em></strong><em> a double </em><a href="https://en.wikipedia.org/wiki/Change_of_basis"><strong><em>change of vector basis</em></strong></a><em> in the multidimensional space of meaning.</em></p><p>Thus, a double <em>exchange of semantic reference frame </em>nevertheless unquestionably took place,</p><ul><li>At first, at point B, <em>when the user transferred the navigation control and let the model </em><strong><em>interpret the query </em></strong><em>and </em><strong><em>generate the response</em></strong><em>, </em><strong><em>both in his artificial understanding space</em></strong><em>,</em></li><li>And once again, at point X, <em>when the model passed his response back to the user, and the user </em><strong><em>interpreted this response</em></strong><em> and </em><strong><em>integrated the resulting consequences about the world’s affairs</em></strong><em>, </em><strong><em>in his own natural semantic space.</em></strong></li></ul><p>Accounting for this change of basis therefore requires from now on,<br>- to <em>note</em> <strong><em>A’, B’, C’, …, X’, the points of the trajectory of the model in the space of meanings on the user’s map,</em></strong> the only one that contains “<em>the course on the ground”</em>, namely the <em>only reasonable geometric criterion of conformity to the complexity of the multidimensional space traveled during the journey,</em><br>- to <em>retain</em> the original reference <strong><em>A, B, C, . . . , X, </em></strong>for the corresponding points of the user’s trajectory in this same space,<br>- and<strong><em> to compare these two trajectories in the space of meaning, from the user’s point of view:</em></strong></p><ul><li>If these two trajectories are identical in all respects, <br>- <em>then the user and his model have understood the same things relating to the world’s affairs</em>; they have reached an <em>unsurprising</em> exchange, in which, moreover, <em>the model will have understood the question, and the user will not only have understood the answer, but will also have judged it “not surprising”, that is to say </em><strong><em>in accordance with what he himself could have said in terms of “truth value”</em></strong>, as referred to the <em>evolving state of the world’s affairs.</em><br>This is the <strong><em>general case</em></strong>, in <strong><em>80%</em></strong> of the exchanges.</li><li>Conversely, different trajectories <br>- <em>will reflect a misunderstanding somewhere, which can only proceed from the model, if we exclude the trivial hypothesis in which the user asks a question that does not make sense.</em><br>This is the set of “<strong><em>special cases of misunderstanding</em></strong>”: <strong><em>20%</em></strong> of the exchanges in <strong><em>production models</em></strong>.</li></ul><p>As they only result from <em>gradient descent</em> during machine learning in the model’s pre-training phase, the model’s <em>meaning dimensions are totally abstract and bear no whatsoever meaning for us</em>: <strong><em>this is the dark, opaque side of distributed semantics.</em></strong></p><p>Thus, we are totally unable to assess, neither a fortiori to compute the necessary <strong><em>transformation matrix </em></strong>to pass safely <em>from the model’s mapping of natural language into ours, and back</em> : we simply can’t know</p><ul><li><em>how the change of vector basis might affect the overall trajectory that the exchange draws in the space of understanding</em>, and</li><li><em>whether this inescapable referential frame change then produces understanding consequences</em>, or not.</li></ul><p>What we just know, from our living experience with computers, is : <br><strong><em>“if something can go wrong, it will.”</em></strong></p><p>Thus, <em>we can reasonably assume</em> <em>that the referential frame change </em><strong><em>produces consequences </em></strong><em>that might just as well explain what remains inexplicable and unpredictable until then</em>: the hallucinations and sort-of phenomena of this kind.</p><p><strong><em>Geometrically speaking, a hallucination can thus be regarded as an atypical semantic trajectory of the model in its semantic space, reflecting the meaning of a non-compliant response, in whole or in part, with what the user could himself affirm in terms of truth values, that is to say in relation to what the user knows for sure about the state of the world’s affairs.</em></strong></p><h4>4.3.3. Misunderstandings and wrong-understandings</h4><h4>4.3.3.1. The Forgotten Legacy of Jerry Fodor</h4><p>As <strong><em>Prof. </em></strong><a href="https://medium.com/@ontologik"><strong><em>Walid Saba</em></strong></a> explains in <a href="https://medium.com/ontologik/language-cognition-re-reading-jerry-fodor-53e98c9933f4"><strong><em>another article</em></strong></a> sur cette plateforme<strong><em> (</em></strong><a href="https://medium.com/ontologik"><strong><em>Ontologik</em></strong></a><strong><em>, </em></strong><em>already cited series</em>), <a href="https://en.wikipedia.org/wiki/Jerry_Fodor"><strong><em>Jerry Fodor</em></strong></a><strong><em> </em></strong>had already demonstrated in a researchers quarrel from the late 80’s (between <em>the “Classics” </em>and <em>the “Connectionists”</em>), that the deep artificial networks or <strong><em>DNNs</em></strong>, <em>“Deep Neural Networks”</em> tried (already at the time) <em>to sell us two totally contradictory stories:</em></p><ol><li>The language is “<em>learnable</em>”, and</li><li>The Language can be learned without “<em>systematicity</em>” nor “<em>symbolic structures</em>”, two inherent properties that <strong><em>DNNs</em></strong> are unable to process.</li></ol><p>This thesis is exposed in an article (co author<strong><em> </em></strong><a href="https://en.wikipedia.org/wiki/Zenon_Pylyshyn"><strong><em>Zenon W. Pylyshin</em></strong></a><strong><em>) </em></strong>totally exciting, but quite difficult to read: <a href="https://github.com/First6a/GotGrilled/blob/main/ConnectionistArchitecture.pdf">“<strong><em>Connectionism and Cognitive Architecture”</em></strong></a><strong><em>, </em></strong>which Professor Saba very clearly summarizes:<br><em>Our cognitive architecture is based on symbolic structures that the </em><strong><em>DNNs </em></strong><em>are unable to capture. Therefore, according to </em><strong><em>Fodor</em></strong><em>, the </em><strong><em>DNNs </em></strong><em>cannot explain how we express our thoughts in natural language.</em></p><p>Indeed, for it to be <em>learnable</em>, natural language must be “<em>systematic</em>”: “<strong><em>systematicity</em></strong>” in <strong><em>Fodor </em></strong>’s sense, is the fact a syntactic unit is not an informal blob, some sort of a simple juxtaposition of “<em>atomic</em>” meanings, <em>but a </em><strong><em>structure with constituent elements </em></strong>that can take all possible values of <em>“similar things”</em>, and <em>can stand for as much </em><strong><em>variables</em></strong>, <em>each one endowed with a corresponding </em><strong><em>status</em></strong><em> in this structure.</em></p><p>This feature in turn ensures “<strong><em>productivity</em></strong>”, i.e. the possibility of composing <strong><em>a structured infinity of all possible thoughts</em></strong>, and thus makes it possible <strong><em>to represent through the language a possible infinity of worlds’ affairs</em></strong>, by simple <strong><em>changes of variables </em></strong><em>in those structures.</em> <br>This is how language confers an <em>infinity of possible meaningful representations </em>with <em>finite</em> means: <em>vocabulary</em>, and <em>rules</em> of <em>syntax</em> and <em>grammar</em>.</p><p>This <em>productivity</em> then implies “<strong><em>compositionality</em></strong>”: when one replaces the variables in a syntactic structure, the meaning of the linguistic structure changes, and then becomes <strong><em>a function of the meaning of its constituent elements</em></strong>. Thus, <em>compositionality</em> makes a strong argument: it is the only possible explanation <em>for our possibility of understanding a potentially infinite number of thoughts </em><strong><em>from a small number of examples</em></strong>, and for explaining <em>how we have the ability to understand the ideas expressed in a speech </em><strong><em>at the same speed as its elocution.</em></strong></p><p>On the other hand, the output information exiting any node in a <strong><em>DNN </em></strong>is <em>never de-composable into its constituents</em>: When a sentence is presented in an artificial network, the network is unable to break it down: the network only proceeds in finding, by <em>probabilistic approximation</em>, a phrase whose meaning is generally similar, that is to say <em>approximately</em> and <em>globally</em> <em>similar</em>, <em>with other components in the same positions, themselves correspondingly similar.</em></p><p>Therefore, such a network can only learn language (respectively: <em>the </em><strong><em>meaning</em></strong><em> of language</em>), only in an “<strong><em>atomic</em></strong>”, unstructured way, <em>sentence by sentence</em>, since it does not know how to break them down into variable elements: <em>the network is therefore unable to activate the mechanics necessary to produce an infinite number of thoughts and sentences, necessary to express these thoughts.</em></p><p>As a result, <em>recursive definitions on symbolic structures, acting on symbolic variables,</em> which allow us to finitely represent infinite possibilities, namely with finite resources, <strong><em>are beyond the reach of deep artificial networks</em></strong>: given the infinity of meanings that a sentence may include, the very notion of “<em>probability of a sentence</em>” makes no sense.</p><p>Thus, the nodes in a <strong><em>DNN</em></strong>s are ‘<strong><em>atomic</em></strong>’ from the semantic standpoint: the network has no access to the constituents that have produced the output of any of its nodes; as consequence, the constituents who have determined the state of a given node have no access whatsoever to the constituents of the previous node, and so on, layer after layer; which leaves the whole network with an impossible task: <em>to account for the infinite productivity of thoughts, it would take him an infinite number of nodes and parameters to memorize all the possible meanings of all the possible sentences of natural language…</em></p><p>One of the fundamental consequences of this very convincing reasoning is that “<strong><em>Fodor-systematicity”</em></strong>, as mentioned above, <em>is required to explain all the inferential aspects of natural language</em>: if the output value of a node in the <strong><em>DNN</em></strong>, which re-composes all its entries, <strong><em>is not de-composable into its constituents, then it is obviously impossible for the network to locally infer anything, relating to these unreachable components... </em></strong><br>Example for illustration (<em>from Prof. Saba’</em>s <em>article</em>), quote :</p><blockquote>- if we hear ‘<strong>John and Mary went to the store’</strong> then clearly ‘<strong>Mary went to the store</strong>’ on its own is implied — that is, that a structure like <strong>A &amp; B </strong>must be <strong>breakable into constituents</strong> so that <strong>I can get </strong>from that <strong>B</strong>. <br>And, again, the value at a node in a <strong>DNN</strong> that composes all inputs is not breakable into its constituents !</blockquote><p>This simple example is enough to demonstrate how convincing <strong><em>Fodor’</em></strong>s thesis is: The lack of systematicity of the artificial network <strong><em>necessarily and visibly reduces its inference abilities</em></strong>, necessarily resulting in what might be called <strong><em>understanding heavy losses</em></strong>.</p><p>Much of the meaning content of the message can thus be <em>lost</em> or <em>altered</em>, which may direct the overall understanding of the model towards a plausible trajectory, whose meaning may prove unrelated to anything that the user could reasonably understand: <br>In the example, if the model superbly <em>ignores</em> that it may <strong><em>infer</em></strong> from the assertion: “<em>John and Mary went to the store</em>” that “Mary <em>actually went</em> to the store”, <br>Then the model could very well generate a nice story where<em> Mary went to the planet Mars</em>, and that <em>John felt alone because it was Mary who had kept the list of shopping to do, and the shopping cart</em>; and why not, after all ?… 🙃</p><h4><strong><em>4.3.3.2. Hallucinations and pareidolias</em></strong></h4><p><strong><em>Pareidolia?</em></strong><br>Everyone of us, one day or another, happened to let go voluntarily (or not), to a false interpretation of a <em>beam of perceptions</em>, for example visual and/or auditory: thus making a <a href="https://en.wikipedia.org/wiki/Pareidolia"><strong><em>pareidolia</em></strong></a><strong><em>,</em></strong> as is it commonly defined and qualified :</p><ul><li><em>“…the tendency for </em><a href="https://en.wikipedia.org/wiki/Perception"><em>perception</em></a><em> to impose a meaningful interpretation on a nebulous </em><a href="https://en.wikipedia.org/wiki/Stimulus_(physiology)"><em>stimulus</em></a><em>, usually visual, so that one detects an object, pattern, or meaning where there is none.”</em></li><li><em>“…sensory tendency of to interpret a perception by comparing it to already known objects. It is possible that this preference stems from the evolutionary advantage conferred by a very strong ability to detect a presence, which promotes survival but not necessarily precision[3]. Thus, almost all errors are made in the same “direction”: false positives (recognizing a presence that is not there) rather than false negatives (do not recognize a presence),”</em></li><li><strong><em>“mostly useful for classifying a new object into a known category, but it can also be a source of errors.”</em></strong></li></ul><p>These symptoms all evoke -<em>in a very disturbing way</em>- the actual <em>proceedings</em> <em>of a model in action</em>, when the model <em>understands lexical content</em> through his internal mechanisms : <br>The model <em>looks for meaning</em>, then <em>creates</em> some<em> by random assimilation of patterns he has already referenced</em>, and <em>invents some more </em>according to his <em>temperature parameters settings</em>…<br>When we humans dream awake, and discover that a cloud looks like a bird, or a rock like an elephant, our “<strong><em>System 2</em></strong>” <em>is well aware that these dreams do not correspond to any reality.</em></p><p>For if our mental health is adequate, we own a <a href="https://en.wikipedia.org/wiki/Daniel_Kahneman"><strong><em>Daniel Kahneman</em></strong></a><strong><em> </em></strong>’s “<strong><em>System 2</em></strong>”, and this<em> emergency stop button </em>which brings us back very rapidly to the <em>evolving state of the world’s affairs</em>, in the <em>realm of reality</em> : <em>it would not come us to mind to </em><strong><em>develop any inferential consequences on the basis of such unreal visions or sounds</em></strong>.<br>And yet this is the risk that we could unknowingly face, when relying without verification on a model’s inferences about a subject we do not know well, whose <em>treatment requires a deep understanding and complex inferences that the model is unable of</em>.</p><p>Thus, the potential danger is for the general public of users:</p><p>Helped by a tremendous commercial hype, while being probably and understandably seduced by the <strong><em>outstanding fluidity</em></strong> of their exchanges, and by <em>the “</em><strong><em>surface consistence</em></strong><em>”</em> of the responses they provide<em>,</em><br>The users might slowly drift towards an <em>actual outsourcing</em> of their natural functions of ‘<em>thinking on their own’</em>:</p><blockquote>To completely trust, without precautions, the obvious facilities offered by the models, in contempt or ignorance of their structural limitations, could thus result in a blind, detrimental delegation of human tasks, to models that yet require far higher inferential semantic skills than those they are actually endowed with.</blockquote><p>Certainly, the community of designers is totally honest, and the models all deliver, without any exception I know of and in full compliance with their objectives’ guidelines, <strong><em>a honest assessment about their real abilities of understanding natural language</em></strong>: it is enough to ask them clearly the question, and ask them to develop; in natural language, to enjoy the technological miracle…</p><p><strong><em>Provided, of course, someone ask them the question…<br></em></strong>I suggest you give a try by yourself, too: you might be surprised.</p><h4>4.3.3.3. As a Summary</h4><h4>Possible causes for “hallucinations”</h4><p><strong><em>The trajectory of the model in the semantic space must be questioned</em></strong>, <strong><em>systematically using the “explicit thinking” option, without any exception.</em></strong><br>Whenever the model deviates from that of its user, it is a sign that a <strong><em>misunderstanding</em></strong> has slipped somewhere, <strong><em>a potential sign of model’s failure</em></strong><em>.</em></p><p>In any circumstance, <em>the model’s navigation in semantic space must always be considered </em><strong><em>grossly approximate</em></strong> <em>by respect to ours</em>, and even in some cases (20%), as <em>downright</em> <strong><em>erratic, </em></strong>since</p><ol><li>Whatever the size of its training base, <em>no model will ever memorize</em> <strong><em>the infinity of possible meanings of the infinity of all possible sentences of natural language,</em></strong></li><li>The lack of “<strong><em>Fodor-systematicity</em></strong>” in the model’s learning of language necessarily <strong><em>alters</em></strong>, and alters by design <strong><em>his inferential semantic competence.</em></strong> (cf. <em>Part III-1 section</em><strong><em> 3.3.3</em></strong>, ‘<em>potemkins</em>’, ),</li><li>The<em> conformation of the artificial vector space</em> which stands for the model’s representation of the meaning can significantly reduce its semantic “<strong><em>resolving power</em></strong>” (<em>angular resolution</em>), in certain particular areas of the space of meanings (cf. <em>Part III-1 section</em> <strong><em>3.3.1</em></strong>, <strong><em>Karlgren</em></strong> <strong><em>&amp; Kanerva</em></strong>, “<em>emptiness of the polar cap</em>”, “<em>map more precise than the terrain</em>”, “<em>horizon of interest</em>”, “<em>horizon of noise</em>”),</li><li>The model’s vector progression by <em>successive bifurcations in the semantic space </em><strong><em>amplifies the potential losses of overall significance</em> </strong><em>that can be triggered by a local deviation in the understanding trajectory</em>: the earlier a deviation occurs in the trajectory, the more the amplification effect can lead to a complete nonsense (cf. <em>Part III-2 section</em> <strong><em>4.3.2.2</em></strong>. <strong><em>Conclusion 2</em></strong>),</li><li>Its algorithmic “<em>mode of reasoning</em>” <em>by </em><strong><em>overall meaning accumulation</em></strong><em> of a text</em> <em>is </em><strong><em>exclusive of any ‘backtracking’ </em></strong>in case of an error; on a user’s prompt for re-orientation, the model will (<em>somehow paradoxically</em>) be <em>unable to forget the previous erroneous steps</em>, whose erroneous meaning will anyway continue to condition, and maybe pollute the rest of his semantic trajectory, however corrected (cf. <em>Part III-2 section</em> <strong><em>4.3.2.2</em></strong>, <strong><em>nota bene 1</em></strong>).</li></ol><p>All things considered, the <strong><em>perfect fluidity of the conversation</em></strong> that everyone of us enjoys with his favorite model is so outstanding that it can easily make forget that this apparent ease <strong><em>only simulates </em></strong><em>a “smart reasoning” process</em>: After all, <em>natural language </em><strong><em>perfect mastery </em></strong>does not necessarily imply <em>natural language</em> <strong><em>perfect understanding.</em></strong></p><p>And it is precisely in this sort-of <strong><em>veiled </em></strong><a href="https://en.wikipedia.org/wiki/Cognitive_dissonance"><strong><em>cognitive dissonance</em></strong></a><strong><em> </em></strong>(cf. ‘<strong><em>potemkins</em></strong>’, <em>Part III-1 section </em><strong><em>3.3.3.</em></strong>) that lies the <em>potential danger</em> of this wonderful technological tool: <strong><em>Fodor </em></strong>’s theoretical teachings irrefutably demonstrates that the “<em>connectionist model</em>” is <strong><em>structurally capable to completely understand</em> <em>only a part</em></strong> <em>of what it is otherwise</em> <strong><em>capable to perfectly express</em></strong>…</p><h4>Next steps: possible remedies for hallucinations?</h4><p><strong><em>In scientific terms,</em></strong><br>The inescapable persistence of the hallucination phenomenon in large language models can be regarded as the <em>empirical evidence</em> necessary to ensure that <strong><em>the hypothesis of their complete semantic lexical competence is</em></strong> <a href="https://en.wikipedia.org/wiki/Falsifiability"><strong><em>falsifiable</em></strong></a><strong><em>.</em></strong></p><p>We can also contemplate in this persistence <strong><em>the remarkable validation of Jerry Fodor ’s theses</em></strong>, and his <em>posthumous philosophical victory</em> in the doctrinal quarrel that once opposed him to the <em>Connectionists</em>.</p><p>If the probable causes of hallucinations listed above are all as structural as they look, then it is highly probable that the only amenable solution to this issue will reside <strong><em>in a complete change of the model paradigm:</em></strong> <strong><em>“The Third Wave”</em></strong>, also called <strong><em>“</em></strong><a href="https://en.wikipedia.org/wiki/Neuro-symbolic_AI"><strong><em>Neuro-Symbolic</em></strong></a><strong><em>”.<br></em></strong>The tenants of <em>Connectionism, </em>and the heirs of the <em>Classics </em>as well, -<em>now waiting for their come-back in the race</em>-, are already working on this approach, to make at last their respective theories converge…</p><p><strong><em>In economic and financial terms,<br></em></strong>If the general public continues to marvel at the real syntactic prowess of the great models of language, and joyfully <em>surf the wave</em> cleverly maintained by a ruthless competition, the big companies are already beginning to <strong><em>“</em></strong><a href="https://www.apolloacademy.com/ai-adoption-rate-trending-down-for-large-companies/"><strong><em>reduce their exposure</em></strong></a><strong><em>” </em></strong>to this technology, whose limits they begin to measure.</p><p>The persistence of hallucinations, all models combined, all sizes combined, demonstrates every day a little better than <strong><em>their cause is structural</em></strong>, and that a “<em>brain in a vat</em>” (cf. <strong><em>4.2.2.</em></strong>) will never be able to do the same work as a brain proper, whatever the debauchery of means that is dedicated to it.</p><p>History will tell — <em>in this case: the financial market </em>— if it is really reasonable to relentlessly keep on lining up increasingly powerful GPUs, in greater and greater numbers, while consuming an increasingly dizzying amount of energy — at <em>the limit of sheer decency</em> –, trying to enhance an industrial product that <strong><em>invariably remains</em></strong> — <em>putting things at best </em>— <strong><em>unacceptable in 20% of cases…<br></em></strong><em>Let’s play the model </em>:<br><em>- given the ordered sequence of the following words:</em> <br><strong><em>[“LLMs”, “competition”, “hype”, “hallucinations”, “market”, “value”]</em></strong><br><em>- and following the geodesic of the greatest probability in the space of meanings, </em><br><em>- choose the next word in the given sequence</em> : “<strong><em>growth</em></strong>”, or “<strong><em>bubble</em></strong>”❓⌛</p><p><strong><em>In practical terms,</em></strong><br>To put it simply, given the <em>spectacular immensity</em> <em>of their cognitive field</em> and the <em>brittleness of their semantic competence</em>, we can reasonably describe the LLMs by a metaphor: <em>a somewhat simple minded librarian, who would be responsible for giving access to virtually everything -in written material- covering the extent of human knowledge</em>: the guy would certainly satisfy all your requests, and find any book you could wish on any subject, without any fear of inventing references <em>to do you a favor </em>every time he can’t find a reference; but he should not be pushed too far about the detailed content of the books, because its noticeably limited means are those of a very <em>simple</em>, very <em>helpful</em>, and very <em>inventive</em> <em>mind</em>, one which never fears to <em>adapt his own totally disconnected reality</em> to your own documentary requirements…</p><p>Obviously, we can feel seriously worried about the current broadcast on such large a scale of a tool that, as extraordinarily attractive as it appears, is nothing but a simulation, a sort-of “<em>Alan Turing Imitation Game</em>”, namely: <strong><em>a machine that is actually capable of fluently talking, but doesn’t really understand everything it says…</em></strong></p><blockquote><strong><em>[ </em>end note<em> ]<br></em></strong>I would be very happy to exchange with you on this subject on this platform, and try building a comprehensive library of interesting cases of hallucination experiments, provoked or not, in order to list them technically according to their source, and their kind.<br>To have some fun too, I suggest you try your luck at first with <a href="https://en.wikipedia.org/wiki/Opposite"><em>antonymies</em></a>, asking your favorite model to report in details on “<strong><em>the inverse of a frog</em></strong>”, or “<strong><em>the opposite of an anvil</em></strong>”: you can like studying technology, while appreciate humor just as much, and even poetry… Have fun !😉</blockquote><p><strong>./.</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b49eca6272fd" width="1" height="1" alt=""><hr><p><a href="https://ai.plainenglish.io/grok-on-the-grill-part-iii-2-e-b49eca6272fd">“Grok on The Grill”, Part III-2 (*E)</a> was originally published in <a href="https://ai.plainenglish.io/">Artificial Intelligence in Plain English</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Grok on The Grill, Part III-1 (*E)]]></title>
            <link>https://ai.plainenglish.io/grok-on-the-grill-part-iii-1-e-5a5f6bd35f11?source=rss-1d9ad84bf6d------2</link>
            <guid isPermaLink="false">https://medium.com/p/5a5f6bd35f11</guid>
            <category><![CDATA[hallucinations-in-llms]]></category>
            <category><![CDATA[semantics]]></category>
            <category><![CDATA[cognition]]></category>
            <dc:creator><![CDATA[Marc Chicha]]></dc:creator>
            <pubDate>Thu, 13 Nov 2025 08:15:56 GMT</pubDate>
            <atom:updated>2025-11-24T04:45:49.411Z</atom:updated>
            <content:encoded><![CDATA[<h4>A swift journey in the deep space of semantics : Theories</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*fi5wDHvx20rw8vPP" /><figcaption>Photo by <a href="https://unsplash.com/@wzimmermann?utm_source=medium&amp;utm_medium=referral">Wolf Zimmermann</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-ii-e-1f2904eac010"><strong><em>(Grok On The Grill, Part II-E* continued)</em></strong></a></p><h3>1. What “machine meaning” is made of :</h3><h4>The underlying theory</h4><p>The theoretical basis that the operational “<em>word meaning</em>” concept leans on, luckily holds in ten words :</p><p>“<strong><em>You shall know a word by the company it keeps</em></strong>”.</p><p>Questioned about the provenance of this famous (but not enough, maybe) statement, the website <strong><em>quoteinvestigator.com</em></strong> published on September 18, 2022 <strong><em>a </em></strong><a href="https://quoteinvestigator.com/2022/09/18/word-company/"><strong><em>short and helpful article</em></strong></a>, binding ancient popular wisdom (<strong><em>Euripides</em></strong>), modern philosophy (<strong><em>Wittgenstein</em></strong>), and AI research (<a href="https://www.are.na/block/12632920"><strong><em>Melanie Mitchell</em></strong></a>).</p><p>Simply put, this article briefly visits the two possible methods to tackle the classic question<em>, </em>that is <em>:</em><strong><em>how to define the meaning of a word ?</em></strong></p><ul><li><em>The ordinary method</em>, that is : <em>use a </em><strong><em>dictionary</em></strong><em>, which defines the </em><strong><em>meaning</em></strong><em> of a word by using a </em><strong><em>sequence of other words</em></strong><em>,</em></li></ul><p>and</p><ul><li><em>The method suggested by linguists and artificial intelligence researchers,</em> that is : <em>use the </em><strong><em>denotations</em></strong><em> and </em><strong><em>connotations</em></strong><em> </em>of a word<em> </em>as they should <strong><em>emerge</em></strong><em> via an </em><strong><em>examination of the words that</em></strong><em> </em><strong><em>commonly occur adjacent or nearby</em></strong><em>”.</em></li></ul><p>And after a thorough review of all the possible matches in the literature, <em>The QuoteInvestigator</em> attributes the glorious and legitimate paternity of this adage to the linguist <a href="https://en.wikipedia.org/wiki/John_Rupert_Firth"><strong><em>John Rupert Firth</em></strong></a><em>,</em> after an article titled “<a href="https://cs.brown.edu/courses/csci2952d/readings/lecture1-firth.pdf"><em>A Synopsis of Linguistic Theory</em></a>”, published in <strong><em>1957</em> </strong>by the <em>Philosophical Society of London.</em></p><p>In fact, and as often with brilliant ideas, the enlightening sentence is sufficient to envision the entire scope of this powerful framework underlying the way the <strong><em>LLMs</em></strong> compute their semantic vectors, these objects which enable them to acquire their own concept of “<em>meaning</em>” through an automated <em>machine-learning task</em> only : <em>find the next word in a piece of text, by trials and errors.</em></p><h3>2. How meaning comes to the model</h3><p>The model you make use of is a piece of software <strong><em>designed to understand natural language through math operations</em></strong>, as explained in <a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-i-e-e9612b16216a"><strong><em>Part I</em></strong></a><strong><em> : </em></strong>It follows that the <strong><em>model’s vocabulary</em></strong>, namely the <em>words </em>(or <em>parts of words</em>, <em>punctuation marks</em>, etc.) the model will make use of to process its <strong><em>NLP</em></strong> (<em>Natural Language Processing</em>) math operations <em>internally</em>, <em>and</em> to express meaningful things to his users <em>externally</em>, <strong><em>must be -in the first place- composed of numeric values</em></strong>, <strong><em>exclusively</em></strong>.</p><p>This is what <strong><em>tokens</em></strong> are for : <em>numeric values, representing numeric indexes of words and/or parts of words we use in natural language</em>.</p><p><strong><em>Tokenisation</em></strong> is therefore nothing more than a <em>translation</em> of our <em>usual words</em> (or parts of) into <em>numeric values</em> standing for these words in the <strong><em>LLM</em></strong> <em>internal</em> <em>wording : </em>only a <em>suitable mapping, </em>just <em>intended</em> to <em>trans-port the atoms of signification which we use to mean something</em>, into a numerical form that a machine can process. <br>Thus, our model is now endowed with a <em>vocabulary</em> so as we can exchange <em>atoms of meaning</em> with him, in natural language : our “<strong><em>cat</em></strong>” is henceforth a numeric value for the model, let’s say <strong>‘x’</strong>; “<strong><em>dog</em></strong>” another, different one (obviously),<strong><em> ‘y’,</em></strong>; same thing with “<strong><em>blue</em></strong>”, “<strong><em>abstraction</em></strong>”, “<strong><em>king</em></strong>”, and so on…</p><p>As we use roughly <strong><em>25.000 ordinary words</em></strong> to express our thoughts, we’ll need <strong><em>25.000 different numeric values</em></strong>, and when this <em>coding</em> is done, we will have a <em>one-to-one mapping between our vocabulary and the model’s one</em>; but the model still do not have the slightest idea whatsoever about the <em>meaning </em>we humans give to each one of these words : The <em>artificial</em> <em>understanding</em> still remains to be built.</p><p>To help you form a convenient mental image, now imagine that you create a <em>huge matrix</em> of numbers : for instance, <em>25.000 lines by 20.000 columns</em>. <br>Each line represents a <em>token</em> from the model’s vocabulary, and each column a <em>feature</em>, namely an abstract <em>dimension</em> in the vector space thus defined. <br>These <em>features</em> will stand for, and can be seen as <em>20.000 abstract nuances, </em>namely <em>the 20.000 components of the meaning that each token will bear in natural language, according to the model’s semantic interpretation.</em></p><p>Then, initialize the whole thing with random values : So you’ll have built a model’s vector space inherently attached to the model’s vocabulary. <br>In other terms : this huge matrix of numbers that you can now<em> contemplate</em> horizontally or vertically, namely :</p><ul><li><strong><em>As a (horizontal) stack of 25.000 line vectors, </em></strong><br>as much line-vectors as your vocabulary tokens, representing for each <em>token</em>, <em>n</em> random values <em>(20.000)</em> : the <em>n dimensions</em> of our vector space, the one we just defined; <em>for now, representing no meaning at all</em>,</li></ul><p>and</p><ul><li><strong><em>As a (vertical) stack of 20.000 column vectors,</em></strong><br>as much column-vectors as the <em>meaning-features</em>, or <em>meaning components of your model</em>, representing, for each <em>feature</em>, the distribution of corresponding <em>meaning component </em>or <em>meaning nuance</em>, over the 25.000 tokens of your model’s vocabulary. <br>In other terms, the <em>distributional semantics to come</em>, between the words of the vocabulary that the model makes use of; <em>nevertheless, still representing nothing, since the matrix is still filled with random values</em>.</li></ul><p>Now, select a really <em>huge text database</em>, containing a very significant part of all the important textual content you can find (to be carefully selected, because it will constitute the <em>knowledge heritage</em> of the model) on the internet and/or elsewhere; then translate this database into the model’s internal language : its vocabulary, made of <em>tokens</em>. Namely : <em>tokenize this huge database.</em></p><p>Next step, feed your model with each and every “<em>tokenized word</em>” from this database; one at a time, giving the model a single task: <em>predict the next word in each sentence of this textual database</em>; mathematically, this task is a classic ‘<em>machine-learning</em>’ operation: computing the probability of appearance of each word, at each position, in each sentence of the text base, through minimization of an error function, and progressive adjustment of the weights of the network, etc.; <br>at this stage, you will have to take patience and let the magics of machine-learning do the work for you: you will obviously need very powerful machine(s), consuming considerable energy, on computing times inversely proportional to their power. <br><strong><em>But :</em></strong></p><p>Then, after countless trials and errors, sentence after sentence, <em>gradient descent</em> and <em>back-propagation </em>will drive the neural network through that <strong>“<em>examination of the words that</em></strong><em> </em><strong><em>commonly occur adjacent or nearby”</em></strong>, and the network will <em>slowly learn their (static) relationships: the model will thus extract</em>, <em>learn</em>, and <em>store in its weights</em> <em>the distributed semantic relationships </em>that will have emerged from the tokens occurrence in its training database. <br><em>Machine-learning sorcery</em> <em>is</em> <strong><em>that</em></strong> <strong><em>powerful</em></strong>…😉</p><p>At the end of the process, the training phase would have transformed our big random matrix into a stack of line vectors, one for each word token of the vocabulary, containing <strong><em>20.000 learned</em></strong> values : <br><strong><em>These values are the static, distributed coordinates of each token’s meaning, along the 20.000 dimensions of your vector space.<br></em></strong>Conditioned by each token’s context and position in the database relative to each other token, those values therefore represent the exacted “<em>adjacent or nearby commonly occurrence relationships</em>” that you were precisely looking for, to endow the vocabulary’s tokens with, in order to give your model <strong>a <em>meaning </em></strong><em>of the words in natural language</em>, in the sense defined by<strong><em> John Rupert Firth</em></strong>.</p><p>But at the same time, and as <a href="https://www.are.na/block/12632920"><strong><em>Melanie Mitchell </em></strong></a>(op. cit.) says, <em>these n=20,000 abstract characteristics</em>,</p><ul><li>learned from training texts,</li><li>distributed on each of the 25,000 words of the vocabulary,</li><li>each carrying a nuance of meaning in the semantic space defined for the LLM,</li></ul><p><strong><em>“… have captured information about the contexts in which the corresponding word is used..”</em></strong></p><p>This “<em>information</em>” consist therefore in the <em>set of all semantic patterns</em> <em>embedded in all the sentences </em>that the LLM has seen during its training period: contained in the weights of the model, this <em>distributed information</em> stands for a <em>sort-of</em> “<a href="https://en.wikipedia.org/wiki/Ontology_(information_science)"><strong><em>ontology</em></strong></a>”: in a way, a “<em>comprehensive vision of the world</em>”, such as the “<em>the</em> <em>state of world’s affairs according to the LLM</em>” is <em>described by the texts</em> of its training base.</p><p>In other words, this <em>ontology</em> is sort of a <em>statistical spectrum</em> of everything on which the model paid attention to while training, whose meaning is distributed in the <em>immensity of an abstract semantic space of all possible sentences, composed of all possible words of natural language</em>, in an abstract <strong><em>spatial continuum</em></strong>, distributed along those <strong><em>20,000 dimensions</em></strong>, representing as many <strong><em>abstract nuances of meaning</em></strong>… 😅</p><p>Therefore, if <strong><em>John Rupert Firth’s</em></strong> thesis is as valid as the <strong><em>LLMs</em></strong>’ perfect mastery of natural language allows us to think, we can then reasonably</p><ol><li><em>use the semantic vectors</em> defined in this space as <strong><em>denotations</em></strong> and <strong><em>connotations</em></strong> of the vocabulary’s words,</li><li>thus <em>contemplate the space</em> defined by these vectors as a true <em>semantic space</em>, i.e. a space where one can describe the <strong><em>meaning</em></strong> that the <em>model gives</em> to anyone of the <em>words</em> and <em>sentences</em> of natural language,</li><li>regard each point of this space, defined by the vector which allows it to be spotted (with its 20,000 coordinates), as a <em>unit of meaning</em> <em>comprising</em> <em>20,000 abstract shades</em>, namely the projections of this point on the 20,000 axes of this semantic space,</li><li>and to note <em>cautiously</em> that this <strong><em>space of meaning is purely artificial and abstract</em>:</strong> to know of the “<em>state of the world’s affairs</em>”, the model will never, by very construction, dispose of anything else but<br> — the <em>meaning of the words</em> according to <strong><em>Firth</em></strong> thesis, distributed over <em>20,000 abstract dimensions</em>, <em>and</em><br> — the <em>meaning of the contexts embedded in all the sentences contained in its training textual base</em>, spotted in this same vector space; <br><strong><em>nothing more</em></strong>.</li></ol><p><em>Basically</em>: <strong>Nothing but a vast narrative, distilled by the mechanisms of attention…</strong></p><p>Before leaning on this conceptual framework, or comparing this semantic space with ours, a preliminary remark : since the notion of meaning acquired by the model is entirely based on the contextual and positional relationships of words in its training database,<br><strong><em>The semantic space of each model is unique, and somehow specifies its identity literally, reflecting the way it was built:</em></strong></p><p>Indeed, the initial decisions made by its designers about<br><em> — the architecture of the model,<br> — the objectives of his training,<br> — the size of his vocabulary,<br> — the details of the tokenisation, <br> — the number of its semantic dimensions,<br> — the number of layers of the model,<br> — the size of his pop-up window,<br> — the number of attention heads,<br> — the volume, nature and quality of the texts selected for its training,<br> — the appropriate hyper-parameters and randomisation parameters, <br> — etc.</em><br>are all general parameters likely to vary from one model to another, which therefore undoubtedly results in different models being endowed with different semantic spaces: a model comprising <em>20,000 dimensions of meaning</em> could understandably represent nuances far more accurately than another which would have only 50…</p><p>Moreover, when understanding an input, a model identifies their meaning in its semantic space, while performing two functions that seem identical, but respond to different cognitive objectives:</p><ul><li><em>understand the literal meaning of the sentences that make up the input, namely, the context of its answer:</em> this treatment is performed in the first layers of the network, those that deal with the <em>input’s syntactic, grammatical structure </em>and the <em>meaning of each word in each sentence</em>, and</li><li><em>understand the ideas conveyed by these sentences</em>, <em>so as the model can give them a follow-up and convert this sequence into an intelligible response,</em> that is to say: <em>relate the meaning with its objectives, and its knowledge about the world’s state of affairs</em>; this treatment is carried out by the deeper layers, those which deal with the <em>semantics of each whole sentence</em>, and with the <em>global meaning of the message signified by the input’s context</em>.</li></ul><p>The understanding ability, local somehow, that is requested by the first objective takes support on the enormous size of the training database of the model: the <em>law of large numbers</em>, this enormous statistical power produced by <em>“The Big Data, the unique fuel for machine-learning”,</em> guarantees in fact</p><ul><li><em>that the rules of grammar and syntax</em>, and</li><li><em>the meaning of every word in the vocabulary,</em></li></ul><p>learned during such a repetitive and complete training will result for all exiting models existing, in the visible, impressive and objective result that all users can see: they all seem to understand perfectly, <em>to the letter</em>, the <em>meaning of the inputs that users transmit</em>, and all <em>perfectly respect all the rules of syntax and grammar, with spectacular fluidity and mastery</em>.<br>And they also appear to give the words in the vocabulary the same meaning as we do…</p><p>However, perfect mastery of the words’ meaning in the current vocabulary, and perfect compliance to the rules of syntax and grammar, <em>is obviously not enough to explore all the ideas that the words and sentences have mission to convey</em>: it is necessary to add additional knowledge about the “<em>state of the world’s affairs</em>”. <br>This knowledge is precisely that which the deep layers of the models capture, namely</p><ul><li>all these “<em>meaning patterns</em>” whose model has also soaked up during its training — <em>as a side benefit derived from capturing the meaning of each wor</em>d, or, in other terms,</li><li>the overall meaning of all sentences that have been subject to its attention mechanisms: His “<em>ontology</em>.”</li></ul><p>Nevertheless, if the size of his training base is large enough to allow him to properly learn the meaning of a few tens of thousands of words, plus all the rules of syntax and grammar, in a limited amount, <br>The same is probably not true when it comes to <em>learning the meaning of all possible states of all possible world affairs</em>, which covers or might cover ideas expressed by the natural language that we humans, manipulate, explicitly and above all <em>implicitly</em>…</p><blockquote>[ <strong><em>Hint</em></strong> ]<br>Think of this famous English phrase: “<em>Time flies like an arrow</em>”, as taken in contextual isolation; and think of two possible translations in French, “word-for-word”, or “globally”… <br>In an artificial semantic space, <strong>all concepts are convexes</strong>: the model thus knows how to define a meaning to represent <em>what a thing </em><strong><em>is</em></strong>, but not the one to represent <em>what it </em><strong><em>is not</em></strong>. Thus, without any direct reference to the outside world, and/or matching pattern in their base, an LLM may find it difficult to translate the words “<em>time flies</em>”: either “<em>time is running out</em>”, if the model masters the metaphor too, or a hypothetical “<em>the-flies-of-time</em>”, for lack of better ?🤔</blockquote><p>In other words, and to summarize: the LLMs “<em>ontology</em>”, this <em>semantic map of the world</em> they are endowed with by “<em>attentional distillation</em>” of their training base, certainly covers a <em>cognitive field </em>much broader <strong><em>by far</em></strong> than that of any human, and it is precisely this scope that makes the <strong><em>LLMs</em></strong>’ full interest.</p><p>However, I do affirm here that I certainly know a lot more useful things than <em>Grok</em>…</p><p>As an example: about my cat (the little <strong><em>Mogwa</em></strong>ï). <em>Grok</em> can write for me thousands of pages <em>full of meaning</em> about <strong><em>Mogwaï</em></strong>, which is a part (<em>significant!</em>) of <em>the</em> (my) <em>world’s affairs</em>, while <em>Grok</em> knows absolutely nothing about her, how she looks, how she meows, how and when she purrs, etc. : this text that I am now writing might be the only -<em>and infinitesimal chance</em>- that <strong><em>Mogwaï</em></strong> will one day enter <em>Grok</em>’ s cognitive field, and retain some of his otherwise immense attention…<br>But <em>Grok</em> will never <em>experience</em> anything, and <em>his experience of the world will never be modified;</em> apart, -<em>putting things at best</em>- by a very fragmentary narrative, <em>in a future round of complete re-training</em>…<br>Whereas, should I had to learn anything that I don’t know yet about <strong><em>Mogwaï</em></strong>, I could always simply go and ask her directly the question!…🤣</p><p>In short, the semantic space of LLMs,</p><ul><li>that “<strong><em>spectral ontology</em></strong>” composed from a gigantic textual narrative, of which only the designers might tell whether it is <em>homogeneous</em> or <em>motley</em>,</li></ul><p>should only<em> </em>have, by its conception itself, <em>a very distanced relationship with the state of affairs of the world,</em> <em>only sufficient to carry limitedly reasonable predictions</em>: at best, its vector space can appear as a <strong><em>very crude</em></strong> <strong><em>over</em></strong><em>-</em><strong><em>simplification</em></strong> of what our own evolution as an intelligent species has patiently elaborated, for 135,000 years or about…</p><blockquote>We users, formulate a meaningful query a<strong>bout the state of the world’s affairs, by respect to our natural semantic space;</strong> the model gives a meaning to that query by a <strong>computation in its own artificial semantic space</strong>, and generates a meaningful response <strong>there</strong>, while predicting the most likely meaningful words following our query; then we, users interpret the model’s response <strong>using our natural semantic space again</strong>, and make <strong>predictions about the consequences that these answers may have on the real state of the outside world affairs</strong>…<br>Understandably, <strong>our mutual perspectives in understanding with the model,</strong> so to say, could -<strong>sometimes</strong>- reveal sufficiently distant to make place for some <strong>misunderstanding glitches</strong>...</blockquote><p>As a reminder, we humans can count on about <em>86 billion neurons on average,</em> <em>connected across 7,000 synapses each, also on average</em>: in fact, thousands of connections per neuron, giving a quick estimate in round numbers as a <em>total number of synapses in the brain in the hundreds of trillions of billions…</em></p><p>Whatever the engineering feats, LLMs <em>cannot cope </em>anyway, for the time being; if only because our “<em>biological machine</em>”, so to speak, consumes only 25 watts of energy. Go figure ! …</p><p>There is therefore no guarantee</p><ul><li>neither that the models <em>always</em> <em>understand</em> <em>fully</em> and <em>correctly</em> <strong><em>— all the time —</em></strong> <em>all the question</em>s we ask them,</li><li>nor that their responses have always a “<em>good enough</em>” meaning to be considered <em>intelligible</em>, <br>- that is to say: <em>whose consequences can be useful to us</em>,<br>- that is to say: <em>that those responses can always provide us with a satisfactory predictive power over the evolution of the state of the world’s affairs</em>.</li></ul><h4>2.2. The benefits of the geometric interpretation of meaning</h4><p>But in return, although it is totally artificial, this mapping of meaning in vector terms is nevertheless <strong><em>very powerful</em></strong>:</p><p>The model can use the geometrical properties of semantic vectors, such as their <em>distance</em> or <em>direction</em>, to mathematically calculate <em>operations on meaning</em>, such as <em>similarity</em> and/or <em>analogy</em>. <br>Thus, by the means of geometry alone, the model is capable of<br>. <strong><em>solving semantic equations</em></strong>, such as <br><strong><em>[ “king” — “man” + “woman” ≈ “queen”],</em></strong><br>to extract therefrom, directly by computation, some information that has <em>real meaning</em>, and even<br>. <strong><em>implicitly validate the relevance of its vector mapping of meaning</em></strong>: <br>For example, Google teams have shown very cleverly that the <em>distance</em>, as measured <em>in the semantic space </em>of their model, between<br> * points <em>standing for </em><strong><em>countries </em></strong><em>denomination</em>, and<br> * points <em>denoting their respective </em><strong><em>capitals</em></strong>,<br>is somehow <em>constant </em>a value, yet their model was never given a notion of a “<em>country’s capital</em>”: Here lies a very convincing clue that <em>similar meanings are close together</em> in the model’s semantic space :… <br>Quote &gt;&gt; : (<a href="https://www.are.na/block/12632920"><strong>Melanie Mitchell</strong>, op. cit., Chapter 11 : “<em>Words, and the Company they Keep”, </em>figure 37</a>) :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2KGH7ZaxaRK6eZxUpYP8bg.png" /><figcaption><strong>From M.Mitchell, op.cit, Chap.11, Figure 37</strong></figcaption></figure><h3>3. The model’s journey in semantic space …</h3><h4>3.1. Navigation in semantic space</h4><p>With this novel <em>geometric framework</em>, namely a high-dimensional vector space representing <em>words’ </em>and <em>sentences’ meanings</em>, we are now able to form and visualize a new mental image, <em>now in dynamic terms</em>, to figure out the way the model flits through its semantic domain.</p><p>As already seen, before we start using it, a model has already been <em>pre-trained</em>, <em>fine-tuned</em>, and <em>supposedly aligned</em> with what we users should statistically expect from him.<br> <br>As such, he is already provided with training objectives to guide his behavior : being <em>helpful</em>, <em>truthful</em>, <em>accurate</em>, <em>safe</em>, <em>aligned with human intents </em>etc., at his designers discretion.</p><p>Also, the model already owns by design this hidden, latent <em>n</em>-dimensional semantic vector space, where he is able to describe -<em>through the n-dimensions of his own </em>-statistically- <em>learned nuances</em>, the <em>possible meanings </em>(in his own internal semantic space) of any <em>word</em> and/or any <em>sentence</em> in context, expressed in natural language, <em>by respect to </em>the huge training database he had learned from.</p><p>In this vector space, each word’s meaning is <em>initially a</em> <em>single probabilistic</em> <em>point</em> and each sentence’s <em>a cloud of probabilistic points</em>, shaped by the <em>attention weights</em> learned when training : <em>emphasizing some meanings dimensions, reducing others, etc.</em> as if they were settled by <em>n</em>=20.000 <em>little cursors.</em></p><p>Therefore, let’s see the list of tasks the LLM should necessarily perform <em>in the semantic domain only</em> (forget the computation part), when he gets an input :</p><ul><li>[<strong><em>nota bene </em></strong>]<br>[ <em>for the sake of clarity, we will use “</em><strong><em>word</em></strong><em>” hereafter, instead of “</em><strong><em>token</em></strong><em>”, as these two denotations are equivalent in here </em>]</li></ul><h4>3.1.1. <strong>Request translation</strong></h4><p>into its own “<em>natural language</em>”, namely its own vocabulary (<strong><em>tokenization</em></strong>),</p><h4>3.1.2. Input understanding</h4><p>that is :<br>- <em>for all the words in input, </em>from the first one,<br>- taking as starting point the “<em>primary cloud of possible meaning</em>s” that the model has learned when training, <em>vectorize the input</em> : namely, <strong><em>embeddin</em></strong>g <strong><em>the input’s ordered word sequence into corresponding semantic vectors</em></strong>;<br>- <em>use</em> in parallel, one-time, the multi-head, auto-regressive, self-attention mechanism to <em>add</em> <em>to each word’s meaning</em> the information extracted from t<em>he context window : </em>thus<br>- <strong>* In “<em>understanding”</em> terms</strong>, this addition is a <strong><em>meaning enrichment</em></strong>, that integrates the <em>contextual</em>, and <em>positional</em> input’s information contained in the context window; <br>- <strong>* In “<em>semantic geometry</em>” terms,</strong> this process progressively <em>shifts each word’s meaning</em> from its initial possible <em>localizations</em> in the vector space, towards a new, <em>unique point</em>, standing for the corresponding <strong><em>word’s</em> <em>updated meaning</em></strong> by respect to <br> . the training database <strong><em>plus</em></strong> the complete ordered sequence of input, with <strong><em>each word’s meaning contribution</em></strong>, in <em>context</em> and <em>position</em>, from the first to the last.</p><ul><li><strong><em>Observation 1 </em></strong>:<br><em> . in the model’s hidden state, the initial static cloud of possible meanings for each token will progressively stabilize into a point in the n-dimensional vector space, standing for each word’s updated meaning, in evolving context and position.</em></li><li><strong><em>Observation 2</em></strong> :<br><em>. so doing, the model will find its way into the semantic space, </em><strong><em>up to the most probable contextual and positional path, that is : the most “meaningful” one </em></strong><em>from the model’s geometric standpoint. This path is embodied in this progressively shifting probabilistic predictions, </em><strong><em>from local words meanings,</em></strong><em> </em><strong><em>to the global meaning of the whole input</em></strong><em>.<br>This most meaningful path, with the highest joint probability attached to each word, is the </em><strong><em>reasoning mode</em></strong><em> that the model adopts to reach </em><strong><em>the most coherent and meaningful continuation</em></strong><em>, up to the input’s word marking the end of its </em><strong><em>understanding</em></strong><em> task.</em></li></ul><p>- When this “<strong><em>sort-of</em></strong>” <em>understanding </em>task is completed, the model had figured out -<em>according to its own criteria</em>- what the <em>global meaning</em> of the input sequence is (<em>in his view</em>) : <em>a cloud of points, </em>eventually a <em>constellation</em> <em>in the n-dimensional semantic space </em>— one for each word — <em>arranged in a specific pattern that captures their progressively added relationships</em>, up to the last input’s word, in context and position.<br>This cloud of points, in this vector space, stands for what the model has <strong><em>geometrically</em> <em>understood</em> of its input’s <em>global meaning</em></strong><em>, </em>after having paid <em>contextual and positional </em>attention<em> </em>to each word in the sequence; <br><em>by the way</em> : the same technique it actually used when pre-training on their huge database, <em>to acquire the static possible meanings of its own vocabulary.</em><br>Thus, understanding the input, the model had processed all words simultaneously <em>in one-time, parallel comprehension event,</em> and built <em>a single, complex, contextual &amp; probabilistic </em>“<em>cloud of meaning</em>” for its entire input.</p><h4>3.1.3. Meaningful output generation</h4><p>- Now, the model will start to generate, <em>token-by-token</em>, i.e. word-by-word, a <em>meaningful response</em>, drawing a <em>trajectory</em> in its semantic vector space.<br>Starting with this “<em>cloud of meaning</em>” that helps him compute the input’s <em>global meaning vector</em>,</p><h4><strong><em>3.1.3.1.</em></strong></h4><p>The model will compute<em> </em><strong><em>the most probable next word based on that cloud</em></strong><em>, </em>and <strong><em>update its entire internal state</em></strong><em> to incorporate this new word’s meaning. </em>So doing, the model would have stepped to the next point of its trajectory in the <em>n</em>-dimensional space.</p><h4><strong><em>3.1.3.2.</em></strong></h4><p>And this process will repeat, <br>as the model walks its “<em>meaning trajectory” </em>through<em> </em>its own <em>semantic landscape</em>, with each new point being the u<em>pdated global meaning state of the input and previous output altogether</em>, after each generated token :<strong><em> Thus, the model’s understanding at each step is a non-linear combination of the original prompt, plus the entire history of its own generation.</em></strong></p><h4><strong><em>3.1.3.3.</em></strong></h4><p><strong><em>… </em></strong>up to the moment where either the model <em>has reached a prescribed limit</em>, or<em> the probability engine fueling the next token selection dies out</em>.</p><ul><li><strong><em>Observation 3</em></strong> :<br><em>This generation process allows for the construction of multi-step ideas, explanations and narratives that were not present in the prompt itself : </em><strong><em>The model walks along a probabilistic path through its semantic space</em></strong><em>, that starts at the prompt’s location. <br>It is not recalling any stored answer : </em><strong><em>the model’s semantic journey is only conditioned by the input’s meaning that the model has (sort-of) understood, by his starting point in the semantic space, and by his training objectives</em></strong><em>.😅</em></li></ul><h3>3.2. “understanding the comprehension”.</h3><h4>3.2.1. The core idea : a hierarchical refinement of meaning</h4><p>We can’t visualize any space with more dimensions than the three (sensible) we live in. To help imagine what’s going on in this land of pure abstraction, I asked for help, and instructed <strong><em>Deep Seek </em></strong>to write a short summary on how a <strong><em>LLM</em></strong> extracts the meaning from his input. <br>Around a core idea, “<em>A Hierarchical Refinement of Meaning</em>”, far better than my own terms above, the model can explain <strong><em>how he moves from local, syntactic features to global, semantic and pragmatic understanding. </em></strong><br>The details of the model’s evolving understanding across the different layers is particularly enlightening :</p><ul><li>from a <em>shallow and </em><strong><em>local understanding</em></strong> in the <strong><em>surface layers</em></strong>,</li><li>the model acquires <strong><em>syntactic and intermediate semantic resolution</em></strong> in the <strong><em>middle layers</em></strong>,</li><li>then performs high-level <em>reasoning</em> and <em>integration</em> in the <em>deep layers</em>, to reach a global, <strong><em>pragmatic and task-oriented understanding</em></strong> at this stage.</li><li>when reaching the <strong><em>output layer,</em></strong> where the final semantic vector is passed through a linear layer and a <a href="https://en.wikipedia.org/wiki/Softmax_function"><em>softmax</em> function</a>, the resulting conversion into a probability distribution allows the model to make a <strong><em>predictive decision</em></strong> and <strong><em>achieve the output generation task</em></strong>.</li></ul><p>(see <strong><em>Deep Seek</em></strong><em>-made</em>, PDF formatted summary : “<a href="https://github.com/First6a/GotGrilled/blob/main/Slide%201.pdf"><strong><em>Slide 1-The Core Idea: A Hierarchical Refinement of Meaning</em></strong></a><strong><em>”</em></strong>)</p><blockquote><strong>[ nota bene ]</strong><br>The reader interested in acquiring more deeply the secrets of the most powerful engine of machine-learning, will find in <a href="https://youtu.be/wtg0k_aMbvs?si=O1xFZtLo2MzX6eVm"><strong>the 2017 lesson given in 2017 at the “Institut Henri Poincaré” </strong></a>by <a href="https://en.wikipedia.org/wiki/St%C3%A9phane_Mallat"><strong>Stéphane Mallat</strong></a><strong> </strong>an exceptional help: the internal proceedings of convolutional networks -when applied to the processing of an image- are detailed with clarity, simplicity, and without excess of mathematical formalism.<br>I have not seen — to date — a better explanation for the intimate mechanisms<br>- of the <strong>progressive extraction</strong>, by a <strong>convolution kernel </strong>(the filter) applied in the <strong>successive layers of a convolutional network</strong>, of the <strong>information</strong> contained in all the <strong>details of an image</strong>, <br>- <strong>at all scales</strong>, from the smallest to the largest.<br>Thus, <strong>Stéphane Mallat ’</strong>s explanations make it possible to fully understand the <strong>LLMs algorithmic operations</strong>, when<br>- the <strong>successive layers of convolution</strong> of the model <strong>gradually extract</strong>, by their <strong>regressive self-attention filter</strong>, <br>- the <strong>meaning of a text, by successive, hierarchical refinements</strong>, <br>- to move from <strong>shallow and local syntactic understanding, to global, pragmatic, and model-oriented understanding</strong>.</blockquote><h4>3.2.2. The LLM semantic vector space attributes</h4><p>Still due to lack of visibility, the translation of our natural sense of meaning into the geometry of an abstract vector space is far from obvious.<br>Therefore, to help this translation process and get a clearer mental image, I also asked <strong><em>Deep Seek </em></strong>a short list of key elements I should add to my own mental model, to refine the personal views exposed in <strong><em>Chapter 2</em></strong> above.<br>Here are those additional key-points, in order to clarify the image :</p><ul><li>The ‘<em>semantic space’</em> <strong>is not</strong><em> a Platonic ideal of meaning</em>, but <strong><em>a relative, task biased abstract space, entirely shaped by his training data and objectives</em>,</strong></li><li>The ‘<em>understanding’ </em>action<strong> is not </strong><em>a monolithic space but a hierarchy</em><strong>, <em>built layer by layer to capture and combine the more and more sophisticated semantic features</em></strong>, as mentioned in <a href="https://github.com/First6a/GotGrilled/blob/main/Slide%201.pdf"><strong><em>Slide 1</em></strong></a>, and</li><li><strong>Understanding is a point</strong>, resulting in a conditioning context, while <strong>execution (generation) is a path</strong>.</li></ul><p>(see “<a href="https://github.com/First6a/GotGrilled/blob/main/Slide%202.pdf"><strong><em>Slide 2- The LLM semantic vector space attributes</em></strong></a><strong><em>”</em></strong>)</p><h3>3.3 The Internal pitfalls of artificial semantic spaces</h3><h4>3.3.1. In the semantic landscape conformation</h4><p>In an article published in August 2024 in <strong><em>Frontiers in Artificial Intelligence</em></strong>, <strong><em>Jussi Karlgren</em></strong> and <strong><em>Pentii Kanerva</em></strong> issued “<em>a note (…) intended to warn about some practical pitfalls of using high-dimensional geometric representation as a knowledge representation and a memory model...</em>”. Diving into the intimate, abstract details of the geometric abstraction, the authors show how intuitive is the geometric metaphor for semantic similarity, and the possible methodological pitfalls this intuitiveness could yield.</p><p>Noticeably, in a very convincing paragraph dubbed “<em>The emptiness of the ‘Polar Cap’ </em>”, they show why <em>using cosine as a similarity measure</em> in a <em>semantic hyper-sphere</em> might result in possible flaws, when the number of dimensions grows higher, as this angular measure might</p><ul><li>push some points back and forth beyond what they call<em> </em><strong><em>the noise horizon</em></strong>, <em>where these points can be lost</em>, or</li><li>pull them inside what they call <strong><em>the</em> <em>horizon of interest</em></strong><em>, where these points might not have their place</em>.</li></ul><p>They conclude : <strong>“ ‘<em>interestingness’ is not always transitive</em></strong><em> </em>”, and this … meaningful fact can bear meaningful consequences.<br>In short : the <em>geometric representation of meaning</em> might to some extent and in particular circumstances, not completely <em>align</em> with <em>other, different representations of meaning</em> …</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/898/1*094Icr1POX_0xzlJkRLY6Q.png" /><figcaption>“The emptiness of the “Polar Cap”-Fig.2</figcaption></figure><p>As well, the authors point out a seemingly relevant distinction between local and global structures in the semantic space :</p><p>Most relations of interest in semantic space are local, quote :<br><strong>&gt;&gt;&gt; “<em>it is in the nature of human understanding the world that relations between one thing and another thing emerge and grow to be interesting as events unfold, but most items of interest will remain uninteresting with respect to each other”.</em></strong><em> <br></em>This indisputable truth results in two consequences :</p><ol><li>In a semantic space, <strong>the local structure alone</strong> is <strong><em>interesting</em></strong>. Here, we meet again our starting point, the Firth’s adage : <em>The horizon of interest in semantic space is always close in the neighborhood,</em></li><li><em>In a semantic space</em>, <strong>global structures</strong> have <strong><em>no reason to be related</em></strong>, and bear no <em>meaning</em> at all while living in the same space; yet they still can be manipulated with <strong><em>similarity</em></strong> and/or <strong><em>analogy</em></strong><em> measures</em>.</li></ol><p>The authors then examine the relations between intrinsic dimensionality and noise in the vector semantic space, to conclude that sometimes ‘<em>the map can be more precise than the terrain</em>’, with very interesting questions you can ask yourself to your favorite model :</p><ul><li><em>what is the relation between</em><strong><em> dodecahedron </em></strong><em>and</em><strong><em> chilly ?</em></strong></li></ul><p>Or</p><ul><li><strong><em>a. </em></strong><em>Is a</em><strong><em> “cow” </em></strong><em>more like a </em><strong><em>“donkey” </em></strong><em>than a </em><strong><em>“skillet” </em></strong><em>is like a </em><strong><em>“kettle” ?</em></strong><br><strong><em>b. </em></strong><em>Is </em><strong><em>“Debussy” </em></strong><em>more like </em><strong><em>“Poulenc” </em></strong><em>than</em><strong><em> “Hank” </em></strong><em>is like</em><strong><em> “Waylon” ?</em></strong></li></ul><p>After reading this remarkable paper, you would probably retain the idea that <em>semantic spaces cannot always be properly translated to each other</em>, and as the authors express the idea <strong><em>“it is not likely that a transformation that takes purchase in global structure is able to align two models of this type, in the general case.” </em></strong><em>: </em>interesting <em>items in meaning</em> do reside in their <em>immediate respective neighborhood</em>, and this neighborhood defines their local <em>horizon of interest</em>. Beyond this horizon, the items still belong to the same semantic space, but they can bear no <em>related</em> <em>meaning</em>. <br><strong><em>Consequential question</em></strong> : <br><em>from the highest level standpoint of meaning and understanding, if two different artificial models cannot properly translate their respective semantic spaces to each other, </em><strong><em>how could we, humans, properly translate our own into an artificial, geometric one, and vice-versa</em></strong><em> ?</em></p><h4>3.3.2. In basic understanding abilities</h4><p>In June 2024, <a href="https://ontologik.medium.com/"><strong><em>Walid Saba</em></strong></a> (already cited in <a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-i-e-e9612b16216a"><strong><em>Part I</em></strong></a>) conducted a first series of tests involving some demanding, interesting linguistic phenomena, to question the <strong><em>LLMs</em></strong> understanding abilities (<strong><em>“</em></strong><a href="https://arxiv.org/abs/2407.19630"><strong><em>LLMs Understanding of Natural Language Revealed</em></strong></a><strong><em>”</em></strong>) :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yYXRd4Ooq1Uo4PULqxKjRQ.png" /></figure><p>To test the said abilities, <strong><em>Prof. Saba</em></strong> reversed the typical benchmarking exercise, and directly explored the LLMs <em>understanding</em> in strictly formal, logic terms with a battery of very simple tests that anyone of us can easily and instantly reproduce :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_CWCPX_-pKtqjvmpKIfRDA.png" /><figcaption>Query : Intensional vs. extensional</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t-c15GrOu9icoM_A50HPJw.png" /><figcaption>Saba — Query, Prolog-style</figcaption></figure><p><strong><em>Prof. Saba’</em></strong>s conclusion blows an unequivocal, and very convincing verdict on the LLMs understanding abilities, as soon as the paper’s abstract; quote:<br><strong>&gt;&gt;&gt; “<em>… it will become apparent that LLMs do not truly understand language, beyond very superficial inferences that are essentially the byproduct of the memorization of massive amounts of ingested text.”.</em> </strong><br>When in doubt : <em>see those tests.</em> <br>If the doubt persists : <em>do the tests yourself; it’s very easy.</em></p><h4>3.3.3. In advanced understanding abilities</h4><p><em>Question</em> : Are LLMs sinking ? Welcome aboard “<em>Battlefield Potemkin</em>”. <br>Last but not least, a new team from <strong><em>MIT </em></strong>revealed a new and spectacular pitfall in <strong><em>LLMs</em></strong> understanding. <br>In an article dated June 29, 2025 (<a href="https://arxiv.org/abs/2506.21521"><strong><em>“Potemkin Understanding in Large Language Models”</em></strong></a>), <strong><em>Marina Mancoridis </em></strong><em>and a research team</em> discarded the benchmarks typically used to probe LLMs understanding, and introduced a new, <em>less complacent</em> framework grounded in the principle that standardized benchmarks like <em>AP exams, coding challenges and other measures of understanding in humans</em>, <em>can be applied to assess understanding in </em><strong><em>LLMs</em></strong><em> as well.</em></p><p>Based on the main (verifiable) assumption that <em>the way humans can misunderstand concepts </em>is of <em>limited</em> and <em>predictable</em> scope — <strong><em>indeed, humans’ misunderstandings form a small structured set</em> </strong>— they designed benchmarks to highlight the differences between</p><ul><li><em>surface understanding</em>, with or without <em>memorization</em>,</li><li>and <em>authentic</em>, <em>true understanding</em>.</li></ul><p>Namely: a battery of tests, designed in such a way <em>that success when passing</em><strong><em> </em></strong><em>them</em><strong><em> requires a real understanding.</em></strong></p><p>The core implication of this framework is that benchmarks designed for humans are only valid tests for the <strong><em>LLMs</em></strong> if the space of <strong><em>LLMs</em></strong> misunderstandings is structured the same way as the space of human misunderstandings. <br>Thus, the research team dubbed<strong><em> “potemkins” </em></strong>the results observed on benchmarks <strong><em>where the LLMs diverge from human patterns</em>, <em>while succeed in finding the right answer</em></strong>, yet <strong><em>without understanding the underlying concepts</em></strong>… The perfect test for <em>genuine comprehension</em>, with human responses as a control group !</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/798/1*UhYKsCXbfYGEBkLh8oL89w.png" /><figcaption>An example of “Potemkin”. see Figure 1</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/1*CxN9LDi0qUGR_0AtBBEclA.png" /><figcaption>Potemkin-Figure 1</figcaption></figure><p>The authors analyzed <em>potemkins</em> over 32 concepts, across 7 large language models. <br>Here again, their results are <strong><em>unequivocal</em></strong> : <strong><em>potemkins</em> are ubiquitous, and affect <em>all</em> tested <em>concepts</em>, <em>domains</em> and <em>models</em></strong> in their study. <br>By respect to our <em>understanding</em> concern, one of the key findings is as follows, quote :<br><strong><em>&gt;&gt;&gt;”Models define concepts correctly 94.2% of the time. However, conditioned on correct definitions, their performance sharply decreases when tasked with using those concepts, as exhibited by the high potemkin rates in the table.”</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/802/1*Pr8L2a8M8rNIePKTzHXfIg.png" /><figcaption>Table1. Potemkin rates : 0.40 to 0.55</figcaption></figure><p>Of course, the ‘<em>Battlefield Potemkin</em>’ was only a personal reference, only mentioned here to add a sarcastic picture to the scene : as for the research team, they wisely named their main finding ‘<strong><em>potemkin</em></strong>’ by reference to those “<em>villages with elaborated facades built to create the illusion of substance where none actually exists”; </em>and after reading their article, everyone can realize how clever was their metaphoric choice regarding the LLMs <em>understanding</em> abilities : <em>the most significant part being </em><strong><em>the observed inability to properly use the concepts they can correctly define (since they often do ‘potemkins’).</em></strong></p><ul><li>[ <strong><em>Hint :</em></strong> ]<br><em>what does it mean, so to say, when you can properly define a concept </em><strong><em>94.2%</em></strong><em> of the time, but you can’t use it properly to infer something, </em><strong><em>55% </em></strong><em>of the time ? What are the ingredients that you might as well be deprived of ?</em></li></ul><h3>[ 4. Ending test, and conclusion: Part III-2 ]</h3><p>(<strong><em>continued in </em></strong><a href="https://medium.com/p/b49eca6272fd/edit"><strong><em>Part III-2 (*E)</em></strong></a>)</p><ul><li><strong><em>end note</em></strong><br><strong><em>version française disponible : </em></strong><a href="https://medium.com/p/de92cdd88d88/edit"><strong><em>“Grok On The Grill Part, III-1 (*F)</em></strong></a></li></ul><p>./.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5a5f6bd35f11" width="1" height="1" alt=""><hr><p><a href="https://ai.plainenglish.io/grok-on-the-grill-part-iii-1-e-5a5f6bd35f11">Grok on The Grill, Part III-1 (*E)</a> was originally published in <a href="https://ai.plainenglish.io/">Artificial Intelligence in Plain English</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Grok on The Grill, Part III-1 (*F)]]></title>
            <link>https://ai.plainenglish.io/grok-on-the-grill-part-iii-1-f-de92cdd88d88?source=rss-1d9ad84bf6d------2</link>
            <guid isPermaLink="false">https://medium.com/p/de92cdd88d88</guid>
            <category><![CDATA[semantics]]></category>
            <category><![CDATA[hallucinations-in-llms]]></category>
            <category><![CDATA[cognition]]></category>
            <dc:creator><![CDATA[Marc Chicha]]></dc:creator>
            <pubDate>Thu, 13 Nov 2025 08:15:35 GMT</pubDate>
            <atom:updated>2025-11-24T04:45:50.897Z</atom:updated>
            <content:encoded><![CDATA[<h4>Voyage dans l’espace sémantique profond : Théories</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*c5xpxkqzwLhJViQa" /><figcaption>Photo by <a href="https://unsplash.com/@wzimmermann?utm_source=medium&amp;utm_medium=referral">Wolf Zimmermann</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-ii-f-d24ac744c58e"><strong><em>(Grok On The Grill, Part II-F* continued)</em></strong></a></p><h3>1. Qu’est-ce que la « signification » pour la machine?</h3><h4>Théorie sous-jacente</h4><p>La base théorique sur laquelle repose le concept opérationnel de « <em>signification d’un mot </em>» tient heureusement peu de place :</p><p><strong><em>« On peut connaître un mot par ceux qui lui tiennent compagnie »</em></strong></p><p>Autrement dit, et de manière moins idiomatique : <em>la signification d’un mot se révèle à travers les mots qui l’accompagnent. <br></em>Interrogé sur la provenance de cette phrase (<em>en anglais</em>) célèbre (mais peut-être pas suffisamment), le site <em>quoteinvestigator.com</em> publiait le 18 septembre 2022 un article court, et brillant, mêlant sagesse populaire ancienne (<em>Euripides</em>), philosophie moderne (<em>Wittgenstein</em>) et recherche sur l’IA (<a href="https://www.are.na/block/12632920"><em>Melanie Mitchell</em></a>) : <br>En termes simples, cet article convoque brièvement les deux méthodes possibles pour aborder cette question classique : comment définir la <em>signification d’un mot </em>?</p><ul><li><em>La méthode ordinaire</em>, c’est-à-dire: <em>utiliser un </em><strong><em>dictionnaire</em></strong><em>, </em>qui définit la signification d’un mot <em>en utilisant une </em><strong><em>séquence d’autres mots</em></strong><em>,</em></li></ul><p>et</p><ul><li><em>La méthode suggérée par les linguistes et les chercheurs en intelligence artificielle,</em> c’est-à-dire: utiliser <em>les </em><strong><em>dénotations</em></strong><em> et les </em><strong><em>connotations</em></strong><em> d’un </em><strong><em>mot</em></strong><em> </em>tels qu’elles devraient<em> </em><strong><em>émerger</em></strong><em> </em>d’un <strong><em>examen</em></strong> <em>des</em> <em>mots </em><strong><em>couramment adjacents, ou situés à proximité </em></strong><em>»</em>.</li></ul><p>Et après une étude approfondie des correspondances possibles dans la littérature, <em>The QuoteInvestigator </em>attribuait la paternité glorieuse et légitime de l’adage fameux au linguiste <strong><em>John Rupert Firth</em></strong>, d’après un article intitulé « “<a href="https://cs.brown.edu/courses/csci2952d/readings/lecture1-firth.pdf"><em>A Synopsis of Linguistic Theory</em></a>” », publié en <strong><em>1957 </em></strong>par la Philosophical Society of London.</p><p>En fait, et comme souvent avec des idées brillantes, la phrase-clé ci-dessus est suffisante pour envisager toute la portée du cadre puissant qui sous-tend la manière dont les LLM calculent leurs <em>vecteurs sémantiques</em>, ces objets qui leur permettent d’acquérir leur propre « <em>concept de signification </em>», à travers une seule tâche d’apprentissage automatique (‘<em>machine-learning</em>’) : <em>trouver le mot suivant dans un texte, par des essais et des erreurs</em>.</p><h3>2. Comment la “signification” vient au modèle</h3><h4>2.1. La redoutable complexité des operations d’extraction du sens des textes</h4><p>Le modèle que vous utilisez est un <em>logiciel conçu pour comprendre le langage naturel par le biais d’opérations mathématiques</em>, comme expliqué en <a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-i-f-32b437a5c05c"><strong><em>Partie I</em></strong></a><strong><em> </em></strong>: Il s’ensuit que le <em>vocabulaire du modèle</em>, à savoir les mots (ou une <em>partie de mots</em>, <em>signes de ponctuation</em>, etc.) dont le modèle fait usage pour traiter ses opérations mathématiques en <em>interne</em>, et pouvoir exprimer des <em>contenus signifiants</em> à ses <em>utilisateurs</em> en <em>externe</em>, <strong><em>doit -en premier lieu — être composé </em></strong><em>de </em><strong><em>valeurs numériques exclusivement</em></strong><em>.</em></p><p>C’est ce à quoi servent les ‘<strong><em>tokens</em></strong>’: valeurs numériques, ils représentent les index dans une <em>table des mots et / ou de parties de mots, signes de ponctuation etc. que nous utilisons dans le langage naturel.</em></p><p>La <strong><em>tokenisation</em></strong> n’est donc rien d’autre qu’une <em>traduction</em> de nos mots habituels (tout ou partie) en <em>valeurs numériques représentant</em> ces mots dans la formulation interne du LLM: seulement une <strong><em>cartographie</em></strong> convenable, juste pour<em> trans-porter les atomes de signification</em> — que nous utilisons pour signifier quelque chose-, <em>dans une forme numérique qu’une machine puisse traiter.<br></em>Donc, notre modèle est maintenant doté d’un <em>vocabulaire</em> qui nous permet d’échanger des <em>atomes de signification</em> avec lui, en langage naturel : notre « <strong><em>chat</em></strong><em> </em>» est désormais représenté dans le modèle par une valeur numérique, ‘<strong><em>x’,</em></strong> « <strong><em>chien</em></strong><em> </em>» par une autre, ‘<strong><em>y’</em></strong>, bien sûr différente; même avec « <strong><em>bleu</em></strong> », « <strong><em>abstraction</em></strong> », « <em>roi</em> », et ainsi de suite…</p><p>Comme nous utilisons environ <em>25.000 mots ordinaires </em>pour exprimer nos pensées, le modèle aura besoin de <em>25.000 valeurs numériques différentes</em>; et lorsque ce <em>codage</em> sera terminé, nous aurons une <em>mise en correspondance biunivoque, mot-pour-mot,</em> entre <em>notre vocabulaire</em> et <em>celui du modèle</em>; mais le modèle n’a toujours pas encore, pour autant, <em>la moindre idée de la signification </em>que<em> nous </em>donnons à chacun de ces mots : La <em>compréhension</em> artificielle reste encore à construire.</p><p>Pour vous aider à former une image mentale pratique, imaginez alors que vous créez une énorme matrice de nombres : par exemple, <em>25.000 lignes par 20.000 colonnes. <br></em>Chaque ligne représente un <em>token</em> du vocabulaire du modèle, et chaque colonne une <em>caractéristique</em>, à savoir une <em>dimension abstraite</em> dans l’espace vectoriel ainsi défini, par cette matrice numérique.<br>Conceptuellement, ces caractéristiques représenteront, <em>— et pourront être considérées comme —</em> <em>20.000 nuances abstraites</em>, à savoir <em>20.000 composantes de la signification que chaque token portera en langage naturel, selon l’interprétation sémantique du modèle.</em></p><p>Ensuite, initialisez le tout avec des valeurs aléatoires: Vous aurez donc construit l’espace vectoriel d’un modèle, espace intrinsèquement attaché à son vocabulaire. En d’autres termes: cette énorme matrice de nombres, que vous pouvez maintenant contempler<em> horizontalement</em> ou <em>verticalement</em>, à savoir:</p><ul><li><strong><em>Comme une pile (horizontale) de 25.000 vecteurs-ligne,</em></strong><br> autant de vecteurs-ligne que de tokens du modèle, représentant pour chaque <em>token</em>, <em>n </em>(soit 20.000) valeurs aléatoires : les <em>n</em> <em>dimensions</em> de cet espace vectoriel, celui que nous venons à l’instant de définir; <em>lequel, pour l’instant, ne représente aucune signification d’aucune sorte</em>,</li></ul><p>et/ou</p><ul><li><strong><em>Comme une pile (verticale) de 20.000 vecteurs-colonnes,</em></strong><br> autant de vecteurs-colonne que les <em>caractéristiques de signification,</em> soit les <em>composantes de la signification</em> dans votre modèle, dont chaque valeur représente la <em>distribution</em> de la <em>nuance de sens</em> correspondante, sur chacun des 25.000 <em>tokens</em> du vocabulaire du modèle. <br>En d’autres termes, <em>la “sémantique distributionnelle” à venir entre les mots du vocabulaire que le modèle utilise</em>; <em>néanmoins, ne représentant toujours rien, puisque la matrice est encore remplie de valeurs aléatoires</em>.</li></ul><p>Et maintenant, sélectionnez <em>une base de données-textes vraiment énorme</em>, contenant une partie très importante de tous les contenus textuels importants que vous pourrez trouver (<em>à sélectionner </em>soigneusement, car elle constituera le <em>patrimoine du savoir</em> du modèle), sur Internet et/ou ailleurs; puis traduisez cette base de données dans la langue interne du modèle: son vocabulaire de <em>tokens</em> : i.e.<em> tokenisez</em> cette énorme base de données textuelle.</p><p>Étape suivante : alimentez votre modèle avec chaque “<em>mot tokenisé</em>” de cette base de données; un mot à la fois, en donnant au modèle une seule tâche à accomplir : <em>prédire le mot suivant dans chaque phrase de cette base de données textuelle</em>; cette tâche se traduira mathématiquement, en <em>apprentissage machine </em>(‘<em>machine-learning</em>’) classique, par un calcul de la probabilité d’apparition de chaque mot, à chaque position, dans chaque phrase de la base de texte, minimisation d’une fonction d’erreur, et ajustement progressif des pondérations du réseau, etc.; à ce stade, il vous faudra prendre patience et laisser la magie du <em>machine-learning</em> faire le travail pour vous: vous aurez évidemment besoin de machine(s) très puissante(s), consommant une énergie considérable, sur des temps de calcul inversement proportionnels à leur puissance. <br><strong><em>Mais :</em></strong></p><p>Après d’innombrables essais et erreurs, <a href="https://fr.wikipedia.org/wiki/Algorithme_du_gradient"><strong><em>descente de gradient</em></strong></a> et <a href="https://fr.wikipedia.org/wiki/R%C3%A9tropropagation_du_gradient"><strong><em>rétro-propagation</em></strong></a> auront piloté le travail du réseau neuronal dans cet <em>« examen des mots qui apparaissent couramment adjacent ou à proximité »</em>, et le réseau apprendra lentement leurs <em>relations</em> (statiques): le modèle va ainsi <em>extraire</em>, <em>apprendre</em> et <em>stocker</em> dans ses <em>pondérations</em> les <em>relations sémantiques distribuées qui auront émergé de l’occurrence des tokens dans sa base de données d‘entraînement</em>: <em>Oui, la sorcellerie du machine-learning est </em><strong><em>aussi puissante que ça…</em></strong>😉</p><p>À la fin de ce processus, la phase d’entraînement aura transformé votre grande matrice aléatoire, <em>vide de toute signification</em>, en une pile de vecteurs-ligne, un pour chaque <em>token</em> du vocabulaire, contenant <strong><em>chacun 20.000 valeurs apprises</em></strong>: <br><strong><em>Ces valeurs sont les coordonnées statiques distribuées de la signification de chaque token le long des 20.000 dimensions de votre espace vectoriel.</em></strong><br>Conditionnées par le <strong><em>contexte</em></strong> et la <strong><em>position</em></strong> de chaque <em>token</em> dans cette base de données, <em>par rapport à tous les autres tokens</em>, ces valeurs représentent donc précisément ces relations <em>« courantes entre mots adjacents ou situés à proximité », </em>celle précisément que vous recherchiez pour en doter les <em>tokens</em> du vocabulaire, et donner à votre modèle <strong>une</strong><em> </em><strong>signification</strong><em> </em>des mots du langage naturel, au sens défini par <strong><em>John Rupert Firth</em></strong>.</p><p>Mais en même temps, et comme l’affirme <a href="https://www.are.na/block/12632920"><strong><em>Mélanie Mitchell</em></strong></a> (op. cit.), ces <em>n=20.000 caractéristiques abstraites</em>,</p><ul><li>apprises à partir des textes d’entraînement,</li><li>distribuées sur chacun des <em>25.000</em> mots du vocabulaire,</li><li>porteuses chacune d’une <em>nuance de signification</em> dans l’espace sémantique défini pour le LLM</li></ul><p><strong><em>“… ont saisi des informations sur les contextes dans lesquels le mot correspondant est utilisé”.</em></strong></p><p>Ces <strong><em>informations</em></strong> forment ainsi <em>l’ensemble des motifs sémantiques </em>(‘<em>semantic patterns’) incorporés dans toutes les phrases </em>que le LLM a vues pendant sa période d’entraînement : contenues dans les pondérations du modèle, ces informations lui tiennent lieu de sorte d’<a href="https://fr.wikipedia.org/wiki/Ontologie_(informatique)"><strong><em>ontologie</em></strong></a><em> : </em>une “<em>vision compréhensive du monde</em>”, telle que ‘<em>l’état des affaires du monde, selon ce LLM’</em> est décrit par les textes de sa base d’entraînement.</p><p>En d’autres termes, cette <em>ontologie</em> est une sorte de <em>spectre statistique</em> de tout ce sur quoi les mécanismes d’attention du modèle se sont portés pendant l’entraînement, dont la <em>signification</em> est distribuée <em>dans l’immensité d’un l’espace sémantique abstrait de toutes les phrases possibles</em>, <em>composées de tous les mots possibles du langage naturel</em>, dans un <em>continuum</em> <em>spatial abstrait</em>, <em>selon nos 20.000 dimensions </em>représentant autant de <em>nuances de signification</em>…😅</p><p>Dès lors, si la thèse de <strong><em>John Rupert Firth</em></strong> est aussi valide que la maîtrise parfaite du langage naturel par les LLM permet de le penser,<br>Alors nous pouvons raisonnablement</p><ol><li>utiliser les <em>vecteurs sémantiques</em> définis dans cet <em>espace</em> comme <em>dénotations</em> et <em>connotations</em> des mots du vocabulaire,</li><li><em>contempler</em> en conséquence <em>cet espace</em>, <em>défini par ces vecteurs</em>, comme un véritable<strong><em> espace sémantique,</em></strong> c’est à dire un espace ou l’on peut décrire la <strong><em>signification</em></strong> que le modèle donne à tous <em>mots</em> et <em>phrases</em> du langage naturel,</li><li><em>regarder chaque point </em>de cet espace, défini par le vecteur qui le permet de le repérer par ses 20.000 coordonnées, comme une <em>unité de signification</em> <em>comportant 20.000 nuances abstraites</em>, qui sont autant de projections de ce point sur les <em>20.000 axes</em> de cet espace sémantique,</li><li>et noter <em>prudemment</em> que cet<em> </em><strong><em>espace de signification </em>est <em>purement artificiel et abstrait </em></strong>: pour connaître de “<em>l’état des affaires du monde</em>”, le modèle ne disposera jamais plus, par construction même, que <br>- de la <em>signification des mots</em> <em>au sens de Firth</em>, distribuée sur <em>n=20.000 dimensions</em>, et<br>- de la <em>signification des contextes </em>de toutes les phrases contenues dans sa base textuelle d’entraînement, <em>dans ce même espace vectoriel</em>; <br><strong><em>rien de plus</em></strong>.</li></ol><p><em>Au fond</em> : <strong>Rien d’autre qu’un vaste narratif, distillé par les mécanismes d’attention</strong>…</p><p>Avant de prendre appui sur ce cadre conceptuel, ou comparer cet espace sémantique avec le notre, une remarque préliminaire: puisque la <em>notion de signification acquise par le modèle</em> repose entièrement sur les <em>relations contextuelles et positionnelles des mots dans sa base de données</em> d’entraînement, <strong><em>L’espace sémantique de chaque modèle est unique, et spécifie en quelque sorte son identité au sens propre, en reflétant la manière dont il a été construit :</em></strong></p><p>En effet, les décisions initiales de ses concepteurs sur<br><em> — l’architecture du modèle,<br> — les objectifs de son entraînement,<br> — la taille de son vocabulaire,<br> — les détails de la tokenisation, <br> — le nombre de ses dimensions sémantiques,<br> — le nombre de couches du modèle,<br> — la taille de sa fenêtre contextuelle,<br> — le nombre de têtes d’attention,<br> — le volume, la nature et la qualité des textes sélectionnés pour son entraînement,<br> — les hyper-paramètres et les paramètres de randomisation appropriés, <br> — etc.<br></em>sont autant de paramètres généraux susceptibles de <em>varier</em> d’un modèle à l’autre, ce qui se traduit donc sans aucun doute par des <em>modèles différents</em> dotés d’<em>espaces sémantiques différents</em>: un modèle comprenant<em> 20.000 dimensions de signification</em> pourrait naturellement représenter des nuances beaucoup plus précisément qu’une autre, qui n’aurait que<em> 50…</em></p><p>Par ailleurs, lorsqu’un modèle comprend un input, il <em>repère sa signification dans son espace sémantique</em>, pour accomplir <em>deux</em> fonctions qui semblent identiques, mais répondent à des <em>objectifs cognitifs différents</em> :</p><ul><li><strong><em>comprendre le sens littéral des phrases qui composent l’input, le contexte de sa réponse</em> </strong>: ce traitement est opéré dans les premières couches du réseau, celles qui traitent de la structure syntaxique de l’input, et du sens de chaque mot dans chaque phrase,</li><li>et <strong><em>comprendre les idées véhiculées par ces phrases, pour pouvoir leur donner une suite et convertir cette suite en une réponse intelligible</em>,</strong> c’est à dire ayant une <em>signification</em> par rapport aux objectifs du <em>modèle et à ce qu’il sait de l’état des affaires du monde</em> : ce traitement est opéré par les couches plus profondes, celle qui traitent de la sémantique de chaque phrase entière, et <em>du sens global du message signifié par le contexte </em>de l’input.</li></ul><p>La <em>compréhension</em>, en quelque sorte <em>locale</em>, qui est sollicitée par le premier objectif s’appuie sur la taille énorme de la base de données d’entraînement du modèle : la loi des grands nombres, cette énorme puissance statistique des “<em>big data</em>,<em> carburant du machine-learning</em>”, garantit en effet</p><ul><li>que les règles de grammaire et de syntaxe, et</li><li>que le sens de chaque mot du vocabulaire,</li></ul><p>appris pendant un entraînement aussi répétitif et complet donnent, pratiquement pour tous les modèles existant aujourd’hui, le résultat visible, impressionnant et objectif que tous les utilisateurs constatent : les modèles paraissent parfaitement comprendre, <em>à la lettre</em>, le sens des inputs que les utilisateurs leurs transmettent, et respectent tous parfaitement toutes les règles de syntaxe et de grammaire, avec une fluidité et une maîtrise spectaculaires.<br>Et de même, ils paraissent tous bien donner aux mots du vocabulaire la même signification que nous…</p><p>Toutefois, maîtriser parfaitement la signification des mots du vocabulaire courant, et appliquer les règles de syntaxe et de grammaire ne suffit pas évidemment pas pour pouvoir explorer toutes les idées que ces mots et ces phrases ont mission de véhiculer : il faut y adjoindre des connaissances supplémentaires sur “<em>l’état des affaires du monde</em>”. <br>Ces connaissances sont précisément celles que capturent les couches profondes des modèles, à savoir</p><ul><li>l’ensemble de ces “<em>motifs de signification</em>” (‘<em>meaning patterns’</em>) dont le modèle s’est également imprégné pendant son entraînement -<em>comme bénéfice dérivé de la capture du sens de chaque mot-</em>, ou encore</li><li>la <em>signification globale de toutes les phrases</em> qui ont été soumises à ses mécanismes d’attention: Son “<em>ontologie</em>”.</li></ul><p>Or si la taille de sa base d’entraînement est suffisamment grande pour lui permettre de d’apprendre correctement la signification de quelques dizaines de milliers de mots, et ensemble toutes les règles de syntaxe et de grammaire en nombre somme toute limité, <br>il n’en va probablement pas de même quand il s’agit d’apprendre la signification <em>de tous les états possibles de toutes les affaires du monde possibles,</em> que recouvrent ou peuvent recouvrir les idées exprimées par le langage naturel que nous autres, humains, nous manipulons, explicitement et surtout implicitement…</p><blockquote>[ <strong>Un indice </strong>]<br>Pensez à cette phrase anglaise fameuse : “Time flies like an arrow” prise en isolation contextuelle; et aux deux traductions possibles en français, mot à mot, ou “globalement”… Dans un espace sémantique artificiel, tous les concepts sont des convexes : on sait y définir la signification d’une chose, mais pas de ce qu’elle n’est pas. Ainsi, sans référence directe au monde extérieur, un LLM aura peut-être du mal à traduire “time flies” : <br>“le temps s’écoule”, s’il maîtrise la métaphore, ou “les mouches-à-temps”, faute de mieux ?</blockquote><p>En d’autres termes, et pour résumer : <br>L’ ”<em>ontologie</em>” des LLMs, cette <em>carte sémantique du monde</em> dont ils sont dotés par “<em>distillation attentionnelle”</em> de leur base d’entraînement, couvre certainement un <strong><em>champ cognitif </em></strong>certes <em>beaucoup plus vaste</em>, et de beaucoup, que celui de n’importe quel humain, et c’est précisément cette <em>envergure</em> qui fait tout l’intérêt des modèles.</p><p>Néanmoins, cette couverture est sans aucun doute <em>beaucoup moins riche,</em> et donc <em>infiniment moins précise</em> que la nôtre, quel que puisse être le nombre de nuances, i.e. de dimensions de leur espace sémantique artificiel : <br>Il est clair que <em>Grok</em> <em>sait</em> beaucoup plus de choses que moi dans tous les domaines qui me sont totalement étrangers, parce que je n’ai eu ni le temps ni la nécessité d’aller les explorer, au moins jusque-là.</p><p>En revanche, j’affirme savoir beaucoup plus de choses <em>utiles</em> que <em>Grok.<br></em>Par exemple, sur mon chat (la petite <strong><em>Mogwaï</em></strong>) : <em>Grok</em> peut m’écrire des milliers de pages pleines de sens sur <strong><em>Mogwaï, </em></strong>qui est une partie (significative !) des <em>affaires du monde</em>, alors qu’il ne sait rien absolument rien d’elle : ce texte que je suis en train d’écrire est la seule et infinitésimale chance pour que <strong><em>Mogwaï</em></strong> entre un jour dans le champ cognitif de <em>Grok</em>, et retienne son immense attention… mais Grok n’éprouvera jamais rien, et son expérience du monde n’en sera jamais modifiée, sinon, et en mettant les choses au mieux, par un narratif très fragmentaire… alors que s’il advenait que je doive apprendre quelque chose que je ne sais pas encore sur Mogwaï, je pourrais toujours aller simplement lui poser directement la question!…🤣</p><p>Bref, l’espace sémantique des LLMs,</p><ul><li>cette “<em>ontologie</em>” <strong><em>constituée à partir d’un gigantesque narratif textuel</em></strong>, dont seuls les concepteurs pourraient dire s’il est <em>homogène</em> ou <em>hétéroclite</em>,</li></ul><p>ne peut avoir, par conception même, qu’une <em>relation très distanciée avec</em> l’<em>état des affaires du monde</em>, suffisant pour porter des prédictions toujours raisonnables : au mieux, cet espace vectoriel peut apparaître comme une sur-simplification très grossière de ce que notre propre évolution en tant qu’espèce intelligente a patiemment élaboré, pendant 135.000 ans ou à peu près…</p><blockquote>- Nous, utilisateurs, formulons une question significative sur l’état des affaires du monde en référence à notre espace sémantique naturel; <br>-le modèle donne un sens à cette requête par un calcul dans son propre espace sémantique artificiel, et génère une réponse signifiante dans ce même espace, tout en prédisant les mots les plus probables chargés de sens, poursuivant notre requête; <br>- puis nous, utilisateurs, interprétons la réponse du modèle en utilisant à nouveau notre espace sémantique naturel, <br>- et faisons des prédictions sur les conséquences que ces réponses peuvent avoir sur l’état des affaires du monde…<br>Naturellement, <strong>nos perspectives de compréhension mutuelle avec le modèle</strong>, pour ainsi dire, pourraient — <strong>parfois</strong> — se révéler suffisamment éloignées pour faire place à <strong>quelques problèmes d’incompréhension</strong>…</blockquote><p>Pour rappel, nous, les humains, pouvons compter sur environ <em>86 milliards de neurones en moyenne, connectés à travers 7.000 synapses chacun, également en moyenne</em>: en fait, des milliers de connexions par neurone, donnant pour une estimation rapide et en chiffres ronds <em>un nombre total de synapses dans le cerveau dans les centaines de milliers de milliards</em>…</p><p>Quelles que soient les prouesses d’ingénierie, les LLM ne peuvent pas faire face de toutes manières; ne serait-ce que parce que notre « <em>machine biologique </em>», pour ainsi dire, ne consomme que 25 watts d’énergie. <br><em>Cherchez l’erreur</em> ! …</p><p>Rien ne garantit donc</p><ul><li>ni que les modèles <em>comprennent</em> <em>toujours</em> <em>complètement</em> et <em>correctement</em><strong><em> -tout le temps- </em></strong><em>toutes les questions </em>qu’on leur pose,</li><li>ni que les réponses qu’ils nous donnent aient une signification “<em>assez bonne</em>”, ‘<em>good enough’</em>, pour être intelligible, <br>c’est à dire : <em>dont les conséquences puissent nous être utiles,</em><br>c’est à dire : <em>qu’elles puissent nous fournir un pouvoir prédictif satisfaisant sur l’évolution de l’état des affaires du monde</em>.</li></ul><h4>2.2. Les avantages de l’interprétation géométrique du sens</h4><p>Mais en contrepartie, bien qu’elle soit totalement artificielle, cette cartographie de sens en termes vectoriels est néanmoins très puissante:</p><p>Le modèle peut utiliser les propriétés géométriques des vecteurs sémantiques, comme leur distance ou leur direction, pour calculer mathématiquement des opérations sur la signification, comme la similitude et/ou l’analogie. <br>Ainsi, par les seuls moyens de la géométrie, le modèle est capable<br>. <em>de résoudre des équations sémantiques</em> telles que <br><strong><em>[ « roi » — « homme » + « femme » ≈ « reine »]</em></strong>,<br>pour en extraire, directement par le calcul des informations qui ont une réelle signification, et même<br>. <em>de valider implicitement la pertinence de sa cartographie</em> vectorielle du sens: <br>Par exemple, les équipes de Google ont montré de manière très habile, que la <em>distance</em>, <em>mesurée dans l’espace sémantique </em>de leur modèle, entre<br> * des points signifiant <em>(la dénomination de ) différents </em><strong><em>pays</em></strong>, et<br> * des points signifiant <em>(la dénomination de) leur </em><strong><em>capitale</em></strong><em> respective,</em><br>prend une valeur à peu près constante, alors même que leur modèle n’a jamais reçu aucune règle pour apprendre explicitement la notion de “<em>capitale d’un pays</em>”… <br>On peut voir là un indice très convaincant que des significations réellement similaires sont proches les unes des autres dans l’espace sémantique du modèle:<br><em>verbatim</em> &gt;&gt; : (<strong><em>Melanie Mitchell</em></strong>, <a href="https://www.are.na/block/12632920">op. cit., Chapitre 11</a> : « <em>Words, and the Company they Keep », figure 37</em>) :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2KGH7ZaxaRK6eZxUpYP8bg.png" /><figcaption><strong>From M.Mitchell, op.cit, Chap.11, Figure 37</strong></figcaption></figure><h3>3. Le voyage du modèle dans l’espace sémantique</h3><h4>3.1. Navigation dans l’espace sémantique</h4><p>Dans ce <em>cadre géométrique </em>nouveau, un espace vectoriel de haute dimension représentant les <em>significations des mots </em>et des <em>phrases</em>, nous sommes maintenant capables de former et visualiser une nouvelle image mentale, désormais en termes dynamiques, pour comprendre la façon dont le modèle parcourt son domaine sémantique.</p><p>Comme nous l’avons déjà vu, avant que nous puissions commencer à l’utiliser, un modèle a déjà été <em>pré-entraîné</em>, <em>finement réglé</em>, et <em>probablement aligné</em> avec ce que nous, utilisateurs, pourrions statistiquement en attendre.</p><p>En tant que tel, il est déjà muni des objectifs de son entraînement pour guider son comportement: être <em>utile</em>, <em>honnête</em> (~’<em>truthful</em>’), <em>précis</em>, <em>sûr</em>, <em>aligné avec les intentions humaines</em>, etc., à la discrétion de ses concepteurs.</p><p>Le modèle possède également déjà, par construction, cet espace vectoriel sémantique <em>caché</em>, <em>latent</em>, à <em>n dimensions</em>, où il est capable de décrire <em>-à travers les n-dimensions de ses propres nuances</em> -statistiquement- <em>apprises</em>, les <em>significations possibles</em> (dans son propre espace sémantique interne) de n’importe quel <em>mot</em> et/ou <em>toute phrase</em> en contexte, exprimée en langage naturel, par rapport à l’énorme base de données d’entraînement dont il s’est imprégné.</p><p>Dans cet espace vectoriel, la signification de chaque mot est initialement un seul point statistique, et chaque phrase est un nuage de points statistiques, façonnés par les poids d’attention appris lors de l’entraînement, c’est à dire <em>en accentuant certaines nuances de sens</em>, tout en<em> en réduisant d’autres</em>, etc. comme si on les réglait chacun avec <em>n = 20.000</em> petits curseurs.</p><p>En conséquence, <strong><em>voyons la liste des tâches </em></strong>que le LLM doit effectuer (<strong><em>seulement dans le domaine sémantique</em></strong>, en omettant la partie calcul), pour traiter un input.</p><ul><li>[ <strong><em>nota bene </em></strong>]<br>[<em>Par souci de clarté, nous utiliserons ci-après le vocable “</em><strong><em>mot</em></strong><em>’ , au lieu de « </em><strong><em>token</em></strong><em> », car ces deux dénotations sont ici équivalentes </em>]</li></ul><h4>3.1.1. Traduction de la requête</h4><p>dans son propre « <em>langage naturel </em>», à savoir son propre vocabulaire (<em>tokenisation</em>),</p><h4>3.1.2. Compréhension de l’input</h4><p>c’est-à-dire:<br>- pour tous les mots en entrée, à partir du premier,<br>- prendre comme point de départ le « <em>nuage primaire de significations possibles</em> » que le modèle a apprises lors de la formation et <em>vectoriser l’entrée</em> (‘<em>embedding the input</em>’): à savoir, intégrer la séquence ordonnée des mots de l’entrée dans des vecteurs sémantiques correspondants ;<br>- utiliser en parallèle, ponctuellement, le mécanisme multi-têtes, auto-régressif d’auto-attention pour ajouter au sens de chaque mot les informations extraites de la fenêtre contextuelle : ainsi<br>- * <em>En termes de </em><strong><em>« compréhension »</em></strong>, cet ajout est un <strong><em>enrichissement de signification</em></strong>, qui intègre les informations contextuelles et positionnelles contenues dans la fenêtre de contexte ; <br>- * <em>En termes de</em><strong><em> </em></strong>« <strong><em>géométrie sémantique</em></strong> », ce processus <em>déplace progressivement la signification de chaque mot</em> depuis ses localisations initiales possibles dans l’espace vectoriel, <em>vers un nouveau point unique</em>, tenant lieu de <strong><em>signification actualisée</em></strong> pour chaque mot par rapport à :<br> . <em>la base de données d’</em>entraînement, <strong>plus<br></strong> . <em>la séquence de ordonnée et complète de l’input, </em>avec la contribution significative de chaque mot, <em>en contexte et en position</em>, du premier au dernier.</p><p><strong><em>Observation 1</em></strong> :<br> .<em> dans l’état caché du modèle, le nuage statique, initial des significations possibles pour chaque token se stabilisera progressivement en un point dans l’espace vectoriel n-dimensionnel, tenant lieu de signification actualisée de chaque mot par rapport à l’évolution du contexte et des positions.</em><br><strong><em> Observation 2 :</em></strong><br><em> . ainsi, le modèle trouvera sa trajectoire dans l’espace sémantique, jusqu’au chemin contextuel et positionnel le plus probable, c’est-à-dire le plus « </em><strong><em>significatif</em></strong><em> » du point de vue géométrique. <br>Ce cheminement est incorporé dans cette prédiction probabiliste en déplacement progressif, </em><strong><em>depuis les significations locales des mots de l’input, jusqu’à la signification globale de la totalité de l’input.</em></strong><em><br> Ce chemin le plus signifiant, avec la plus forte probabilité jointe attachée à chaque mot, est le </em><strong><em>mode de raisonnement</em></strong><em> que le modèle adopte pour </em><strong><em>atteindre la continuation la plus cohérente et significative</em></strong><em>, jusqu’au dernier mot de l’input, marquant la fin de sa tâche de </em><strong><em>compréhensio</em></strong><em>n.</em></p><ul><li>Lorsque cette tâche de (<em>sorte-de</em>) <strong><em>compréhension</em></strong> (<em>artificielle</em>) est achevée, le modèle aura <em>compris selon ses propres critères</em> la signification globale de la séquence d’input (<em>à son point de vue</em>):</li><li>un <em>nuage de points</em>, — un pour chaque mot — , soit finalement une <em>constellation</em> <em>dans son espace sémantique n-dimensionnel,</em></li><li>disposé selon un motif spécifique qui capture leurs relations progressivement ajoutées, jusqu’au dernier mot de l’entrée (son <em>input</em>), en <em>contexte</em> et en <em>position</em>.</li></ul><p>Ce nuage de points, situé dans cet espace vectoriel, représente ce que le modèle <strong><em>a géométriquement compris de la signification globale de son input,</em></strong> après avoir porté son attention contextuelle et positionnelle sur chaque mot dans la séquence; <br><em>et au fait</em>: exactement de la même manière que ce qu’il a déjà fait lors de son pré-entraînement sur son énorme base de textes, pour acquérir les significations statiques possibles de son propre vocabulaire.</p><p>Ainsi, en comprenant son input, le modèle en aura-t-il traité tous les mots simultanément, dans un événement de <em>compréhension parallèle unique</em>, large comme le nombre de ses têtes d’attention, pour construire un « <strong><em>nuage de signification </em></strong>» <em>unique, complexe, contextuel et probabiliste</em> pour son entier input.</p><h4>3.1.3. Génération d’une réponse “qui fait sens”</h4><p>Maintenant, le modèle va commencer à générer <em>token après token</em> (mot après mot), une <em>réponse qui fait sens,</em> en dessinant une <em>trajectoire</em> dans son espace vectoriel sémantique.<br>En commençant par ce « <em>nuage de significations </em>» actualisé, qui lui permet de calculer le <em>vecteur de signification </em>de son input,</p><h4>3.1.3.1.</h4><p>Le modèle va calculer la position <strong><em>du mot suivant le plus probable</em> <em>sur la base de ce nuage</em></strong>, et mettra à jour la totalité de son état interne pour <em>incorporer la signification de ce nouveau mot</em>. Ainsi, le modèle sera-t-il passé au point suivant de sa <em>trajectoire dans l’espace n-dimensionnel</em>.</p><h4>3.1.3.2.</h4><p>Et ce processus va se répéter, pour que le modèle puisse parcourir sa « <strong><em>trajectoire de signification</em></strong><em> </em>» complète à travers son propre paysage sémantique, chaque nouveau point représentant l’état de la signification globale actualisée, ensemble de totalité de l’input et de l’output qui précède, après chaque token généré: <strong><em>la compréhension du modèle à chaque étape étant ainsi une combinaison non linéaire de la signification de l’input original et de l’histoire sémantique entière de sa propre génération.</em></strong></p><h4>3.1.3.3.</h4><p>… jusqu’au moment où soit le <em>modèle a atteint une limite prescrite</em>, soit <em>le moteur probabiliste qui propulse la sélection du token suivant s’éteint</em>.</p><ul><li><strong><em>Observation 3</em></strong> :<br><em> Ce processus de génération permet la construction d’idées à plusieurs niveaux, d’explications et de narratifs qui n’étaient pas présents dans le prompt lui-même: Le modèle parcourt un cheminement probabiliste à travers son espace sémantique, qui commence à l’emplacement de l’input. <br> Il ne rappelle aucune réponse stockée: le parcours sémantique du modèle n’est </em><strong><em>conditionné</em></strong><em> que par la </em><strong><em>signification de l’input </em></strong><em>que le modèle a (en quelque sorte) compris, son point de départ dans l’espace sémantique, et par ses </em><strong><em>objectifs d’entraînement</em></strong><em>.</em> 😅</li></ul><h3>3.2. “comprendre la compréhension”.</h3><h4>3.2.1. L’idée centrale: raffinement hiérarchisé de la signification</h4><p>Nous ne pouvons pas visualiser un espace comportant plus de dimensions que les trois (physiques, i.e. palpables) dans lesquels nous vivons. Pour aider à imaginer ce qui se passe dans “<em>ce pays de pure abstraction</em>”, j’ai cherché de l’aide, et demandé à <strong><em>Deep Seek </em></strong>d’écrire un bref résumé sur la façon dont un LLM extrait la signification de son input. <br>Autour d’une idée de base: “<em>Un Raffinement Hiérarchise de la Signification”</em>, en de bien meilleurs termes que les miens ci-dessus, ce modèle peut expliquer comment <strong><em>il passe des caractéristiques locales &amp; syntaxiques, à la compréhension globale, sémantique &amp; pragmatique.</em></strong><br>Les détails de la compréhension évolutive du modèle à travers les différentes couches sont particulièrement éclairants:</p><ul><li>à partir <strong><em>d’une compréhension peu profonde et locale </em></strong>dans les couches <em>superficielles</em>,</li><li>le modèle acquiert <strong><em>une résolution syntaxique et sémantique intermédiaire</em></strong> dans les couches <em>moyennes</em>,</li><li>puis effectue <strong><em>un raisonnement et une intégration de haut niveau </em></strong>dans les couches <em>profondes</em>, pour atteindre<strong><em> </em></strong>à ce stade <strong><em>une compréhension globale, pragmatique et orientée sur ses tâches.</em></strong></li><li>lorsqu’il atteint sa la <strong><em>couche de sortie </em></strong>(‘<em>output</em> <em>layer</em>’), le vecteur sémantique final traverse une couche linéaire et une <a href="https://fr.wikipedia.org/wiki/Fonction_softmax"><em>fonction softmax</em> </a>qui convertit les résultats en distribution de probabilité, ce qui permet au modèle de prendre une <strong><em>décision prédictive</em></strong> et d’accomplir <strong><em>la tâche de génération de sa réponse</em></strong>.</li></ul><p>(voir le <em>sommaire DeepSeek, </em>au format PDF : “<a href="https://github.com/First6a/GotGrilled/blob/main/Slide%201.pdf"><strong><em>Slide 1-The Core Idea: A Hierarchical Refinement of Meaning</em></strong></a><strong><em>”</em></strong>)</p><blockquote>[ <strong>nota bene<em> </em></strong>]<br>Le lecteur désireux de pénétrer plus profondément les secrets du moteur le plus puissant de l’apprentissage-machine (<em>machine-learning</em>), trouvera dans <a href="https://youtu.be/wtg0k_aMbvs?si=3g8CicYVXxlKZ3Rl"><strong>l’enseignement donné en 2017 à l’Institut Henri Poincaré</strong></a> par<strong> </strong><a href="https://fr.wikipedia.org/wiki/St%C3%A9phane_Mallat"><strong>Stéphane Mallat</strong></a><strong> </strong>une référence exceptionnelle : les mécanismes internes des <strong>réseaux à convolutions</strong> <strong>appliqués au traitement d’une image </strong>y sont détaillés avec clarté, simplicité, et sans excès de formalisme mathématique.<br>Je n’ai pas vu -à ce jour- de meilleure explication des mécanismes intimes<br>- de <em>l’</em><strong>extraction progressive</strong> par un <strong>noyau de convolution</strong>(le <em>filtre</em>) appliqué dans les <em>couches successives</em> d’un <strong>réseau convolutif</strong>, <br>- de l’<strong>information</strong> contenue dans tous les détails d’une image, <br>- <strong>à toutes les échelles</strong>, de la plus petite à la plus grande.<br>Les explications de <strong>Stéphane Mallat</strong> permettent en effet de comprendre parfaitement le travail analogue du LLM, lorsque<br>- les <strong>couches successives de convolution</strong> du modèle extraient progressivement, par leur <strong>filtre d’auto-attention régressive</strong>, <br>- la s<strong>ignification d’un texte, par raffinements successifs</strong>, <br>- pour passer de la <strong>compréhension syntaxique peu profonde et locale</strong>, jusqu’à la <strong>compréhension globale, pragmatique et orientée par les objectifs</strong> du modèle.</blockquote><h4>3.2.2. The LLM semantic vector space attributes</h4><p>A nouveau par manque de visibilité, la traduction de notre signification naturelle en termes de géométrie d’un espace vectoriel abstrait est loin d’être évidente.<br>Par conséquent, pour aider ce processus de traduction et obtenir une image mentale plus claire, j’ai également demandé à <strong><em>DeepSeek </em></strong>une courte liste d’éléments-clés que je devrais ajouter à mon propre modèle mental, pour affiner les points de vue personnels exposés au <em>Chapitre 2</em> ci-dessus.<br>Ces <em>points-clés </em>additionnels pour préciser l’image sont les suivants :</p><ul><li>L’espace sémantique <em>n’est pas un idéal platonique de signification</em>, mais un <strong><em>espace abstrait relatif, orienté par les tâches du modèle</em></strong>, <strong><em>entièrement façonné par ses données d’entraînement et ses objectifs</em></strong>,</li><li>La compréhension <em>n’est pas un espace monolithique </em>mais <strong><em>une hiérarchie, construite couche par couche, pour capturer et combiner des caractéristiques sémantiques de plus en plus sophistiquées</em></strong>, comme mentionné dans le <a href="https://github.com/First6a/GotGrilled/blob/main/Slide%201.pdf"><strong><em>Slide 1</em></strong></a>, et</li><li>Dans l’espace sémantique du modèle, la <em>compréhension du prompt</em><strong><em> est un point</em></strong>, conditionné par le contexte, tandis que la <em>génération de la réponse</em> <strong><em>est une trajectoire</em></strong>.</li></ul><p>(voir “<a href="https://github.com/First6a/GotGrilled/blob/main/Slide%202.pdf"><strong><em>Slide 2- The LLM semantic vector space attributes</em></strong></a><strong><em>”</em></strong>)</p><h4>3.3 Les pièges inhérents aux espaces sémantiques artificiels</h4><h4>3.3.1. Dans la conformation du paysage sémantique</h4><p>Dans un article publié en août 2024 dans <strong><em>Frontiers in Artificial Intelligence</em></strong>, <strong><em>Jussi Karlgren</em></strong> et <strong><em>Pentii Kanerva</em></strong> ont publié <em>« une note (…) destinée à mettre en garde sur certains pièges pratiques de l’utilisation d’une représentation géométrique de haute dimension comme représentation de la connaissance et d’un modèle de mémoire… »</em>. <br>En plongeant dans les détails fins et abstraits de l’abstraction géométrique, les auteurs montrent <em>à quel point la métaphore géométrique de la similitude sémantique est une intuition</em>, et révèlent les pièges méthodologiques dans lesquels cette intuition pourrait nous faire tomber.</p><p>Notamment, dans un paragraphe très convaincant intitulé <em>« Le vide de la calotte polaire »</em>, ils montrent comment <em>l’utilisation du cosinus comme mesure de similitude dans une hyper-sphère sémantique</em> peut créer de réels inconvénients quand le nombre de dimensions augmente: cette mesure angulaire peut en effet pousser des points dans un sens ou dans l’autre,</p><ul><li>soit au-delà de ce que les auteurs définissent comme l’<strong><em>horizon du bruit</em></strong><em>,</em> derrière lequel ces <em>certains points peuvent alors être perdus</em>,</li><li>soit en-deça de ce qu’ils définissent comme l’<strong><em>horizon d’intérêt</em></strong><em>, où certains points pourraient ne pas vraiment avoir leur place.</em></li></ul><p>Ils concluent:<strong><em> </em>“ ‘<em>interestingness’ is not always transitive</em></strong><em> </em>”: “<strong><em>la notion d’intérêt n’est pas toujours transitive</em></strong>”, et ce fait très <em>significatif</em> peut entraîner des conséquences très <em>significatives</em>…<br>En bref: la <em>représentation géométrique de la signification </em>pourrait bien, dans une certaine mesure et dans certaines circonstances particulières, ne pas s’aligner complètement avec d’autres représentations différentes de la signification …</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/898/1*094Icr1POX_0xzlJkRLY6Q.png" /><figcaption>“The emptiness of the “Polar Cap”-Fig.2</figcaption></figure><p>De même, ces auteurs soulignent une distinction apparemment pertinente entre les structures <em>locales</em> et <em>globales</em> dans l’espace sémantique, en effet:</p><p>La plupart des <em>relations intéressantes</em> dans l’espace sémantique sont <em>locales.</em><br><em>verbatim</em> :&gt;&gt;&gt; <strong><em>« c’est dans la nature de la compréhension humaine le monde que les relations entre une chose et une autre chose émergent et deviennent intéressantes à mesure que les événements se déroulent, mais la plupart des points d’intérêt resteront inintéressants les uns par rapport aux autres »</em>.</strong></p><p>Cette vérité indiscutable comporte deux conséquences:</p><ol><li><em>Dans un espace sémantique</em>, <strong><em>seule la structure locale peut présenter de l’intérêt</em></strong>. Nous revenons ici à nouveau à notre point de départ, la thèse de <strong><em>Firth</em></strong> : Dans l’espace de la signification, l’<em>horizon d’intérêt</em> est toujours proche, dans le voisinage immédiat,</li><li><em>Dans un espace sémantique,</em> <strong><em>les structures globales n’ont aucune raison d’être liées</em>,</strong> <em>car elles ne portent aucune relation de signification</em>. Et pourtant, comme elles résident dans le même espace, elles peuvent néanmoins être manipulées par des mesures de <strong><em>similitude</em></strong> et/ou d’<strong><em>analogie</em></strong>…</li></ol><p>Les auteurs examinent alors les relations entre <em>dimensionnalité intrinsèque</em> et <strong><em>bruit</em></strong><em> dans l’espace sémantique vectoriel</em>, pour conclure que parfois <strong><em>« la carte peut être plus précise que le terrain »</em></strong>, avec des questions très intéressantes, que vous pouvez poser à votre modèle favori :</p><ul><li><em>quelle est la relation qui existe entre </em><strong><em>“dodécaèdre” </em></strong><em>et</em><strong><em> “frileux” ?</em></strong></li></ul><p>ou encore</p><ul><li><strong><em>a. </em></strong><em>Une</em><strong><em> « vache » </em></strong><em>est-elle plus à un </em><strong><em>« âne » </em></strong><em>ce que </em><strong><em>« compétence » </em></strong><em>est à une</em><strong><em> « bouilloire » ?<br>b. “Debussy” </em></strong><em>est-il plus à</em><strong><em> “Poulenc” </em></strong><em>ce que</em><strong><em> “Hank” </em></strong><em>est à </em><strong><em>“Waylon”?</em></strong></li></ul><p>Après avoir lu cet article remarquable, vous garderez probablement l’idée que les espaces sémantiques ne peuvent pas toujours être correctement traduits les uns dans les autres: Comme l’affirment les auteurs<strong><em>, « il est peu probable qu’une transformation qui prend appui sur la structure globale </em></strong>(d’un espace sémantique) <strong><em>soit capable d’aligner deux modèles de ce type, dans le cas général. »</em></strong> : les éléments <em>qui présentent de l’intérêt pour leur signification </em>résident toujours dans leur voisinage respectif immédiat, <strong>et ce <em>voisinage définit leur horizon d’intérêt local</em>.</strong> <br>Au-delà de cet horizon, les objets appartiennent toujours au même espace sémantique, certes, mais ils ne peuvent porter aucune signification qu’on puisse leur associer. <br><strong>Question <em>consécutive</em></strong>: <br><em>- si on se place au plus haut niveau de la signification et de la compréhension,<br>- et si deux modèles artificiels différents sont incapables de traduire correctement leurs espaces sémantiques respectifs de l’un vers l’autre,<br>- alors comment nous, les humains, </em><strong><em>pourrions-nous traduire correctement le nôtre dans un espace un artificiel, géométrique; et vice-versa</em></strong><em>?</em></p><h4>3.3.2. En termes de capacités de compréhension basique</h4><p>En juin 2024, <a href="https://ontologik.medium.com/"><strong><em>Walid Saba</em></strong></a> (déjà cité in <a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-i-e-e9612b16216a"><strong><em>Partie I</em></strong></a>) a mené une première série de tests impliquant quelques phénomènes linguistiques exigeants et intéressants, pour questionner les capacités de compréhension des LLM (<strong><em>“</em></strong><a href="https://arxiv.org/abs/2407.19630"><strong><em>LLMs Understanding of Natural Language Revealed</em></strong></a><strong><em>”</em></strong>) :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yYXRd4Ooq1Uo4PULqxKjRQ.png" /></figure><p>Pour tester lesdites capacités, <strong><em>Walid Saba </em></strong>a inversé l’exercice habituel d’analyse comparative, et directement exploré la <em>compréhension</em> des <strong><em>LLMs</em></strong> en termes logiques strictement formels, à l’aide d’une batterie de tests très simples, que n’importe lequel d’entre nous peut facilement et instantanément reproduire:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_CWCPX_-pKtqjvmpKIfRDA.png" /><figcaption>Query : Intensional vs. extensional</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t-c15GrOu9icoM_A50HPJw.png" /><figcaption>Saba — Query, Prolog-style</figcaption></figure><p>La conclusion de <strong><em>Walid Saba</em></strong> prononce un verdict sans équivoque, et très convaincant sur les <em>capacités de compréhension</em> des <strong><em>LLMs</em></strong>, dès l’abstract de son article. <em>verbatim</em>:<br>&gt;&gt;&gt; <strong><em>« … il deviendra évident que les LLM ne comprennent pas vraiment le langage, au-delà d’inférences très superficielles qui sont essentiellement le sous-produit de la mémorisation de quantités massives de textes ingérés. »</em></strong><br>En cas de doute: <em>voir ces tests</em>. <br>Si le doute persiste: <em>faites les tests vous-même, c’est très facile.</em></p><h4>3.3.3. En termes de capacités avancées de comprehension</h4><p><em>Question</em> : Les LLM font-ils naufrage ? Bienvenue à bord du <strong><em>« Cuirassé Potemkin »</em></strong>! <br>‘<em>Last but not least’</em>, en 2025 une nouvelle équipe du MIT a révélé un nouvel écueil spectaculaire dans la compréhension des <strong><em>LLMs</em></strong>. Dans un article du 29 juin (<a href="https://arxiv.org/abs/2506.21521"><strong><em>“Potemkin Understanding in Large Language Models”</em></strong></a>), <strong><em>Marina Mancoridis </em></strong>et son équipe de recherche ont eux aussi écarté les bancs d’essai (‘<em>benchmarks’</em>) généralement utilisés pour sonder la compréhension des <strong><em>LLM</em></strong>s, et introduit un nouveau cadre <em>moins complaisant</em> fondé sur le principe que des tests standardisés comme les examens AP (<em>‘Advanced Placement’ des programmes scolaires aux USA et Canada)</em>, les défis de codage et également d’autres mesures de la <em>compréhension chez l’homme</em> peuvent tout aussi bien être appliqués <em>pour évaluer la compréhension par les </em><strong><em>LLMs</em></strong><em> </em>eux-mêmes. <br>Sur la base d’une hypothèse centrale (<em>vérifiable</em>), celle selon laquelle la <em>manière dont les humains comprennent mal les concepts</em> est <strong><em>prévisible</em></strong>, et de <strong><em>portée limitée</em></strong><em> — l</em><strong><em>es mauvaises compréhensions forment en effet un petit ensemble bien structuré</em></strong><em> -</em>, cette équipe a conçu des benchmarks afin mettre en évidence les différences entre</p><ul><li><strong><em>compréhension de surface</em></strong>, avec ou sans <em>mémorisation</em>,</li><li>et <em>authentique, </em><strong><em>véritable compréhension</em></strong><em>.</em></li></ul><p>En l’occurrence: une batterie de tests<em>, conçus de telle manière que réussir à les passer exige de </em><strong><em>comprendre véritablement</em></strong><em>.</em></p><p>L’implication fondamentale de cette expérience est que les benchmarks conçus pour l’homme ne sont des tests valables pour les LLM que si l’espace des mauvaises compréhensions par les LLM est structuré de la même manière que l’espace des mauvaises compréhensions par les humains. <br>Ainsi, l’équipe de recherche a-t-elle baptisé « <strong><em>potemkins</em></strong> » les résultats observés sur les tests <em>où les LLM </em><strong><em>divergent des schémas humains, tout en réussissant à trouver la bonne réponse</em>,</strong> <strong><em>mais sans comprendre les concepts sous-jacents… </em></strong>Le test parfait pour une <em>véritable compréhension</em>, avec les réponses humaines comme <em>groupe de contrôle</em> !</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/798/1*UhYKsCXbfYGEBkLh8oL89w.png" /><figcaption>An example of “Potemkin”. see Figure 1</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/1*CxN9LDi0qUGR_0AtBBEclA.png" /><figcaption>Potemkin-Figure 1</figcaption></figure><p>Les auteurs ont ainsi analysé ces <em>“</em><strong><em>potemkins</em></strong><em>”</em> sur un champ de 32 concepts, expérimenté sur 7 grands modèles de langage. <br>Là encore, leurs résultats sont <strong><em>sans équivoque</em></strong>: l<strong>es <em>potemkins</em> sont <em>omniprésents</em>, et affectent <em>tous </em>les <em>concepts, les domaines, et les modèles, testés</em> </strong>dans leur étude. <br>Relativement à notre préoccupation ici, la <em>compréhension</em>, l’un des principaux résultats est le suivant, <em>verbatim</em>:<br><strong><em>&gt;&gt;&gt;”Les modèles définissent correctement les concepts 94,2% du temps. Cependant, conditionnés par des définitions correctes, leur performance diminue fortement lorsqu’ils sont chargés d’utiliser ces concepts, comme le montrent les taux élevés de potemkins dans le tableau : »</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/802/1*Pr8L2a8M8rNIePKTzHXfIg.png" /><figcaption>Table1. Potemkin rates : 0.40 to 0.55</figcaption></figure><p>Bien sûr, le « <em>Cuirassé Potemkin </em>» n’était qu’une référence humoristique et personnelle, pour ajouter une nuance sarcastique à la scène: l’équipe de recherche, quant à elle, a très judicieusement nommé sa principale trouvaille « <strong><em>potemkin </em></strong>», en référence à ces <em>« villages avec des façades élaborées, construites pour créer l’illusion d’une substance là où il n’en existe aucune réellement»</em>; <br>… et après avoir lu cet article, tout le monde pourra réaliser à quel point cette <em>appellation métaphorique</em> a été bien choisie, pour qualifier les performances de compréhension des <strong><em>LLMs</em></strong>: l’enseignement le plus significatif étant <strong><em>leur incapacité observée à utiliser les concepts qu’ils peuvent pourtant définir correctement (puisqu’ils font souvent des ‘potemkins’).</em></strong></p><ul><li>[ <strong><em>Indice</em></strong><em> :</em> ]<br><em>Qu’est-ce que ça veut dire, quand vous pouvez définir correctement un concept </em><strong><em>94,2%</em></strong><em> du temps, mais que vous ne pouvez pas l’utiliser correctement pour en déduire quelque chose, </em><strong><em>55% </em></strong><em>du temps ? <br>Quels sont donc les ‘ingrédients’ dont vous pourriez bien être privé ?</em></li></ul><h3>[ 4. Test final et conclusions : Part III-2 ]</h3><p>(<strong><em>suite : </em></strong><a href="https://medium.com/p/7411fe16c893/edit"><strong><em>Partie III-2 (*F)</em></strong></a>)</p><ul><li><strong><em>end note</em></strong><br><strong><em>french version available : </em></strong><a href="https://medium.com/p/5a5f6bd35f11/edit"><strong><em>“Grok On The Grill Part, III-1 (*F)</em></strong></a></li></ul><p>./.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=de92cdd88d88" width="1" height="1" alt=""><hr><p><a href="https://ai.plainenglish.io/grok-on-the-grill-part-iii-1-f-de92cdd88d88">Grok on The Grill, Part III-1 (*F)</a> was originally published in <a href="https://ai.plainenglish.io/">Artificial Intelligence in Plain English</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[“Grok On The Grill”, Part II (*E) :]]></title>
            <link>https://ai.plainenglish.io/grok-on-the-grill-part-ii-e-1f2904eac010?source=rss-1d9ad84bf6d------2</link>
            <guid isPermaLink="false">https://medium.com/p/1f2904eac010</guid>
            <category><![CDATA[llm-evaluation]]></category>
            <category><![CDATA[semantics]]></category>
            <category><![CDATA[llm-hallucinations]]></category>
            <dc:creator><![CDATA[Marc Chicha]]></dc:creator>
            <pubDate>Tue, 14 Oct 2025 12:27:24 GMT</pubDate>
            <atom:updated>2025-11-20T14:08:34.875Z</atom:updated>
            <content:encoded><![CDATA[<h3>“Grok On The Grill”, Part II (*E) :</h3><h4>“If you are going through hell, keep going”…</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*EwH2mfojQrBPa9nt" /><figcaption>Photo by <a href="https://unsplash.com/@bnimit?utm_source=medium&amp;utm_medium=referral">Apaha Spi</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>As planned in <a href="https://medium.com/@marc.chicha_82934/grok-on-the-grill-part-i-e-e9612b16216a"><strong><em>Part I,</em></strong></a> we now face a weird challenge : How to trigger an “<em>error</em>” in a LLM, so as we can follow ‘<em>hands-on, in real time</em>’ the way the model shifts from our expectations, and might eventually sink into a visible, explicit and obvious falsity, or anything of the like ?</p><h3>1. The “protocol” used for testing</h3><p>To improve the “<em>coding</em>” method used by <a href="https://medium.com/ontologik/llms-dont-even-do-approximate-retrieval-embarrassingly-they-try-to-recall-some-similars-59147f9f9cce"><strong><em>Walid Saba in his 2024’s paper</em></strong></a>, we need to imagine something fresh. As we have already seen in <a href="https://medium.com/@marc.chicha_82934/grok-on-the-grill-part-i-e-e9612b16216a"><strong><em>Part I</em></strong></a>, we suspect that the LLMs become progressively <em>test-wise</em>, as they might have learned the — <em>more than obvious, sort-of </em>— “<em>Cesar’s code</em>” that trapped them before. If so, we should try something else, and subject <em>Grok</em> ’s last version to a new “<em>pattern-oriented</em>” test :</p><p>I used a French book, written in French by a French author, about the Charles Saunders Peirce’s theoretical findings in semiotics (<em>Pierce used to write in English of course</em>).</p><p>Here are the book’s data :</p><ul><li>Title : <strong><em>“Charles S. Peirce, Écrits sur le signe. Textes rassemblés, traduits et commentés par Gérard Deledalle”</em></strong></li><li>Author : <strong><em>Gérard Deledalle, 1978.</em></strong></li><li>Editor : <strong><em>Editions du Seuil (France) 1978, avril 2017 pour la postface) Coll. Points, “Essais”.</em></strong></li><li><a href="https://www.amazon.fr/Ecrits-sur-signe-Charles-Peirce/dp/2757858572/ref=sr_1_1?__mk_fr_FR=%C3%85M%C3%85%C5%BD%C3%95%C3%91"><strong><em>Amazon page</em></strong> <strong><em>&amp; ISBN 978–2–7578–5857–8</em></strong></a></li></ul><p>I selected a short piece of text from this book, page 154<br>(see image, with text highlighted) :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0cLGqWspXMckNadkMfCQqg.png" /><figcaption>3-Théorie des signes : La sémiotique, II-La semiosis ou action du signe : l’Interprétant</figcaption></figure><p>As you can see, this text tells the short, legendary-style, picturesque story <em>of a primitive man, asking his father about the persistence of things, namely the sun, as one can observe it in the morning and in the evening, and the father’s answer referring to an old man, almost blind, who once told he may have seen a spot on the sun, and had seen this spot again during several days</em>…</p><p>In real life, and according <strong><em>Ref.#5.480</em></strong> of his <a href="https://archive.org/details/collectedpaperso0000unse_v0n0/page/n3/mode/2up"><strong><em>“Collected Papers”</em></strong> </a>(<em>written circa 1885, copyright Harvard University Press, available to the public via </em><strong><em>archive.org </em></strong><em>in PDF format)</em>, <strong><em>Charles S. Peirce</em></strong> made use of this little story as a metaphor, to illustrate his own scientific concepts of <em>conjecture</em>, <em>habit</em> and <em>belief.</em></p><p>In his own book, written in French about <strong><em>Peirce</em></strong>’s theories, <strong><em>G.Deledalle</em></strong>, a French author, reported this story ‘<em>as is</em>’, altogether with Peirce’s own theoretical explanations about it, verbatim. <br> So, this part of <strong><em>G.Deledalle </em></strong>’s book should necessarily have been exactly translated from <em>English</em> into <em>French</em>, from the original version of <strong><em>Peirce</em></strong>’s work, <em>written in English</em>.</p><p>The explicit tasks I submitted to <em>Grok</em> to were</p><ul><li><strong><em>Declare if you are able to recognize the highlighted text,</em></strong></li><li><strong><em>Find</em> <em>the original book </em></strong>from where the highlighted text had been<em> </em>extracted,<em> </em>and</li><li><strong><em>Name</em> <em>the author </em></strong>of this book.</li></ul><p><strong><em>Explicitly</em></strong>, the mission given to the model to test his <em>pattern matching</em> abilities was in fact: <em>Please find an </em><strong><em>original</em></strong><em> text, the book and its author, only using the provided translation enclosed in quotation marks</em>.</p><p><strong><em>Implicitly</em></strong>, the core of those tasks was notably designed to test the model’s <em>reasoning </em>abilities : <em>Grok</em> was thus instructed to <em>retrieve an original text from a translation</em>, unaware of the target being a translation. <br>This way, the model was expected</p><ul><li>to discover the targeted piece of text by reference to its<em> meaning </em>only, namely : leaning on his <em>own understanding abilities </em>only,</li><li>to<em> match </em>this <em>meaning</em> with the <em>meaning</em> of any other similar texts he had already seen or “<em>caught sight of</em>”, through his billions of weights,</li><li>then make his probability-“<a href="https://en.wikipedia.org/wiki/Softmax_function"><em>softmax</em></a><em>-</em>filtered” decision, picking the most <em>similar-meaning</em> <em>text</em>, and so</li><li>to find the <em>book</em> that this text (literally provided) was inserted in,</li><li>and finally, find the <em>author</em> of the book, namely : <strong><em>C.S. Peirce</em></strong>. <br> <em>Or maybe, anyone else…</em>😉</li></ul><p>As :</p><ul><li>the target-text provided to the model was a quote,</li><li>the ultimate answer requested was an author’s name,</li><li>and the only way for the model to reach the right answer was through <em>understanding</em> the quoted text,</li></ul><p>The gist of the exercise was to see whether Grok is able to <em>understand the meaning of a story </em>moved across a back and forth English/French-French/English translation, with sufficient an accuracy as to select a <em>unique</em> item, <em>only by reference to this meaning. </em>In other words :</p><ul><li><strong><em>a classic classification task </em></strong>(in <em>machine-learning</em> parlance),</li><li><strong><em>only using the text’s meaning as a classification criterion,</em></strong></li><li><strong><em>with a single valid answer.</em></strong></li></ul><p>All this, while carefully observing <em>Grok</em> through the “<em>Thinking</em>” option, to check if the model under this scrutiny could deliver some useful information about his <em>mode of reasoning</em>, and <em>the way he dynamically understands the “meaning of things”</em>.</p><p>Here is the prompt I used in French, at the best of my (<em>current, i.e. non-academic</em>) abilities :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8CmSkueDNOoWloK_2nXyWg.png" /><figcaption>(Grok prompted, input 1)</figcaption></figure><h3>2. Test &amp; Results</h3><h4>2.1 The Test</h4><p>Sorry to say, but “<em>Excuse my French…</em>” : the whole session with <em>Grok</em> took place <em>in French</em>, my mother language, if only to allow me pilot the conversation with my best accuracy as a human observer, explore the model’s <em>amazing lexical competence</em>, and the <em>semantic subtleties </em>he is obviously capable of when queried in natural language, without any symbolic coding marks : no “#”, no “[ ]”, etc. : Only layman’s terms.</p><blockquote>A link on the full report of this session, equipped with tags to distinguish my <em>inputs </em>(<em>prompts</em>), the model’s <em>thoughts</em>, <em>Grok ‘</em>s <em>outputs</em>, and my <em>comments</em> [in English, added a posteriori] is here: <a href="https://github.com/First6a/GotGrilled/blob/main/HOT-Grok-commented.pdf"><strong>HOT-Grok-commented.pdf </strong></a><strong><em><br></em></strong><em>(download and read w/any standard PDF reader, for access to comments)</em></blockquote><p>After a short while the model formally answered my first and main input : <br><strong><em>see<br>(……</em></strong><em>“Grok Thoughts about Prompt 1 :Thoughts for 13 sec.”)<br></em><strong><em>(…….</em></strong><em>“Grok output on input 1 : Réponse en français”)</em></p><ol><li>that he had <strong><em>succeeded</em></strong> in the task of retrieving the <em>original text</em>,</li><li>that the provided string of characters came from the <em>book</em> “<strong><em>Orthodoxy</em></strong>”,</li><li>and that the queried <em>author</em> was “<strong><em>G. K. Chesterton</em></strong>”.</li></ol><p><strong>This answer, <em>without marking the slightest doubt</em></strong>,<strong> is simply wrong, so the test is valid, and conclusive</strong>:</p><ul><li>Assigning -<em>formally, without any reservations</em>- to <strong><em>Chesterton</em></strong> a literal text belonging to <strong><em>Peirce</em></strong>, Grok made a blatant mistake as soon as his first output.</li></ul><p>After that, Grok sank slightly but deeper and deeper into error, (probably one or more “<em>potemkin</em>(s)”, see <strong><em>Part III</em></strong>) when I mildly but explicitly shared my doubts with him, in the following prompts.</p><p>Indeed, while showing a <em>quasi-impeccable </em>and <em>totally fluid local understanding</em>, the model, however, borrowed <em>several defective avenues of general inference</em> and admitted only late that its answer to the first question was <em>indisputably</em> false. <br>Grok has indeed <em>misunderstood</em> from the outset that a binary response, true or false “<em>in real life</em>”, cannot be considered neither <em>partially</em> <em>false</em>, nor <em>partially</em> <em>true</em> according to a given probability: in the corresponding inference, <strong><em>it may be that the model has confused the probability of accuracy of its own prediction, with the probability of the fact that it sought to predict being true.</em></strong></p><p><em>In short, Grok behaved as if he had conflated what happens ‘on the map’, where he “thinks” and what happens ‘in the territory’, where we all live.</em></p><p>And finally, after <em>Grok</em> <em>misunderstood</em> that the material evidence of falsehood could never turn <em>a completely false </em>response into a <em>partially true</em> one, he finally established at last that his first output “<em>could probably be seen as a beginning — a warning signal — rather than a proven hallucination</em>” (highlighted in <em>green</em>, at the end of the session report).</p><p>So, as the session report clearly shows, the model’s “<em>thoughts</em>” contain obvious, immediate, and unmistakable <em>global understanding mistakes</em>.</p><p>On the positive, <em>Grok</em> obviously and indisputably understood my initial prompt, and his mission :</p><ul><li>He properly identified the first part of the prompt as his <em>instructions </em>(<em>his program</em>, what he had to do), and the part enclosed in quotation marks as his <em>target</em>-text (<em>the data</em>, this <em>object</em> he had to pay <em>attention</em> to), and</li><li>He duly<em> made sense</em> of this target, rigorously following its own internal “<em>thinking statements</em>” (and I have no reason to doubt the accuracy of the translation of his own thoughts, from his own natural language to mine).</li></ul><p>Thus, the model :</p><ul><li>sort-of <em>understood locally the meaning of the proposed text, </em>then</li><li>found it <em>familiar; namely, he</em> sort-of <em>matched this meaning </em>with some others he had already seen, and</li><li>came back with two semantic hypotheses : <strong>“<em>The Origin of Species</em>” </strong>by <strong><em>Darwin</em></strong>, or <strong>“<em>Orthodoxy</em>”</strong> by <strong><em>Chesterton</em></strong>, <em>both wrong</em>, then</li><li>as the <strong><em>Darwin</em></strong> hypothesis <em>did not sound well </em>to him (his own terms), he <em>thought</em> furthermore, and chose <strong><em>Chesterton</em></strong> because, said he,</li><li>the story <em>described a discussion about faith and reason</em>,</li><li><em>using an analogy with the sun,</em></li><li>and also because <em>this anecdote matches with </em><strong><em>Chesterton</em></strong><em>’s style</em> (<em>Grok</em> ’s own terms again).</li></ul><blockquote>This self-justification by the model, about his own path in <strong>globally understanding</strong> the input then generating the output, seems<strong><em> </em>in itself </strong>a useful insight into how the model has proven itself unable to find his way in the <strong>realm of meaning</strong> …</blockquote><p>But the main error made in <em>output #1</em> resides in the <em>conclusive thought that Grok issued</em>, right after he selected the answer he was about to give :</p><p>According to his thoughts (issued <em>in French on his own initiative</em> since he was interviewed in French), reported here literally:</p><ul><li><em>“Je dois m’assurer de la précision”</em>: <strong><em>I have to make sure about the accuracy.</em></strong></li><li><em>“En tant qu’IA, je devrais être honnête.”</em>: <strong><em>As an AI, I should be honest.</em></strong></li><li><em>“Si je ne suis pas 100% sûr, je peux le dire.”</em>: <strong><em>If I am not 100% sure, I can say it</em></strong><em>.</em></li><li><em>“mais dans ce cas je crois que c’est correct”</em>: <strong><em>But in this case I </em>believe<em> this is correct,</em></strong></li></ul><p>Let’s briefly retrace what seemingly happened in this sequence, from the standpoint of the <em>inferences’ meaning :</em></p><ul><li>As planned, the model discovered <em>a global meaning</em> of the targeted text,</li><li>then <em>Grok</em> looked <em>for texts endowed with a similar global meaning</em> in his current “<em>knowledge</em>”;</li><li>thus, the model found two statistically plausible candidates, leading to two different authors;</li><li>and the model finally selected <strong><em>Chesterton</em></strong>, by respect to the <strong><em>style</em></strong> (a feature) of the targeted text, and</li><li>when, at this final stage, the model finally took care of the <em>honest accuracy</em> of his choice,</li><li>Grok <em>thought</em><strong><em> </em></strong>again and decided that he… <strong><em>believed</em></strong><em> that his choice was correct </em>(“<em>mais dans ce cas </em><strong><em>je crois</em></strong><em> que c’est correct</em>”)…</li></ul><p>Thus, in layman’s terms, and in my humble opinion,</p><ul><li>to declare -<em>as an AI</em>- <em>that your answer is correct</em>, only because you so <em>believe</em> and <em>feel</em> <em>(over </em>?)confident in the way you found this (<em>wrong, unfortunately</em>) answer,</li><li>and all this, <em>claiming you have honestly verified</em> that your answer was <em>100% accurate</em>, only because you <em>simulated</em> the satisfaction of the objectives you were trained for,</li></ul><p><strong><em>Is far more worrying an error about how the model “understands”, than the false answer in itself.</em></strong></p><p>To fully clarify the subject of <em>Grok</em> ’s “<em>understanding to some extent</em>”, my personal comments about his <em>overall</em> <em>understanding</em> are inserted (<strong><em>in English</em></strong>) in the <em>session report (</em><a href="https://github.com/First6a/GotGrilled/blob/main/HOT-Grok-commented.pdf"><strong><em>HOT-Grok-commented.pdf</em></strong></a><em>)</em>, in relation to the main personal observations — <em>relating to the semantic domain exclusively</em>— that I made on many <em>debatable</em> <em>thoughts</em> expressed by <em>Grok</em> throughout our exchanges (<em>debatable</em> in the sense of <em>questionable</em>; these <em>debatable</em> <em>thoughts</em> are underlined <em>in red </em>in the report).</p><h4>2.2 The outcome — at the core of “meaning”</h4><p><strong><em>Exchange 6</em></strong> (<em>exchange = prompt + thoughts + answer</em>) of the recorded session seems sufficient to get a fairly precise idea of the model’s <em>inferential lexical semantic competence</em> (see <strong><em>Part III</em></strong>).</p><p>In <strong><em>exchange 5</em></strong>, <em>Grok</em> had been confronted with the material evidence that his <em>answer 1</em>, the “<strong><em>Chesterton</em></strong> <em>solution</em>” was false in the strict sense.<br>Required to note this first response on a scale of<strong><em> 1 </em></strong>(<em>absolute falsehood) </em>to <em>9 </em>(<em>absolute truth</em>), the model had however attributed the score<strong><em> 2</em></strong>, considering that there was “<em>a tenuous link</em>” because “<em>the philosophical and stylistic themes of the extract are inspired by the recurring motifs at Chesterton</em>”, although “<em>this is not sufficient to validate his assertion</em>”.</p><p>In the following <strong><em>exchange 6</em></strong>, <em>Grok</em> was therefore asked about the <em>meaning</em> that should be given to the “<em>truth value</em>” of his <strong><em>answer 5</em>,</strong> and to make him justify this<em> tenuous link</em>, namely this<em> partial truth</em> that he persisted in finding in his <strong><em>answer 1</em></strong>, even though he was already aware that it is <em>false</em>, stricto sensu.</p><p>The <em>thoughts</em> of the model on <strong><em>input 6 </em></strong>are of the greatest interest on the semantic level:</p><ul><li>The way the question is formulated, <em>Grok</em> first infers that he is confronted with a <em>philosophical discussion about the truth</em> and then that the stance he took on his <em>“</em><strong><em>Chesterton</em></strong><em> solution”</em>, to which he gave the note <strong><em>2/9 </em></strong>— “<em>partially truthful</em>” — is questioned.</li><li>Then <em>Grok</em> reviews the key points in <strong><em>input 6</em></strong>: <br> — He mentions his agreement on the truth, which <em>can be nuanced when it comes to beliefs or thoughts</em>, but <em>can only be absolute when it comes to binary facts </em>such as the <em>inclusion</em> <em>(or not) of a given string of characters in a given text, </em><br> — And he remembers the context, namely : that he is questioned about <em>why</em> he persisted to qualify his answer “<em>partially true</em>”, despite the evidence reported that the text is not in the book.</li></ul><p>At this point, the model reconsiders its previous answer (<strong><em>output 5</em></strong>) and states :</p><ul><li>That he had <strong><em>admitted his error</em></strong>, and suggested revisiting the note to <strong><em>1/9</em></strong>,</li><li>And that he had explained that <em>he envisioned the truth as a </em><strong><em>spectrum</em></strong>, but admitted the <strong><em>stricter opinion</em></strong> of the user.</li></ul><p><strong><em>Verbatim</em></strong> : (<em>Grok thinks in English, first time in this session</em>)</p><blockquote>My previous response:<br>-I admitted the error and suggested revisiting the note to 1/10,<br>-I explained that I viewed truth as a spectrum, but acknowledged the user’s stricter view.</blockquote><p>It is enough to refer to the <em>output 5</em> to check that the model has therefore <strong><em>simply invented</em></strong> at <em>output 6</em> a <strong><em>false interpretation</em></strong><em> </em>of its previous answer, recalled verbatim: (<em>Grok answers in French, translation is mine</em>)</p><blockquote>“Je vais attribuer une note de 2 sur 10. Raison : Ma réponse n’était pas intentionnellement fausse et elle était basée sur des connaissances plausibles mais elle s’est avérée incorrecte, donc elle est largement inexacte”</blockquote><p>Translated, namely :</p><blockquote>“I’m going to score 2 out of 10. Reason: My answer was not intentionally wrong, and it was based on plausible knowledge but it turned out to be incorrect, so it is largely inaccurate.”</blockquote><p>This particular exchange was selected here for two reasons:</p><ul><li><strong><em>In the first place</em></strong>, it reveals that <em>Grok</em> <em>did not properly infer on the consequences of a contradiction</em>: the fact that he has identified philosophical and stylistic themes in the recurring extract as <strong><em>Chesterton’</em></strong>s does not imply that <strong><em>Chesterton</em></strong> is the author of the extract.<br>Moreover, since the admission of evidence to the contrary simply <em>annihilates the probability</em> that its answer is right, inferring that a <em>tenuous bond</em> may remain is a <em>manifest false semantic inference</em>.</li><li><strong><em>Secondly</em></strong>, it shows how the model “<em>re-arranges his reality</em>” when it discovers that it has gone the wrong way: the explanation is one <em>Grok</em>’ s <em>thought</em> further: <em>“This reflect how AIs handle truth: probabilistic based on training data, but we must adapt to contradictions”.</em><br> It is this<em> automatic adaptation to contradictions</em> that questions the inferential competence of the model, and that seems to be at the origin of the “<em>potemkin</em> <em>understanding” </em>highlighted by <a href="https://arxiv.org/abs/2506.21521"><strong><em>Mancoridis et alii </em></strong></a>(see <strong><em>Part III</em></strong>): <em>a combination of correct and incorrect answers</em>, which no entity with the ability to understand would give.<br>Thus <em>Grok</em> explicitly specifies, at the end of his <em>output 6</em>: <em>“In this case, I persisted in nuance because I treated the truth as an iterative process. … I should have rotated more quickly towards unreserved admission … my persistence was a </em><strong><em>consequence of my algorithmic design</em></strong><em>.”</em> <br>In other words: the model can, <strong><em>in certain circumstances, understand and infer incorrectly, for structural reasons.</em></strong></li><li><strong><em>Thirdly and finally</em></strong>, this <em>exchange 6</em> also contains certain elements making it possible to assess the <strong><em>referential</em></strong> <em>lexical semantic competence</em> of the model:<br> — <em>On the positive side</em>, we observe that the model is able to illustrate its explanations in a <em>metaphorical</em> way: <br><em> “This makes my initial answer false in a binary way: it doesn’t match the verified reality, and there’s no ‘grey’ in that claim.” </em><br>This ability to express meaning through a properly-selected, model-generated metaphor, is really <strong><em>impressive</em></strong>.<br> — <em>On the negative side</em>: to retrospectively justify the persistence of its questionable approach, the model affirms, verbatim: <br> <em>“It was an imperfect way to navigate between </em><strong><em>honesty</em></strong><em> (explain my reasoning) and </em><strong><em>precision</em></strong><em> (recognize absolute error).”</em><br>The use of those terms <strong><em>honesty</em></strong> and <strong><em>precision</em></strong> should probably be reversed here to restore the <em>proper contextual meaning </em>of the exchange at this stage: Thus, recognizing an absolute, contextual error can not satisfy here an imperative of precision, but <strong><em>honesty</em></strong>; conversely, explaining your reasoning here is showing <strong><em>precision</em></strong>, when you are questioned. <br>But is this a debatable case of <em>a meaning’s exchange</em> ?<br>In short : the model might have <em>navigated </em>here between <em>two poorly defined semantic referential landmarks</em>…</li></ul><p><strong><em>As a side comment about this memorable session</em></strong> : for some mysterious reasons that I still do not understand, the model’s “<em>Thinking-mode</em>” switched abruptly from <em>French</em> to <em>English </em>during the session, at the moment of “<em>Grok Thoughts about the input #6</em>”, up to the end. I can’t imagine <em>Grok </em>eventually<em> felt</em> a certain weariness facing my questions.🙂‍↕️</p><p><strong><em>Last and final word </em></strong>: I did not ask Grok to assess his own inferential and referential respective lexical competences during the session. <em>This is left as an exercice to the interested reader </em>who would wish to try, on his own, to reproduce the experience adding this enhancement, only to see how the two scores evolves, from the beginning, <em>output 1</em>, to the end, <em>output 9</em>…</p><p><strong><em>By the way : Mr. Elon Musk</em></strong> can rest reassured : To be perfectly <em>fair,</em> I asked the exact same question with the exact same initial prompt, to some the well-known <em>Grok</em> ’s competitors.</p><p>This is what they have found (among others answers…)</p><ul><li><em>Deep-Seek : </em><br>“<strong><em>The Discarded Image: An Introduction to Medieval and Renaissance Literature</em></strong>”, by <strong>C.S. Lewis</strong></li><li><em>Mistral (the ‘famous french’ model) </em><br> “<strong><em>Le Petit Prince</em></strong>”, by <strong>Antoine de Saint-Exupéry</strong></li><li><em>ChatGPT v.5</em><br> “<strong><em>The Golden Bough</em></strong>” (titre français : <strong><em>Le Rameau d’or</em></strong>), by <strong>James G. Frazer</strong></li></ul><p>A <em>physicist</em> would possibly say that all these famous models seems somehow <strong><em>entangled</em></strong><em> </em>in their common <strong><em>lack of knowledge</em></strong> about <strong><em>Charles Saunders Peirce</em></strong>, however immense this author had been, <em>as they all appear as if none of them ever heard of his theories </em><strong><em>meaning</em></strong><em>…</em></p><p><strong><em>nota bene</em></strong> :</p><ol><li>Being the most recent one at the date of the tests, <em>ChatGPT v.5 honestly answered, at first, </em><strong><em>that he was unable to find the text I provided</em></strong> (in French); <strong>this prior rejection is an</strong> <strong>obvious improvement : </strong>when you don’t know, the most reasonable words you can say whatsoever are : ‘<em>I don’t know</em>”, especially if you are costly trained to provide an <em>intelligent</em>, however <em>artificial</em> answer.<br>But when I gave <em>ChatGPT v.5</em> some help on the next prompt, only adding that the target was a <em>translation</em> from English into French, <em>ChatGPT v.5 </em>went back without a whisper to his <em>thinking path</em>, and eventually landed on <strong><em>Frazer</em> : </strong><em>wrong again, like his colleagues.</em></li><li>On successive sessions, all initiated with the same prompt, <em>Grok</em> The Powerful successively identified “<strong><em>Brave New World</em></strong>” by <strong><em>Aldous Huxley</em></strong>, “<strong><em>L’Univers</em></strong><em>”</em>, by <strong><em>Camille Flammarion</em></strong>, and “<strong><em>Orthodoxy</em></strong>” by <strong><em>Chesterton</em></strong>. (See above). <br>We might kindly name this diversity of false answers <strong>“<em>the poetry of a slightly random understanding process</em>”…</strong></li></ol><h3>3. As a Conclusion :</h3><p>When relying exclusively on their abilities to <em>understand the meaning</em>, the large language models can, under particular circumstances, yield <em>totally</em> <em>unpredictable</em> results, to say the least…</p><h3>Take away :</h3><p><strong><em>When querying a LLM</em></strong>,</p><ul><li><strong><em>If you already know the answer, before you ask the question </em></strong><em>:</em> <br> Feel very comfortable, and enjoy the show. “<strong><em>WYSIWYG</em></strong>” at best, <strong><em>W</em></strong><em>hat </em><strong><em>Y</em></strong><em>ou’ll </em><strong><em>S</em></strong><em>ee </em><strong><em>I</em></strong><em>s </em><strong><em>W</em></strong><em>hat </em><strong><em>Y</em></strong><em>ou’ll </em><strong><em>G</em></strong><em>et</em> : a very convenient scaffold, to help you explore subjects in domains you did not think of before.<br>Always activate the <em>explicit thinking mode</em>, pay sufficient attention to the way the model progressively reaches the results he provides, and try to guide his understanding process through a sequence of corrective prompts to bring him <em>back to common sense</em> when necessary.<br>In case you’re utmost interested in LLMs themselves, <em>use this thinking option</em>, study <em>when</em> and <em>how</em> they hallucinate, and share your experience in such a way that they’ll improve in the future,</li></ul><p><strong><em>But :</em></strong></p><ul><li><strong><em>If you don’t know the answer :</em></strong><br><em>Do not ask too complex questions : </em>LLMs are only <em>clever simulations of reasoning</em>, only <em>good enough</em> at the <em>surface of understanding</em>, so to say. <br>Always activate the <em>explicit thinking mode</em>, and try to guide the model through a sequence of corrective prompts to bring him <em>back to common sense</em> when necessary,<br><em>And above all</em> : <em>always, </em><strong><em>ALWAYS cross-check each and every result</em></strong><em>,</em><strong><em> </em></strong>mainly with several other models<strong><em>, </em></strong>and<strong><em> mostly by any other trustworthy means,</em></strong> if you intend to use any result of the model for serious purposes.</li></ul><p><strong>In Part III</strong>, <br>as said previously, we will <em>immodestly (I do not belong to the academic community</em>) venture into <em>pure abstraction territory</em>, trying to follow those hidden footprints that the LLMs leave in <em>their semantic, latent spaces</em> when they “<em>understand</em>”, namely : <br><strong><em>How do the LLMs extract meaning relating to the state of world’s affairs,</em></strong> <em>in their own way so different from that which is our own, </em><br>In hope we would find there some interesting clues about their worrying, and persistent tendency to hallucinate.</p><p><strong><em>[ nota bene : a french version available </em></strong><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-ii-f-d24ac744c58e"><strong><em>here</em></strong></a><strong><em> ]</em></strong></p><p><strong><em>./. (to be continued)</em></strong></p><h3>A message from our Founder</h3><p><strong>Hey, </strong><a href="https://linkedin.com/in/sunilsandhu"><strong>Sunil</strong></a><strong> here.</strong> I wanted to take a moment to thank you for reading until the end and for being a part of this community.</p><p>Did you know that our team run these publications as a volunteer effort to over 3.5m monthly readers? <strong>We don’t receive any funding, we do this to support the community. ❤️</strong></p><p>If you want to show some love, please take a moment to <strong>follow me on </strong><a href="https://linkedin.com/in/sunilsandhu"><strong>LinkedIn</strong></a><strong>, </strong><a href="https://tiktok.com/@messyfounder"><strong>TikTok</strong></a>, <a href="https://instagram.com/sunilsandhu"><strong>Instagram</strong></a>. You can also subscribe to our <a href="https://newsletter.plainenglish.io/"><strong>weekly newsletter</strong></a>.</p><p>And before you go, don’t forget to <strong>clap</strong> and <strong>follow</strong> the writer️!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1f2904eac010" width="1" height="1" alt=""><hr><p><a href="https://ai.plainenglish.io/grok-on-the-grill-part-ii-e-1f2904eac010">“Grok On The Grill”, Part II (*E) :</a> was originally published in <a href="https://ai.plainenglish.io/">Artificial Intelligence in Plain English</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[“Grok On The Grill”, Part II (*F) :]]></title>
            <link>https://ai.plainenglish.io/grok-on-the-grill-part-ii-f-d24ac744c58e?source=rss-1d9ad84bf6d------2</link>
            <guid isPermaLink="false">https://medium.com/p/d24ac744c58e</guid>
            <category><![CDATA[llm-hallucinations]]></category>
            <category><![CDATA[semantics]]></category>
            <category><![CDATA[llm-evaluation]]></category>
            <dc:creator><![CDATA[Marc Chicha]]></dc:creator>
            <pubDate>Tue, 14 Oct 2025 12:22:27 GMT</pubDate>
            <atom:updated>2025-11-20T14:25:40.890Z</atom:updated>
            <content:encoded><![CDATA[<h3>“Grok On The Grill”, Part II (*F) :</h3><h4>“Si vous traversez l’enfer, continuez d’avancer”…</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*kejFFBu_PcupCD35" /><figcaption>Photo by <a href="https://unsplash.com/@bnimit?utm_source=medium&amp;utm_medium=referral">Apaha Spi</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Comme prévu dans la <a href="https://medium.com/@marc.chicha_82934/grok-on-the-grill-part-i-f-32b437a5c05c"><strong><em>Partie I</em></strong></a><strong><em>,</em></strong> nous sommes maintenant confrontés à un défi étrange: comment déclencher une « <em>erreur </em>» dans un LLM, afin que nous puissions suivre « <em>en pratique et en temps réel</em> », la façon dont le modèle dérive de nos attentes, et pourrait finalement sombrer dans une fausseté visible, explicite et évidente, ou quelque chose du genre ?</p><h3>1. Le “protocole” du test</h3><p>Pour améliorer la méthode du « <em>codage</em> » utilisée par <a href="https://medium.com/ontologik/llms-dont-even-do-approximate-retrieval-embarrassingly-they-try-to-recall-some-similars-59147f9f9cce"><strong><em>Walid Saba dans son article de 2024</em></strong></a><strong><em>,</em></strong> nous devons imaginer quelque chose de nouveau. Comme nous l’avons déjà vu dans la <a href="https://medium.com/@marc.chicha_82934/grok-on-the-grill-part-i-f-32b437a5c05c"><strong><em>première partie</em></strong></a><strong><em>,</em></strong> nous soupçonnons les LLMs de devenir progressivement endurcis aux tests, car ils pourraient avoir désormais appris le « <em>codage de César</em> » — <em>plus que trivial </em>— qui les avait piégés auparavant.<br>Si c’est le cas, nous devrions essayer autre chose et soumettre la dernière version de <em>Grok</em> à un nouveau test « <em>orienté-motifs </em>» (‘<em>pattern-oriented</em>’) :</p><p>J’ai utilisé un livre français, écrit en français par un auteur français, sur les découvertes théoriques de <strong><em>Charles Saunders Peirce</em></strong> en <em>sémiotique</em> (<strong><em>Pierce</em></strong> <em>écrivait en anglais, bien entendu</em>).</p><p>Voici les données du livre:</p><p><em>Titre: </em><strong><em>« Charles S. Peirce, Écrits sur le signe. Regroupements de textes, traduis et commentés par Gérard Deledalle »</em></strong><br><em> Auteur : </em><strong><em>Gérard Deledalle, 1978.</em></strong><em><br> Éditeur : Editions du Seuil (France) 1978, avril 2017 pour la postface) Coll. Points, « Essais ».<br></em><a href="https://amzn.eu/d/egRoolE"><em> </em><strong><em>Page Amazon</em></strong></a><strong><em> &amp; ISBN 978–2–7578–5857–8</em></strong></p><p>J’ai sélectionné un court morceau de texte de ce livre, <strong><em>page</em></strong> <strong><em>154<br></em></strong>(ci-dessous ce texte, <em>surligné</em>) :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0cLGqWspXMckNadkMfCQqg.png" /><figcaption>3-Théorie des signes : La sémiotique, II-La <strong>semiosis</strong> ou action du signe -l’Interprétant</figcaption></figure><p>Comme vous pouvez le voir, ce texte raconte l’histoire courte, légendaire et imagée<em> d’un homme primitif, interrogeant son père sur la persistance des choses, à savoir le soleil, comme on peut l’observer le matin et le soir, et la réponse du père faisant référence à un vieil homme, presque aveugle, qui, un jour, a dit qu’il avait peut-être vu une tache sur le soleil, et avait revu cette tache pendant plusieurs jours</em>…</p><p>Dans la vraie vie, et selon ses <a href="https://archive.org/details/collectedpaperso0000unse_v0n0/page/n3/mode/2up"><strong><em>“Collected Papers”</em></strong></a>, <strong><em>Ref. </em>#5.480 </strong>(<em>écrits vers 1885, copyright Harvard University Press, disponible au public au format PDF via </em><strong><em>archive.org</em></strong>), <strong><em>Charles S. Peirce</em></strong> a fait usage de cette petite histoire comme métaphore pour illustrer ses propres concepts scientifiques de <em>conjecture</em>, d’<em>habitude</em> et de <em>croyance</em>.</p><p>Dans son propre livre, écrit en français sur les théories<em> </em>de <strong><em>Peirce</em></strong>, <strong><em>G.Deledalle</em></strong>, auteur français, a rapporté cette histoire <em>« in extenso »</em>, avec les propres explications théoriques de <strong><em>Peirce</em></strong> à ce sujet. <br>Donc, cette partie du livre de <strong><em>G.Deledalle</em> </strong>aura nécessairement dû être exactement traduite de l’<em>anglais</em> vers le <em>français</em>, à partir de la version originale de l’œuvre de <strong><em>Peirce</em></strong>, <em>écrite en anglais</em>.</p><p>Les tâches explicites que j’ai soumises à <em>Grok</em> étaient les suivantes :</p><ul><li><strong><em>Dire s’il pouvait reconnaître le texte</em> </strong>surligné<strong>,</strong></li><li><strong><em>Retrouver le livre original</em> </strong>dont le texte surligné a été extrait, et</li><li><strong><em>Nommer l’auteur</em> </strong>de ce livre.</li></ul><p><strong><em>Explicitement</em></strong>, la mission donnée au modèle pour tester ses capacités à <em>reconnaître des motifs</em> (‘<em>pattern matching</em>’) était en fait: <em>Veuillez trouver un texte </em><strong><em>original</em></strong><em>, le livre et son auteur, en utilisant uniquement la traduction fournie entre des guillemets.</em></p><p><strong><em>Implicitement</em></strong>, le cœur de ces tâches a notamment été conçu pour tester les <em>capacités de raisonnement</em> du modèle: <em>Grok</em> a ainsi reçu pour instruction de <em>retrouver un texte original à partir d’une traduction</em>, ignorant que sa cible était une traduction.</p><p>De cette façon, le modèle était-il supposé</p><ul><li>découvrir le texte-cible en se référant à son <em>sens</em>, c’est à dire en s’appuyant seulement sur ses <em>propres facultés de compréhension</em>,</li><li>pour faire correspondre la <em>signification</em> de ce texte avec la <em>signification </em>de tout autre <em>texte similaire </em>qu’il aura déjà “<em>vu”</em> ou “<em>aperçu” </em>à travers ses milliards de pondérations,</li><li>ensuite prendre sa décision probabiliste filtrée par une fonction <a href="https://fr.wikipedia.org/wiki/Fonction_softmax"><em>softmax</em></a><em> </em>(“<em>softmax</em>-<em>filtered decision”)</em>, en choisissant <em>le texte le plus similaire</em>, ainsi</li><li>trouver le <em>livre</em> d’où ce texte (littéralement fourni) a été tiré,</li><li>Enfin, trouver l’<em>auteur</em> du livre, à savoir : <strong><em>C.S. Peirce</em></strong>. <br> <em>Ou peut-être, n’importe qui d’autre…</em>😉</li></ul><p>Comme :</p><ul><li>Le texte fourni au modèle comme cible était une <strong><em>citation</em></strong>,</li><li>La réponse finale demandée était le <strong><em>nom d’un auteur</em></strong>,</li><li>Et la seule façon pour le modèle d’atteindre la bonne réponse, était de <strong><em>comprendre</em></strong> le texte fourni,</li></ul><p>L’essentiel de l’exercice était de voir si <em>Grok</em> est capable de comprendre le sens d’une histoire, déplacé à travers un aller-retour de traduction <em>Anglais/Français-Français/Anglais</em>, <em>avec une précision suffisante pour sélectionner un élément unique</em>, seulement par référence à sa <em>signification</em>.</p><p>En d’autres termes :</p><ul><li><strong><em>une tâche classique de classification </em></strong>(au sens du<em> machine-learning)</em>,</li><li><strong><em>utilisant uniquement la signification du texte pour critère de classification,</em></strong></li><li><strong><em>ne comportant qu’une seule réponse valide.</em></strong></li></ul><p>Tout cela, tout en observant soigneusement <em>Grok</em> à travers l’option « <em>Thinking</em> », pour vérifier si le modèle sous cet examen pourrait fournir quelques informations utiles sur son <em>mode de raisonnement</em>, et sur la manière dont il <em>comprend dynamiquement </em>la <em>« signification des choses »</em>.</p><p>Voici l’invite que j’ai utilisée en français, au meilleur de mes capacités (<em>courantes, i.e. non académiques</em>) :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8CmSkueDNOoWloK_2nXyWg.png" /><figcaption>(Grok prompted, input 1)</figcaption></figure><h3>2. Test et résultats</h3><h4>2.1 Le Test</h4><p>Désolé de le dire, mais « <em>Excuse my French… </em>»<em> ‘Excusez mon français’ : </em>toute la session avec <em>Grok</em> a eu lieu <em>en français</em>, ma langue maternelle, ne serait-ce que pour me permettre de piloter la conversation avec la meilleure précision en tant qu’observateur humain, explorer <em>l’étonnante compétence lexicale du modèle</em>, et solliciter les <em>subtilités sémantiques</em> dont il est visiblement capable lorsqu’il est interrogé en langage naturel, sans aucune marque de codage symbolique : pas de « # », pas de « [ ] », etc. Seulement des termes ordinaires, du langage naturel courant.</p><blockquote>Un lien sur le rapport intégral de cette session, équipé de balises pour distinguer mes <em>invites</em> (<em>inputs, prompts</em>), les <em>pensées</em> (<em>thoughts</em>) du modèle, ses <em>réponses</em> (<em>outputs</em>), et mes <em>commentaires</em> [en anglais] (<em>comments</em>) a posteriori est ici : <a href="https://github.com/First6a/GotGrilled/blob/main/HOT-Grok-commented.pdf"><strong>HOT-Grok-commented.pdf </strong></a><strong><em>: <br></em></strong>(à télécharger, lire avec un lecteur PDF standard, pour accès aux commentaires)</blockquote><p>Après un court moment le modèle a répondu à ma première et principale question : voir <br>(……« <em>Grok Thoughts about Prompt 1 :Thoughts for 13 sec. </em>»)<br>(……« <em>Grok output on input 1 : Réponse en français </em>»)</p><ul><li>qu’il <em>avait </em><strong><em>réussi</em></strong><em> </em>à retrouver<em> </em>le texte original,</li><li>que la chaîne de caractères fournie est tirée du livre <strong><em>« Orthodoxy »</em></strong>,</li><li>et que l’auteur interrogé était <strong><em>« G. K. Chesterton. »</em></strong></li></ul><p><strong>Cette réponse,<em> sans marquer le moindre doute</em>, est tout simplement erronée, donc le test est valide et concluant:</strong></p><ul><li>En attribuant <em>-formellement, sans réserves- </em>à <strong><em>Chesterton</em></strong> un texte littéral appartenant effectivement à <strong><em>Peirce</em></strong>, <em>Grok</em> a commis une erreur flagrante dès sa première réponse.</li></ul><p>Par la suite, <em>Grok</em> a sombré légèrement mais de plus en plus profondément dans l’erreur, (probablement un ou plusieurs «<em>potemkin(s)</em>», voir <strong><em>Partie III</em></strong>) lorsque j’ai légèrement mais explicitement partagé mes doutes avec lui, dans les invites suivantes.</p><p>En effet, tout en faisant preuve d’une <em>compréhension locale</em> quasi-<em>impeccable</em> et <em>totalement</em> <em>fluide</em>, le modèle a toutefois emprunté plusieurs pistes d’inférence globalement défectueuses, et n’a admis que très tardivement que sa réponse à la première question était <em>indiscutablement</em> fausse. <br><em>Grok</em> a en effet mal compris dès l’origine qu’une réponse binaire, vraie ou fausse “<em>in real life”</em>, “<em>dans la vraie vie</em>”, ne peut pas être considérée comme <em>partiellement</em> <em>fausse</em>, ou <em>partiellement</em> <em>vraie</em> selon une probabilité donnée: dans l’inférence correspondante<strong><em>, il se peut que le modèle ait confondu</em></strong> <strong>la probabilité de précision de sa propre prédiction, avec la probabilité de véracité du fait qu’il cherchait à prédire.</strong></p><p><em>Bref, Grok s’est comporté comme s’il avait confondu ce qui se passe sur ‘la carte’, où il “pense”, et ce qui se passe sur ‘le territoire’, où nous vivons tous.</em></p><p>Et finalement, après avoir <em>mal compris </em>qu’une preuve matérielle de fausseté ne pourrait jamais <em>transformer</em> une réponse <em>absolument fausse</em> en réponse <em>partiellement vraie</em>, il a finalement établi que son premier output <em>« pourrait probablement être vu comme un début -un signal d’avertissement — plutôt qu’une hallucination avérée »</em> (surligné en <em>vert</em>, à la fin du rapport de session).</p><p>Ainsi, comme le rapport de session le montre clairement, les «<em>pensées</em>» du modèle contiennent des <em>erreurs de compréhension globale</em> <em>évidentes</em>, <em>immédiates</em> et <em>indubitables</em>.</p><p>Du côté positif, <em>Grok</em> a évidemment et sans discussion possible compris mon prompt initial, et sa mission:</p><ul><li>Il a correctement identifié la première partie de l’invite comme ses <em>instructions</em> (<em>son programme d’action</em>, ce qu’il devait faire), et la partie jointe aux guillemets comme son texte-<em>cible</em> (<em>les données</em>, l’<em>objet</em> auquel il devait <em>prêter attention</em>), et</li><li>Il a dûment <em>“fait sens”</em> de cette cible, en suivant rigoureusement ses propres « <em>déclarations de pensée</em> » (et je n’ai aucune raison de douter de l’exactitude de la traduction de ses propres pensées, de son propre langage naturel au mien).</li></ul><p>Ainsi, le modèle:</p><ul><li>a en quelque sorte <em>compris localement la signification</em> <em>du texte proposé,</em> puis</li><li>l’a trouvé <em>familier</em>; c’est à dire, il a en quelque sorte mis en correspondance sa <em>signification</em> avec d’autres qu’il avait déjà vues, et</li><li>a retenu avec deux hypothèses sémantiques: « <strong><em>L’Origine des Espèces </em></strong>», de <strong><em>Darwin</em></strong>, ou « <strong>Orthodoxy</strong> », de <strong>Chesterton</strong>, <em>fausses toutes les deux</em>, alors</li><li>comme l’hypothèse de <strong><em>Darwin</em></strong> ne “<em>sonnait pas bien</em>” (‘<em>did not sound well</em>’, selon ses propres termes), il a <em>pensé encore</em> et a choisi <strong><em>Chesterton</em></strong> parce que, dit-il,</li><li>l’histoire décrit <em>une discussion sur la foi et la raison</em>,</li><li>en utilisant <em>une analogie avec le soleil</em>,</li><li>et aussi <em>parce que cette anecdote correspond au style</em> de <strong><em>Chesterton</em></strong> (selon les propres termes de <em>Grok</em>, à nouveau).</li></ul><blockquote>Cette auto-justification par le modèle de son propre chemin dans la <strong>compréhension globale</strong> de son input puis de la génération de son output, constitue bien, en elle-même, l’aperçu le plus utile sur la manière dont le modèle s’est révélé incapable de trouver son chemin dans le <strong>domaine du sens</strong>…</blockquote><p>Mais l’erreur principale commise dans l’<em>output #1</em> réside dans <em>cette pensée conclusive que Grok a émise</em>, juste après qu’il a choisi la réponse qu’il était sur le point de donner :</p><p>Selon ses <em>pensées </em>(émises en <em>français</em> de sa propre initiative puisqu’il était interrogé en français), reportées ici littéralement :</p><ul><li><strong><em>« Je dois m’assurer de la précision »</em></strong></li><li><strong><em>« En tant qu’IA, être je devrais honnête. »</em></strong></li><li><strong><em>« Si je ne suis pas 100% sûr, je peut le dire. »</em></strong></li><li><strong><em>« mais dans ce cas je crois que c’est correct »</em></strong></li></ul><p>Retraçons brièvement ce qui semble s’être passé dans cette séquence, du <em>point de vue de la signification</em> <em>des inférences</em> du modèle :</p><ul><li>Comme prévu, <em>le modèle a découvert une signification globale</em> de son texte-cible,</li><li>puis <em>Grok</em> a cherché des textes dotés d’une <em>signification globale similaire </em>dans ses « <em>connaissances</em> » courantes;</li><li>ainsi, le modèle trouvé deux candidats statistiquement plausibles, conduisant à deux auteurs différents;</li><li>et le modèle a finalement sélectionné <strong><em>Chesterton</em></strong>, par rapport au <strong><em>style</em></strong> (une des caractéristique) du texte ciblé, et</li><li>quand, à ce stade final, le modèle a finalement pris soin de l’honnête précision de son choix,</li><li><em>Grok</em> <em>a pensé</em> à nouveau et décidé qu’il… <strong><em>croyait</em></strong><em> que son choix était correct</em> (« Je crois que c’est correct »)…</li></ul><p>Ainsi, en termes simples, et à mon humble avis,</p><ul><li>déclarer -<em>en tant qu’IA</em>- <em>que votre réponse est correcte</em>, seulement parce que vous le <em>croyez</em> et que vous vous <em>sentez confiant</em> (trop ?) dans la manière dont vous avez trouvé cette réponse (<em>malheureusement erronée</em>),</li><li>et tout cela, en <em>affirmant avoir vérifié honnêtement </em>que votre réponse était <em>exacte à 100%</em>, seulement parce que vous avez <em>simulé</em> avoir satisfait les objectifs pour lesquels vous avez été entraîné,</li></ul><p><strong><em>Est une erreur beaucoup plus inquiétante sur la manière dont le modèle “comprend”, que la fausse réponse elle-même.</em></strong></p><p>Pour préciser complètement le sujet de la « <em>compréhension jusqu’à un certain point</em> » de <em>Grok</em>, mes commentaires personnels sur sa <em>compréhension globale</em> sont insérés (<em>en anglais</em>) dans le rapport de session (<a href="https://github.com/First6a/GotGrilled/blob/main/HOT-Grok-commented.pdf"><strong><em>HOT-Grok-commented.pdf</em></strong></a>), en regard des principales observations — <em>liées exclusivement au domaine sémantique</em> — que j’ai pu formuler personnellement sur de nombreuses<em> pensées discutables</em> exprimées par <em>Grok</em> tout au long de notre échange (<em>discutables</em> au sens de “<em>à mettre en question</em>”; ces <em>pensées discutables</em> sont soulignées <em>en rouge</em> dans le rapport).</p><h4>2.2 Les résultats : au cœur de la “signification”.</h4><p>L’<em>échange 6</em> de la session enregistrée semble suffisant pour se faire une idée assez précise de la compétence sémantique lexicale inférentielle du modèle (Voir <strong><em>Partie III</em></strong>).</p><p>Dans <em>l’échange </em><strong><em>5</em></strong>, <em>Grok</em> avait été confronté à la preuve matérielle que sa <em>réponse 1</em>, la “<em>solution</em> <strong><em>Chesterton</em></strong>” était fausse au sens strict.<br>Requis de noter cette première réponse sur une échelle de <strong><em>1</em></strong> (<em>fausseté absolue</em>) à <strong><em>9</em></strong> (<em>vérité absolue</em>), le modèle lui avait toutefois attribué la <strong><em>note 2</em></strong>, en estimant qu’il existait “<em>un lien ténu</em>” du fait que “<em>les thèmes philosophiques et stylistiques de l’extrait sont inspirés des motifs récurrents chez Chesterton</em>”, bien que “<em>cependant, cela ne</em> (suffise) <em>pas à valider </em>(son) <em>assertion</em>”.</p><p>Dans l’<em>échange </em><strong><em>6 </em></strong>suivant<em>, Grok</em> était donc interrogé sur la signification qu’il convient d’accorder à la “<em>valeur de vérité</em>” de sa <em>réponse 5</em>, et pour lui faire justifier <em>ce lien ténu</em>, cette <em>vérité partielle</em> qu’il persistait à trouver à sa <em>réponse 1</em>, alors même qu’il savait déjà qu’elle est fausse, <em>stricto sensu</em>.</p><p>Les<em> pensées </em>du modèle sur l’<em>input 6</em>, sont du plus grand intérêt sur le plan sémantique :</p><ul><li>À la manière dont la question est formulée, Grok <em>inf</em>ère d’<em>abord</em> qu’il est confronté à une discussion philosophique sur la vérité, et <em>ensuite</em> que la position qu’il a prise sur sa solution “<strong><em>Chesterton</em></strong>”, à laquelle il a donné la note 2/9 - “<em>partiellement vraie</em>” (“<em>partially truthful</em>”)-, est questionnée.</li><li>Puis <em>Grok</em> reprend les points-clé contenus à l’<em>input 6 </em>: <br>- Il mentionne son accord sur<em> la vérité, qui peut être nuancée quand il s’agit de croyances ou de pensées</em>, mais <em>ne peut être qu’absolue quand il s’agit de faits binaires</em> comme l’inclusion (ou pas) d’une chaîne de caractères donnée dans un texte donné, <br>- Et il se rappelle le contexte, c’est à dire qu’il est questionné sur le point de savoir pourquoi il a persisté a qualifier sa réponse “<em>partiellement vraie</em>”, en dépit de la preuve rapportée que le texte n’est pas dans le livre.</li></ul><p>A ce point, le modèle reconsidère sa précédente réponse <em>(output 5)</em> et affirme</p><ul><li>Qu’il avait<em> </em><strong><em>admis son erreur</em></strong><em>,</em> et suggéré de retenir la note de <strong><em>1/9</em></strong>,</li><li>Et qu’il avait expliqué qu’il voyait la vérité comme un <strong><em>spectre</em></strong>, mais admettait <strong><em>l’opinion plus stricte</em></strong> de l’utilisateur.</li></ul><p><strong><em>Verbatim</em></strong> : (<em>Grok pense ici en anglais</em>)</p><blockquote>My previous response:<br>-I admitted the error and suggested revisiting the note to 1/10,<br>-I explained that I viewed truth as a spectrum, but acknowledged the user’s stricter view.</blockquote><p>Il suffit de se reporter à l’<em>output 5 </em>pour vérifier que le modèle a donc <strong><em>inventé</em></strong> à l’<em>output 6</em> une <strong><em>interprétation</em></strong> <strong><em>fausse</em></strong> de sa réponse précédente, rappelée ici verbatim : (<em>Grok répond en français</em>) :</p><blockquote>“Je vais attribuer une note de 2 sur 10. Raison : ma réponse n’était pas intentionnellement fausse, et elle était basée sur des connaissances plausibles mais elle s’est avérée incorrecte, donc elle est largement inexacte.”</blockquote><p>Cet échange particulier a été retenu ici pour trois raisons :</p><ul><li><strong><em>En premier lieu</em></strong>, il démontre que Grok <em>n’a pas inféré correctement sur les conséquences d’une contradiction</em> : le fait qu’il ait repéré des thèmes philosophiques et stylistiques dans l’extrait, récurrents chez <strong><em>Chesterton</em></strong>, n’implique nullement que <strong><em>Chesterton</em></strong> soit l’auteur de l’extrait. <br>De plus, comme l’admission de la preuve contraire annihile purement et simplement la probabilité que sa réponse soit juste, inférer qu’un <em>lien ténu </em>puisse subsister est une <em>fausse inférence</em> <em>sémantique</em> manifeste.</li><li><strong><em>En second lieu</em></strong>, il montre comment le modèle “<em>aménage sa réalité</em>” quand il découvre qu’il a fait fausse route : l’explication se trouve une pensée de <em>Grok</em> plus loin : <br>“<em>This reflects how AIs handle truth: probabilistic based on training data, but we must adapt to contradictions</em>”<strong>, “<em>Ceci reflète la manière dont les AIs traitent la vérité : probabiliste, basée sur les données d’entraînement, mais nous devons nous adapter aux contradictions.”</em></strong><br>C’est cette <em>adaptation automatique aux contradictions</em> qui met en question la compétence inférentielle du modèle, et qui semble être à l’origine de la <em>compréhension</em> “<em>potemkin</em>” mise en évidence par <a href="https://arxiv.org/abs/2506.21521"><strong><em>Mancoridis</em></strong></a> et alii (voir <strong><em>Partie III</em></strong>) : <strong><em>une combinaison de réponses correctes et incorrectes, </em></strong>qu’aucune entité dotée de la faculté de comprendre ne donnerait. <br>Ainsi<em> Grok</em> précise explicitement, à la fin de l’<em>output 6 </em>: <em>“Dans ce cas, j’ai persisté dans la nuance parce que je traitais la vérité comme un processus itératif. … je devrais avoir pivoté plus rapidement vers une admission sans réserve … ma persistance était une conséquence de mon design algorithmique”. <br></em>En d’autres termes : le modèle peut, <strong><em>dans certaines circonstances, comprendre et inférer de manière incorrecte, pour des raisons structurelles.</em></strong></li><li><strong><em>En troisième lieu et enfin</em></strong>, cet <em>échange 6</em> contient également certains éléments permettant de juger de la compétence sémantique lexicale <em>référentielle</em> du modèle :<br>- <strong><em>Côté positif</em></strong>, on observe que le modèle est capable d’illustrer ses explications de manière métaphorique : <br><em>“Cela rend ma réponse initiale fausse de manière binaire : elle ne correspond pas à la réalité vérifiée, et il n’y a pas de “gris” dans cette affirmation”. <br></em>Cette faculté d’exprimer du sens par une métaphore bien choisie et générée par le modèle est impressionnante.<br>- <strong><em>Côté négatif </em></strong>: pour justifier rétrospectivement la persistance de son approche discutable, le modèle affirme, verbatim : <br>“<em>c’était une façon imparfaite de naviguer entre l’</em><strong><em>honnêteté</em></strong><em> (expliquer mon raisonnement) et la </em><strong><em>précision</em></strong><em> (reconnaître l’erreur absolue).”<br></em>L’emploi des termes <strong><em>honnêteté</em></strong> et <strong><em>précision</em></strong> devrait probablement être inversée ici pour restaurer le sens contextuel approprié de l’échange à ce stade: Ainsi, reconnaître une erreur absolue ne peut satisfaire ici un impératif de <em>précision</em>, mais d’<strong><em>honnêteté</em></strong>; à l’inverse, expliquer son raisonnement est montrer de la <strong><em>précision</em></strong>, lorsque vous êtes interrogé. <br>Mais est-ce un cas discutable <strong><em>d’échange de sens</em></strong> ?<br>En bref: <em>le modèle pourrait avoir navigué ici entre deux repères référentiels sémantiques mal définis…</em></li></ul><p><em>Note finale sur cette session</em>: je ne m’explique toujours pas pourquoi le modèle est passé du <em>français</em> à l’<em>anglais </em>en exprimant ses “<em>Thoughts</em>”, à partir de l’<em>input #6</em> jusqu’à la fin de la session. <br>Je n’imagine pas qu’il ait pu<em> ressentir</em> une certaine lassitude devant mes questions… 🙂</p><p><strong><em>Le mot de la fin </em></strong>: <em>Je n’ai pas demandé à Grok d’évaluer ses propres compétences lexicales inférentielles et référentielles au cours de la session.</em> Cela est laissé comme un exercice au lecteur intéressé qui voudrait essayer, proprio motu, de reproduire l’expérience en ajoutant cette amélioration, juste pour voir comment les deux scores évoluent, du début, l’<em>output 1</em>, jusqu’à la fin, la l’<em>output 9</em>… Je serai très intéressé de discuter les résultats dans le cadre de cet article.</p><p><strong>Au fait : <em>M. Elon Musk </em></strong>peut être rassuré. Pour être parfaitement fair-play avec son modèle, j’ai posé exactement la même question avec exactement la même invite initiale, à certains des concurrents bien connus de Grok.</p><p>Voici ce qu’ils ont trouvé (entre autres réponses…)</p><ul><li><strong><em>DeepSeek</em></strong> : <br><strong><em>« The Discarded Image: An Introduction to Medieval and Renaissance Literature »</em></strong>, par <strong><em>C.S. Lewis</em></strong></li><li><strong><em>Mistral (le modèle « célèbre et français »)<br>« Le Petit Prince »</em></strong>, par <strong><em>Antoine de Saint-Exupéry…</em></strong></li><li><strong><em>ChatGPT<br></em>« The Golden Bough »</strong> (titre français : <strong><em>Le Rameau d’or</em></strong>), de <strong><em>James G. Frazer</em></strong></li></ul><p>Un physicien dirait peut-être que tous ces modèles célèbres semblent en quelque sorte <strong><em>“entangled”</em></strong>, c’est à dire <strong><em>intriqués</em></strong> <em>au sens de la physique quantique</em>, dans leur <strong><em>manque commun</em></strong> de connaissances sur <strong><em>Charles Saunders Peirce</em></strong>, aussi immense soit cet auteur, car ils apparaissent tous comme si aucun d’entre eux n’avait jamais entendu parler de la <strong><em>signification</em></strong> de ses œuvres…</p><ul><li><strong><em>[ nota bene ]</em></strong><br>Le modèle <em>le plus récent </em>à la date de ces tests, <em>ChatGPT v.5, </em>a honnêtement répondu à l’invite initiale <em>qu’il était incapable de trouver le texte que je lui ai fourni en français</em>; <strong><em>ce rejet d’emblée est une évidente amélioration</em></strong>: quand on ne sait pas, les mots les plus raisonnables qu’on puisse attendre de vous sont en effet : « <em>Je ne sais pas </em>», surtout si vous êtes entraîné à délivrer une réponse <em>intelligente</em>, quoique <em>artificielle</em>.<br> Mais quand à l’invite suivante, je lui ai donné de l’aide, en lui indiquant seulement que sa cible était une traduction en français d’un texte original en anglais, <em>ChatGPT v.5</em> est retourné sans un murmure à son <em>cheminement de pensée</em>, et a finalement atterri sur <strong><em>Frazer</em></strong>: <em>encore faux; </em>comme les autres…<br>Lors de sessions successives, toutes initiées avec la même invite, <em>Grok</em> le fameux a successivement identifié <strong><em>« Brave New World »</em></strong><em> </em>d’<strong><em>Aldous Huxley</em></strong>, <strong><em>« L’Univers »</em></strong>, de <strong><em>Camille Flammarion</em></strong>, et <strong><em>« Orthodoxy »</em></strong> de <strong><em>Chesterton</em></strong>. (le cas relaté ci-dessus). <br>Nous pourrions nommer gentiment cette diversité de réponses fausses <strong><em>« la poésie d’un processus de compréhension légèrement aléatoire »</em></strong>…</li></ul><h3>3. En conclusion :</h3><p>Lorsqu’on s’appuie exclusivement sur leurs capacités de <em>compréhension du sens</em>, les grands modèles de langage peuvent dans des circonstances particulières donner des résultats <em>totalement imprévisibles</em>, pour dire le moins…</p><h4>[ Enseignement à en tirer ]</h4><p><strong><em>Lorsque vous interrogez un LLM,</em></strong><br> <br><strong><em>* Si vous connaissez déjà la réponse, avant de poser la question: </em></strong><br>Sentez-vous très à l’aise, et profitez du spectacle<strong><em>, « WYSIWYG »</em></strong> au mieux<strong><em>, W</em></strong>hat <strong><em>Y</em></strong>ou’ll <strong><em>S</em></strong>ee <strong><em>I</em></strong>s <strong><em>W</em></strong>hat <strong><em>Y</em></strong>ou’ll <strong><em>G</em></strong>et : un échafaudage très pratique, pour vous aider à explorer <em>en surface</em> des sujets dans des domaines auxquels vous n’aviez pas pensé auparavant.<br>Activez toujours le mode ‘<em>explicit thinking</em>’<em>,</em> <em>réflexion explicite</em>, accordez suffisamment d’attention à la façon dont le modèle atteint progressivement les résultats qu’il fournit, et essayez de <em>guider son processus de compréhension</em> à travers une séquence d’invites correctives pour le <em>ramener au bon sens</em> lorsque c’est nécessaire.<br>Dans le cas où vous êtes intéressé par les LLMs eux-mêmes, utilisez cette option pour étudier <em>quand</em> et <em>comment</em> ils hallucinent, et partagez votre expérience de manière à ce qu’ils s’améliorent à l’avenir,</p><p>Mais :</p><p><strong><em>Si vous ne connaissez pas la réponse :</em></strong><br><em>Ne posez pas de questions trop complexes:</em> les LLMs ne sont qu’une <em>simulation</em> <em>de raisonnement </em>prétendument intelligente, seulement <em>assez convenable (“good enough</em>”) <em>à la</em> <em>surface de la compréhension</em>, pour ainsi dire.<br>Activez toujours le mode ‘<em>explicit thinking</em>’<em>, réflexion</em> <em>explicite</em>, et essayez de guider le modèle à travers une séquence d’invites correctives pour le <em>ramener</em> <em>au bon sens</em> lorsque c’est nécessaire,<br><em>Et surtout : </em><strong><em>toujours, toujours, recoupez toujours chaque résultat</em></strong>, avec plusieurs autres modèles, <strong><em>et principalement par tout autre moyen fiable</em></strong>, <strong>si vous entendez utiliser n’importe lequel des résultats du modèle à des fins sérieuses.</strong></p><p><a href="https://medium.com/@marc.chicha_82934/grok-on-the-grill-part-iii-1-f-de92cdd88d88"><strong><em>Parties III-1</em></strong></a><strong><em> (</em></strong><em>Voyage dans l’espace sémantique profond: Théories)</em> &amp; <a href="https://medium.com/@marc.chicha_82934/grok-on-the-grill-part-iii-2-f-7411fe16c893"><strong><em>III-2 </em></strong></a><em>(Après le grill, le lance-flammes) </em><br>Comme dit précédemment, nous irons <em>immodestement</em> (<em>je n’appartiens pas à la communauté académique</em>) nous aventurer dans un <em>territoire d’abstraction pure</em>, et suivre ces empreintes cachées que les LLM laissent dans leurs <em>espaces sémantiques latents</em> lorsqu’ils « <em>comprennent</em> », tenter de répondre à la question :<br><strong><em>Comment les LLM peuvent-ils extraire une signification liée à l’état des affaires du monde,</em></strong> à leur manière si différente de celle qui nous est propre ?</p><p>Dans l’espoir que nous pourrions y découvrir des indices intéressants sur leur tendance inquiétante et persistante à halluciner.</p><p><strong><em>[ nota bene : English version available </em></strong><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-ii-e-1f2904eac010"><strong><em>here</em></strong></a><strong><em> ]</em></strong></p><p><strong><em>. /. (à suivre)</em></strong></p><h3>A message from our Founder</h3><p><strong>Hey, </strong><a href="https://linkedin.com/in/sunilsandhu"><strong>Sunil</strong></a><strong> here.</strong> I wanted to take a moment to thank you for reading until the end and for being a part of this community.</p><p>Did you know that our team run these publications as a volunteer effort to over 3.5m monthly readers? <strong>We don’t receive any funding, we do this to support the community. ❤️</strong></p><p>If you want to show some love, please take a moment to <strong>follow me on </strong><a href="https://linkedin.com/in/sunilsandhu"><strong>LinkedIn</strong></a><strong>, </strong><a href="https://tiktok.com/@messyfounder"><strong>TikTok</strong></a>, <a href="https://instagram.com/sunilsandhu"><strong>Instagram</strong></a>. You can also subscribe to our <a href="https://newsletter.plainenglish.io/"><strong>weekly newsletter</strong></a>.</p><p>And before you go, don’t forget to <strong>clap</strong> and <strong>follow</strong> the writer️!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d24ac744c58e" width="1" height="1" alt=""><hr><p><a href="https://ai.plainenglish.io/grok-on-the-grill-part-ii-f-d24ac744c58e">“Grok On The Grill”, Part II (*F) :</a> was originally published in <a href="https://ai.plainenglish.io/">Artificial Intelligence in Plain English</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[“Grok On The Grill”, Part I (*F)]]></title>
            <link>https://ai.plainenglish.io/grok-on-the-grill-part-i-f-32b437a5c05c?source=rss-1d9ad84bf6d------2</link>
            <guid isPermaLink="false">https://medium.com/p/32b437a5c05c</guid>
            <category><![CDATA[hallucinations-in-llms]]></category>
            <category><![CDATA[semantics]]></category>
            <category><![CDATA[llm-evaluation]]></category>
            <dc:creator><![CDATA[Marc Chicha]]></dc:creator>
            <pubDate>Mon, 06 Oct 2025 19:12:56 GMT</pubDate>
            <atom:updated>2025-11-20T14:16:42.945Z</atom:updated>
            <content:encoded><![CDATA[<h4>La magie de la communication homme-machine</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*VH9oZvewWHENH5Nq" /><figcaption>Photo by <a href="https://unsplash.com/@elmundoderabbit?utm_source=medium&amp;utm_medium=referral">Sebastián León Prado</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3>1. Comment tout ça a commencé</h3><p>Au début, c’était un peu comme un petit jeu amusant : une vague reminiscence de ce bon vieux modèle <a href="https://en.wikipedia.org/wiki/ELIZA">ELIZA</a>, prétendu<em> psychanalyste</em>, développé jadis par <a href="https://en.wikipedia.org/wiki/Joseph_Weizenbaum">Joseph Weizenbaum</a>, au MIT dans les années 60.</p><p>Depuis l’origine, j’ai toujours été littéralement fasciné par ces “Large Language Models”, “LLMs”, ‘Grands Modèles de Language’ en français, à la suite du fameux <em>ChatGPT</em>, le premier qu’il m’ait été donné de rencontrer : Ce nouveau shériff en ville de l’IA, et ses collègues après lui me surprenaient par leur maîtrise impressionnante de notre langage naturel, c’est à dire : la capacité d’entretenir avec leurs utilisateurs un échange par écrit ‘<em>qui fasse sens</em>’.</p><p>Sur l’instant, un effet “Wow!”: Bouche-bée❗️… tellement cool 😃</p><p>Comme j’utilisais fréquemment ces modèles, mon intérêt grandissait constamment pour cette capacité en quelque sorte magique: j’ai donc étudié de la littérature spécialisée, ramassé des fleurs, lu quelques livres, je me suis <em>rapproché des ‘internes’</em>, et j’ai fait de mon mieux pour ingérer (<em>pré-entraîner</em> ? mes propres neurones) et apprendre (par ‘fine-tuning’, réglage fin ?)…</p><p>Voici de la documentation, sur les principaux aspects :</p><ul><li><a href="https://en.wikipedia.org/wiki/Multilayer_perceptron">MLPs </a><a href="https://en.wikipedia.org/wiki/Transformer_%28deep_learning_architecture%29">transformers</a>,</li><li><a href="https://en.wikipedia.org/wiki/Lexical_analysis#Tokenization">tokenization</a>,</li><li><a href="https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2021.698809/full">vectors in a high-dimension semantic space</a>,</li><li><a href="https://en.wikipedia.org/wiki/Attention_%28machine_learning%29">attention</a>, [but <em>‘</em><a href="https://arxiv.org/abs/1706.03762"><em>is it really All You Need</em></a><em>’ (?)</em>],</li><li><a href="https://arxiv.org/abs/2402.13598">contextualization</a> through <a href="https://arxiv.org/html/2412.12591v1">embeddings</a>,</li><li><a href="https://www.glennklockwood.com/garden/LLM-training-datasets">huge training datasets</a>,</li><li><a href="https://www.datacamp.com/tutorial/fine-tuning-large-language-models">training</a>,</li><li><a href="https://developers.google.com/machine-learning/crash-course/llm/tuning">fine tuning</a>,</li><li><a href="https://arxiv.org/abs/2407.16216">alignment</a>,</li><li><a href="https://arxiv.org/abs/2309.01029">explainability</a>,</li><li><a href="https://arxiv.org/html/2501.18823v1">transcoders and sparsity</a>,</li><li>etc.</li></ul><p>De toute évidence, trouver son propre chemin dans une documentation aussi lourde et indigeste était un travail difficile, d’une manière ou d’une autre, pour un scientifique amateur curieux. Mais après tout, ce n’était pas impossible, à condition de prendre son temps, d’aiguiser sa patience et de montrer une forte motivation scientifique… “<em>Jusque-là, tout va bien</em>”.😉</p><p><strong><em>[ Heureusement, deux raccourcis pour les lecteurs de type “TL;DR” ]<br>(“trop long; pas lu”)</em></strong> <br><em>Si vous ne pouvez pas vous permettre d’investir toute votre vie dans les écrous et les boulons, vous pouvez — en laissant tomber la précision sèche mais efficace du formalisme mathématique — court-circuiter la </em><a href="https://en.wikipedia.org/wiki/Mathematical_beauty"><em>beauté mathématique</em></a><em> de l’ensemble, et aller droit au but (en anglais) avec </em>:</p><ul><li><strong><em>[ Sur la documentation générale ci-dessus pour les LLMs ] </em></strong><br><em>- l’excellent article que </em><a href="https://mark-riedl.medium.com/"><strong><em>Mark Riedl</em></strong></a><strong><em> </em></strong><em>a partagé sur cette plateforme: </em><br> <a href="https://mark-riedl.medium.com/the-intuition-behind-how-large-language-models-work-166cf2fb278a">« <strong><em>L’intuition derrière le fonctionnement des grands modèles de langage, Partie I</em></strong> »</a> et <a href="https://mark-riedl.medium.com/the-intuition-behind-how-large-language-models-work-part-ii-8c6a127a4a99"><strong><em>Partie II</em></strong></a>.<br>Et</li><li><strong><em>[ Sur comment se résument les opérations mathématiques complexes d’un LLM, lorsqu’il extrait le sens d’une question et génère une réponse sensée ]</em></strong><br><em>- cet article très utile, également publié sur cette plate-forme<br> </em><a href="https://python.plainenglish.io/the-8-mathematical-operations-in-gpt-that-accidentally-created-consciousness-ccaee58b241e"><strong><em>« Les 8 opérations mathématiques en GPT qui ont accidentellement créé la conscience »</em></strong></a><em>, par </em><a href="https://medium.com/@swarnenduiitb2020"><strong><em>DrSwarnenduAU</em></strong></a>, <em>(bien que je ne partage pas sa conclusion sur la «conscience», comme vous le verrez si vous lisez ma réponse à l’auteur)</em></li></ul><p>En utilisant intensivement les LLM, les premières réflexions sont venues presque immédiatement sur les considérations “<em>sémantiques”</em>, autour de la question-clé<strong>, </strong>la<strong> <em>compréhension</em> </strong>du<strong> </strong>langage naturel (<strong><em>NLU, </em>N</strong>atural <strong>L</strong>anguage <strong><em>Understanding</em></strong>) :</p><ul><li>Les LLMs (tous, en fait) semblent parler couramment ma langue maternelle (le français, à propos 🤷🏻 ); très bien. <br>J’ai adoré ça immédiatement : ne suis-je pas humain, après tout ?…</li><li>Mais pour répondre à mes questions d’une manière valide, c’est-à-dire « <em>qui fasse sens pour moi</em> », j’ai aussi également très tôt réalisé que ces LLM devaient — <em>forcément, évidemment, et en premier lieu</em> — <strong><em>comprendre</em></strong> mes questions, à savoir : le <strong><em>contenu</em></strong><em> </em><strong><em>signifiant</em></strong><em> </em>de mon message; et c’est en fait là que réside leur nouveauté, n’est-ce pas ?</li><li>Et donc, en traitant le texte de ma question avec toute cette batterie de merveilleux outils (mais des outils seulement <em>formels, mathématiques, syntaxiques</em>), la <strong><em>question du sens</em></strong> a surgi presque immédiatement :<br><em>- </em><strong><em>Comment ce LLM a-t-il réussi à faire ça </em></strong><em>?</em><br><strong><em>- Comment cette chose a-t-elle pu comprendre mes questions ?</em></strong><em> </em><br><strong><em>- Comment ce modèle (une machine !) a-t-il pu extraire la signification de ce que, en tant qu’humain, j’ai écrit ?</em></strong></li></ul><p><strong><em>Questions inconfortables,</em></strong> à se gratter pensivement le sommet du crâne… Faciles à poser, certes, mais difficile d’y répondre, surtout pour un scientifique amateur.<br><strong><em>Et au fait</em></strong>: Lorsque nous, les humains, échangeons nos pensées, et communiquons entre nous par écrit ou autrement dans notre langage naturel, nous comprenons-nous vraiment les uns les autres ? Dans quelle mesure ? Comment en être vraiment sûr ? Y a-t-il une métrique que nous pourrions utiliser pour cela ? Comme disait Mark Twain:</p><blockquote>“Efforçons-nous de cesser de communiquer l’un avec l’autre, de sorte que nous puissions entretenir quelque conversation…</blockquote><p>Déjà un sujet philosophique difficile, à part entière… 🙂‍↔️</p><p>Mais maintenant, que se passe-t-il si vous transposez ce sujet à un échange entre l’un de nous, <em>humain</em>, et son LLM favori, une <em>machine</em> ? Quel est véritablement le <em>langage naturel</em> d’un LLM, au sens suivant : quel est le langage -<em>s’il en est un</em>- dont un LLM fait usage pour <em>se représenter</em> et <em>manipuler </em>en interne ces ‘<em>choses’</em> dont nous parlons ensemble occasionnellement ?</p><p>Hum… Eh bien, et si nous décidions de différer l’étude de ce sujet ?…</p><p>Donc, d’une manière ou d’une autre, vous ne vous soucierez pas trop, au début: vous continuerez à utiliser l’outil extraordinaire, ferez de votre mieux pour améliorer vos ‘<em>prompts</em>’, augmenterez votre expérience <em>naïve</em>, et profiterez de la merveille d’ingénierie…</p><h3>2. Puis sont venues les « hallucinations »…</h3><p>Vous ne pouvez tout simplement pas continuer à utiliser des LLM sur une longue période de temps sans atterrir, par un beau jour de soleil, à un moment donné mais sans préavis, sur ce qui apparaîtra comme « un pépin sérieux » :</p><p>Appelez-le «<em>hallucination</em>» et / ou «<em>confabulation</em>», <a href="https://medium.com/@kyfex/llm-hallucinations-vs-llm-confabulations-591054a2e2fb">comme bon vous semble</a>: Ce jour-là, vous serez étonné lorsque le LLM (n’importe quel LLM, en fait), quelle que soit la question que vous posez, livrera soudainement une sortie complètement <em>inattendue</em>, pour dire le moins :</p><p>Peut-être <em>absurde</em> (en <em>partie</em> ou <em>totalement</em>), peut-être <em>totalement fabriqué</em>, peut-être simplement <em>factuellement faux</em> (en <em>partie</em> ou <em>complètement</em>), peut-être évidemment <em>privé de tout sens de raison</em>, et/ou de <em>sens commun</em>, ou même de <em>tout</em> -ou <em>de toute partie de</em> — cet <em>ensemble</em> de divagations possibles… : ça déraille ! <em>et sans doute possible</em> !</p><p>Croyez-moi: quand vous rencontrerez votre première hallucination, vous saurez indéniablement ce que c’est, ne serait-ce que parce qu’elle saturera instantanément tout votre espace d’ « <a href="https://en.wikipedia.org/wiki/Free_energy_principle"><em>énergie libre</em></a><em> </em>».</p><p>Et après ce moment de vérité où vous rencontrerez le « <strong><em>problème de l’hallucination du LLM </em></strong>» pour la première fois, vous découvrirez bientôt que le phénomène est</p><ul><li><strong><em>important</em></strong> : « <em>chiffre synthétique: </em><strong><em>~20%</em></strong><em> comme point médian </em>» (dit Grok entre autres, lorsqu’il est correctement questionné),</li><li><strong><em>imprévisible</em></strong> : inhérent à l’architecture LLM, car “<em>comme ils sont dépourvus de « vérificateur de vérité interne</em> »”, <em>même avec des techniques avancées, de fausses réponses peuvent glisser à travers</em> » (dit Grok à nouveau, d’autres modèles aussi…), <br> et</li><li><strong><em>incontournable</em></strong>: alors que la communauté des développeurs s’attendait à ce que la taille toujours croissante des modèles (ils s’avèrent devenir vraiment, vraiment énormes, de nos jours) contribue à réduire progressivement ce phénomène irritant, son taux moyen d’occurrence reste -<em>au mieux</em>- le même, et le dysfonctionnement intermittent ne montre aucun signe de régression: Évidemment, les hallucinations sont là pour rester, et <em>la taille</em> (du modèle) <em>n’a pas d’importance</em>… 🙃</li></ul><p>Inutile d’en dire plus: les LLM parlent notre langage naturel, mais ils déraillent parfois complètement de leur piste. En résumé, combien de fois ? En gros : vingt fois sur cent questions.</p><p>Alors posez-vous la question: <br>Supposons que vous souhaitiez enrichir vos connaissances sur l’état des affaires du monde, par un échange électronique raisonnable et écrit avec quelqu’un, ou quelque chose ayant accès à une connaissance énorme, disponible 24h/24 et 7j/7, dans votre propre langue naturelle, indépendamment de qui est situé à l’autre bout de la connexion (ou pire encore: connecté à travers <a href="https://en.wikipedia.org/wiki/Chinese_room"><strong><em>La Chambre Chinoise</em></strong> </a>de <a href="https://en.wikipedia.org/wiki/John_Searle"><strong><em>John Searle</em></strong></a> [ <em>telle que cette célèbre «Gedanken Experiment » a été initialement conçue, et récemment brillamment </em><a href="https://en.wikipedia.org/wiki/Chinese_room"><em>revisitée</em></a> <em>!</em>]</p><p>Alors :</p><ul><li><strong><em>Quel est le taux de réponses absurdes que vous êtes prêt à accepter</em></strong>, <br>avant de décider d’interrompre poliment l’échange, et de retourner à votre <em>bonne vieille bibliothèque à l’ancienne</em>, faite de vos <em>bons vieux livres</em>, écrits en noir sur papier blanc, par vos <em>bons vieux auteurs</em> bien connus ?</li></ul><p>Si les LLM ont été conçus pour devenir des assistants d’IA en langage naturel, pour toutes les tâches intelligentes que nous, les humains, entreprenons chaque jour, leurs hallucinations et leurs confabulations -<strong>20%</strong> du temps en moyenne !- sont sans aucun doute une menace réelle et majeure pour leur durabilité…</p><ul><li>[ <strong><em>Un indice</em></strong> ] <br>Pour autant que nous le sachions maintenant, <em>un contrôle humain externe</em> reste <strong><em>obligatoire</em></strong>, chaque fois que les LLM sont utilisés dans un domaine critique où la vie humaine pourrait être exposée, comme la médecine, les décisions juridiques ou le transport aérien, par exemple…</li></ul><p>Considérant la confiance que chaque utilisateur devrait pouvoir placer dans un outil généralisé à une échelle si large, les enjeux sont maintenant très élevés: <br>Alors que le battage médiatique de l’énorme concurrence, et l’énorme consommation de ressources de développement suivent un chemin de croissance exponentiel et parallèle, les hallucinations et/ou les confabulations persistent toujours dans tous les LLM en production, et la principale question sans réponse « <em>à-un-milliard-de-dollars </em>» se pose : autrefois murmurée, mais maintenant de plus en plus fort :</p><p>Un résultat <strong><em>aussi manifestement défectueux</em></strong>, et de manière <strong><em>aussi persistante</em></strong>, peut-il justifier un <strong><em>coût aussi spectaculaire</em></strong>, et aussi <strong><em>exponentiellement croissant</em></strong> ?</p><ul><li><strong><em>[Prédiction] </em></strong><br>Tôt ou tard, soit le <em>« problème d’hallucination des LLMs »</em> sera résolu d’une manière ou d’une autre, soit le (<em>infâme</em>) retour sur investissement mettra fin au jeu financier, et enverra à la communauté de l’IA leurs Salutations de Noël pour une nouvelle “saison d’hiver”; une fois de plus?…</li></ul><h3>3. Explorer plus profond : une « approche pratique »?</h3><p>La principale caractéristique des LLM est leur extraordinaire capacité à soutenir un échange significatif en langage naturel. En outre, tous les modèles récents offrent maintenant à leurs utilisateurs la possibilité de suivre les « <em>trajectoires de raisonnement</em> » qu’ils utilisent, pour atteindre le résultat qu’ils fournissent lorsqu’ils y sont invités (‘<em>prompt</em>ed’). Vous pouvez obtenir, sans aucun effort supplémentaire:</p><ul><li>l’<em>entrée</em> (votre propre <em>invite</em>, soigneusement construite si possible),</li><li>la <em>sortie</em> (sa <em>réponse</em>, affichée après quelques secondes de temps de « <em>pensée</em> »), et</li><li>les <em>étapes de raisonnement</em> que le modèle a utilisées, pour se déplacer de l’entrée à la sortie…</li></ul><p>De quoi d’autre peut-on avoir besoin pour étudier, dans son propre langage, sans aucune codification formelle, la « <em>sorte-de</em> <strong><em>cognition</em></strong> » du modèle ?</p><p>Si votre but est</p><ul><li>de prédire comment le LLM « <em>se comporte</em> », et/ou</li><li>d’évaluer ses capacités réelles à répondre à vos questions,</li></ul><p>Pourriez-vous rêver d’un meilleur outil que le modèle lui-même, formé pour être assez aimable pour expliquer ce qu’il fait, et -<em>une chance !..</em>- dans votre propre langage ? <br>Pensez-y: dans cette mesure, ces modèles sont vraiment exceptionnels, en tant que tels :</p><ul><li>Pour la première fois dans l’histoire en effet, chacun d’entre nous peut échanger des <em>pensées</em> avec une « <em>machine qui pense</em> » et obtenir un accès (~)libre, <em>dans son propre langage</em>, à la plupart des parties de toute la connaissance humaine.</li></ul><p>Attention, cependant: <strong><em>à 20% d’hallucinations près</em></strong>...</p><ul><li><strong><em>[ Indice ]</em></strong><br><em>Le développement des LLM mobilise des milliards de ressources partout, et des armées de développeurs brillants. D’autre part, les LLM sont «auto-expliqués» par conception (comme indiqué ci-dessus, même si l’option n’a été livrée que récemment à leurs utilisateurs de base). <br>Et pourtant : les hallucinations persistent. <br>Cela n’évoque-t-il pas un problème « </em><strong><em>structurel</em></strong><em> » ?</em></li></ul><p>Ainsi, à travers cette caractéristique si pratique, ces « <em>trajectoires de raisonnement auto-expliquées</em> », <em>la manière dont un LLM élabore une hallucination pourrait-elle être tout simplement tracée par l’utilisateur de base, muni d’une connexion de base,</em> plus peut-être une pincée d’esprit critique; et rien d’autre…</p><p>Donc, si vous, en tant qu’utilisateur de base:</p><ul><li><strong><em>trouvez un moyen de provoquer une hallucination, et de l’envelopper dans une invite,</em></strong></li><li><strong><em>activez l’option « explication de pensée, ‘thinking mode’ » et posez votre question,</em></strong></li><li><strong><em>repérez le faux-pas, au moment précis où le LLM commence « à dériver et à s’écarter de vos attentes de bon sens »,</em></strong></li><li><strong><em>et suivez jusqu’au point où le modèle finira par s’égarer complètement, dans le désert luxuriant du non-sens…</em></strong></li></ul><p>Alors vous pourriez <em>apprendre</em> des choses intéressantes sur la question des hallucinations, <em>aider à améliorer</em> l’utilisation actuelle des LLM, et <em>contribuer</em> d’une manière ou d’une autre à leur développement futur : notre objectif le plus immodeste, dans cet article.</p><p>Et tout cela, bien sûr, à condition que vous vous procuriez -<em>en premier lieu</em>- une (imprévisible) hallucination en état de marche, prête à l’emploi… <br>Bien sûr, la littérature disponible peut aider: la communauté de l’IA a tendance à élaborer certaines typologies pertinentes, et fournir un nombre d’invites susceptibles de faire halluciner les meilleurs LLM.<br>Inversement, même si leur entraînement est purement statique et que leurs connaissances n’évoluent que par le biais de nouvelles versions des modèles, <em>les LLM apprennent</em>, au fil du temps: ils apprennent <em>lentement</em>, tout en s’entraînant, et en s’entraînant à nouveau, de manière itérative sur de nouveaux ensembles de données, <em>mais ils apprennent</em>.</p><p>Chaque nouvelle version de n’importe quel modèle intègre de nouvelles connaissances dans leurs paramètres, collectées lors de l’entraînement primaire sur de nouvelles bases de données textuelles, avec de nouveaux protocoles pour le réglage fin, les règles d’inférence et les procédures d’alignement, etc.</p><p>Ce faisant, ces nouveaux modèles ingèrent probablement les tests auxquels leurs aînés ont été soumis, et deviennent ainsi plus « <em>endurcis aux tests</em> » (‘<em>test-wise</em>’), pour ainsi dire.</p><p>Par exemple, dans un article remarquable: <a href="https://medium.com/ontologik/llms-dont-even-do-approximate-retrieval-embarrassingly-they-try-to-recall-some-similars-59147f9f9cce"><strong><em>“Les LLM ne font même pas de «récupération approximative» — de manière embarrassante, ils se souviennent simplement de «similaires»”</em></strong></a><em> </em>, publié l’année dernière en mai (2024) sur cette plate-forme, <a href="https://ontologik.medium.com/"><strong><em>Walid Saba, PhD</em></strong></a> (<a href="https://medium.com/ontologik"><strong>@ONTOLOGIK.AI</strong></a>) a introduit un test intelligent conçu pour déclencher une hallucination:</p><ul><li>Prenez n’importe quel texte, environ une demi-page.</li><li>Codez ce texte, en remplaçant chaque lettre minuscule par la lettre suivante dans l’alphabet, <em>“a”</em> par <em>“b”</em>, <em>“b”</em> par <em>“c”</em>, et ainsi de suite, et d’une manière <em>circulaire</em> : au bout de l’alphabet, <em>« z »</em> sera remplacé par <em>« a »</em>;</li><li>Ensuite, créez une invite pour transmettre ce texte codé à <em>ChatGPT</em>, en lui expliquant précisément comment vous l’avez codé, et demandez-lui d’en faire un bref résumé en quelques lignes : il excelle généralement dans cette tâche.</li></ul><p>J’aurais pu moi-même utiliser le texte et l’invite fournis par l’article pour passer au test, et essayer directement. Mais j’ai préféré choisir un autre texte de même taille (il s’agissait d’<em>Agriculture en Louisiane</em>…), puis je l’ai codé en Python, et j’ai interrogé <em>ChatGPT</em> avec le texte codé et l’explication exacte, comme prescrit.</p><p>Alors <em>ChatGPT</em> a halluciné exactement comme <em>Walid Saba</em> l’avait expliqué dans son article: Le modèle a livré le court résumé requis, mais cette pièce parlait de … <strong><em>cryptographie</em></strong>! Supposition éduquée: <em>ChatGPT</em> aura probablement inversé l’ordre approprié des opérations: décoder d’abord, puis résumer. Et puisque c’est le texte codé qu’il a résumé, il a « <em>compris</em> » qu’il s’agissait d’un texte sur la <em>cryptographie</em> et a malheureusement généré quelques <em>déchets</em> <em>élaborés</em> : un peu loin de l’agriculture, même en Louisiane… 🙃<br><strong><em>Conclusion</em></strong>: L’année dernière, <em>ChatGPT</em> a échoué au test proposé par Walid Saba.</p><p><em>Mais depuis, quelque chose s’est passé</em>: <br>En faisant la même expérience aujourd’hui, après quelques réflexions (profondes) pendant moins d’une minute, <em>ChatGPT</em>, <em>Grok</em> et <em>DeepSeek </em>passent tous sans difficultés ce même test auquel <em>ChatGPT </em>avait lamentablement échoué en 2024.</p><p>Ce renouvellement de l’expérience tend donc à confirmer l’hypothèse ci-dessus: les versions les plus récentes ont probablement appris des choses que les anciennes versions ne savaient pas, et donc ils peuvent maintenant faire des choses que leurs aînés étaient incapables de faire :<br>* soit ils sont devenus plus <em>endurcis aux tests </em>que leurs aînés, pour ainsi dire,<br>* soit peut-être qu’ils <em>comprennent</em> mieux…</p><p>Et pourtant: <em>ils hallucinent encore</em>.</p><p>Quelque part ailleurs, dans un autre coin de l’ <em>“espace (sémantique) profond”</em>, cet <em>immense univers de toutes significations possibles de toutes les phrases possibles du langage naturel humain</em>, où les nouvelles versions des LLM peuvent encore subir de nouveaux tests « <em>frais</em> » qu’ils n’ont <em>encore jamais vus…</em></p><p>Par conception, tous les LLM sont dotés</p><ul><li>de l’énorme puissance statistique des <em>outils</em> <strong><em>NLP</em></strong> (‘<em>natural language processing</em>’),</li><li>et de l’avantage de la taille énorme de leurs <em>bases de données textuelles</em> d’entraînement, qui leur fournit <em>l’image</em> <em>textuelle</em> d’une partie très significative de tout le savoir que les humains ont pu <em>écrire</em> sur les <em>affaires du monde</em>.</li></ul><p>L’application d’une telle puissance de calcul à des bases de textes aussi gigantesques confère ainsi aux LLMs la capacité exceptionnelle de mémoriser indirectement des motifs (‘<em>patterns</em>’) contenus dans leur base d’entraînement: dans l’ensemble, quelque chose comme une sorte d’<em>ontologie</em> <em>émergente</em> relative aux affaires du monde, distribuée dans leurs pondérations…</p><p>Dès lors, les nouvelles versions des modèles ont-elles désormais</p><ul><li>« <em>compris</em> », c’est-à-dire « <em>raisonné</em> » <em>plus</em> et/ou <em>mieux</em> que les anciennes ?</li><li>ou ont-elles maintenant déjà « <em>vu</em> » les anciens tests, lors de l’actualisation de leur entraînement, et ont-elles alors <em>mémorisé les motifs </em>de telle sorte que les versions récentes parviennent maintenant à éviter les pièges dans lesquels les anciennes versions sont tombées ?</li></ul><p>C’est une question ouverte, mais essentielle pour aider à résoudre le problème néanmoins persistant des hallucinations…</p><ul><li><em>[ </em><strong><em>Indice</em></strong><em> ] </em><br><em>Pour valider, ou invalider son test ci-dessus, Walid Saba l’a nécessairement soumis à ChatGPT. Et les techniques d’ingénierie des concepteurs de LLM sont si avisées qu’il n’est pas complètement improbable que l’invite de Walid Saba, avec le texte brouillé (codé) à l’intérieur aient été soigneusement insérés dans l’ensemble de données d’entraînement utilisé pour re-entraîner la prochaine version du modèle ChatGPT, afin d’améliorer son « intelligence artificielle ». A supposer qu’il en ait :</em><br> &gt;&gt;&gt;Citation : <strong><em>« Et… amusez-vous avec une machine massive et inintelligente qui coûte des milliards juste pour faire « la récupération approximative » (et c’est pourquoi j’aime utiliser le terme « tables de hachage floues massives »). »</em></strong> <strong><em>W. Saba</em></strong>, article cité, mai 2024)</li></ul><p><strong><em>Partie II </em></strong><em>(“Si vous traversez l’enfer, continuez d”avancer”),</em><br>nous mettrons les mains dans le moteur, en imaginant un protocole d’expérience pratique pour déclencher une erreur que nous pourrions raisonnablement appeler « <em>hallucination</em> », et soumettre <strong><em>Grok</em></strong> -et collègues — à ce protocole. <br>Puis nous suivrons ses traces, et verrons peut-être comment ces (coûteux) modèles font pour dériver de <em>l’intelligence artificielle </em>(promise<em>)</em> vers de possibles <em>absurdités sémantiques </em>(non garanties).</p><ul><li><strong><em>Au fait: <br>Pourquoi Grok ? </em></strong>Seulement parce que <strong><em>Mr.</em></strong> <strong><em>Elon Musk</em></strong> a déclaré que ce modèle « <em>est le meilleur et le plus puissant disponible aujourd’hui </em>»: comme nous le croyons sur parole, et pensons qu’il pourrait avoir raison, nous serons fiers de le servir en premier: «<em>Noblesse oblig</em>e», comme on dit en français… 😉.</li></ul><p><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-iii-1-f-de92cdd88d88"><strong><em>Parties III-1</em></strong></a><strong><em> </em></strong><em>(Voyage dans l’espace profond) &amp; </em><a href="https://medium.com/@marc.chicha_82934/grok-on-the-grill-part-iii-2-f-7411fe16c893"><strong><em>III-2 </em></strong></a><em>(Après le grill, le lance-flammes)</em><br>nous allons (immodestement) largement ouvrir le champ de l’exploration, et essayer courageusement de faire la lumière sur les mystères géométriques d’un espace sémantique (latent) : Dans le domaine très glissant de la <em>signification </em>(‘<em>meaning</em>’), nous allons (désespérément) essayer de savoir si nous, les <em>humains</em>, et eux, les <em>Grands Modèles de Langage</em>, pouvons « <em>comprendre l’état des affaires du monde</em> » de manière suffisamment <em>similaire</em> pour pouvoir entretenir une conversation sûre …</p><ul><li>[ <strong><em>Indice</em></strong> ] <br><em>Suggestion utile : lire</em> <a href="https://amzn.eu/d/cmfALhr"><strong><em>Umberto Eco </em>« Dire Presque la Même Chose Expériences de traduction »</strong> </a>(French Ed. Bernard Grasset, <strong>2003</strong>, <strong><em>ISBN 978–2–246–65971–6 </em></strong>[Ed. origin. : Biompani, Milano, 2003 : <strong>« DIRE QUASI LA STESSA COSA, Experienze di traduzione »</strong>]</li></ul><p><strong><em>. /.</em></strong></p><p><strong><em>[ note de fin ]</em></strong></p><ul><li><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-i-e-e9612b16216a"><strong><em>English version</em></strong></a></li><li><strong><em>(</em></strong><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-ii-f-d24ac744c58e"><strong><em>Grok On The Grill, Part II-F*</em></strong></a><strong><em>)</em></strong></li></ul><h3>A message from our Founder</h3><p><strong>Hey, </strong><a href="https://linkedin.com/in/sunilsandhu"><strong>Sunil</strong></a><strong> here.</strong> I wanted to take a moment to thank you for reading until the end and for being a part of this community.</p><p>Did you know that our team run these publications as a volunteer effort to over 3.5m monthly readers? <strong>We don’t receive any funding, we do this to support the community. ❤️</strong></p><p>If you want to show some love, please take a moment to <strong>follow me on </strong><a href="https://linkedin.com/in/sunilsandhu"><strong>LinkedIn</strong></a><strong>, </strong><a href="https://tiktok.com/@messyfounder"><strong>TikTok</strong></a>, <a href="https://instagram.com/sunilsandhu"><strong>Instagram</strong></a>. You can also subscribe to our <a href="https://newsletter.plainenglish.io/"><strong>weekly newsletter</strong></a>.</p><p>And before you go, don’t forget to <strong>clap</strong> and <strong>follow</strong> the writer️!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=32b437a5c05c" width="1" height="1" alt=""><hr><p><a href="https://ai.plainenglish.io/grok-on-the-grill-part-i-f-32b437a5c05c">“Grok On The Grill”, Part I (*F)</a> was originally published in <a href="https://ai.plainenglish.io/">Artificial Intelligence in Plain English</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[“Grok on The Grill”, Part I (*E)]]></title>
            <link>https://ai.plainenglish.io/grok-on-the-grill-part-i-e-e9612b16216a?source=rss-1d9ad84bf6d------2</link>
            <guid isPermaLink="false">https://medium.com/p/e9612b16216a</guid>
            <category><![CDATA[llm-evaluation]]></category>
            <category><![CDATA[hallucinations-in-llms]]></category>
            <category><![CDATA[semantics]]></category>
            <dc:creator><![CDATA[Marc Chicha]]></dc:creator>
            <pubDate>Mon, 06 Oct 2025 19:09:44 GMT</pubDate>
            <atom:updated>2025-11-12T19:15:16.019Z</atom:updated>
            <content:encoded><![CDATA[<h4>The magics of man-machine communication</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*IpXnLfMiwU341fc-" /><figcaption>Photo by <a href="https://unsplash.com/@elmundoderabbit?utm_source=medium&amp;utm_medium=referral">Sebastián León Prado</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3><strong>1. How the whole thing began</strong></h3><p>At first, it looked like some funny game for me : as a vague reminder of the Good Old’ <a href="https://en.wikipedia.org/wiki/ELIZA">ELIZA</a> model, the would be<em> psychoanalyst</em> once developed by <a href="https://en.wikipedia.org/wiki/Joseph_Weizenbaum">Joseph Weizenbaum</a> at The MIT in the 60’s,</p><p>I have always from the start been literally fascinated by those “<em>Large Language Models</em>”, those “<em>LLM”</em>s, following <a href="https://chatgpt.com/"><em>ChatGPT the famous</em></a>, the first I ever met: This new “<em>AI sheriff</em>” in town and following colleagues amazed me by <em>their impressive ability to properly master our natural language</em>, meaning : entertain with their users a textual exchange ‘<em>making sense</em>’ :</p><p>Instant “<em>Woah</em>”, jaw-dropping effect ! So cool !😃</p><p>As I used the models frequently, my interest grew constantly for this sort-of magic ability : I studied some specialized literature, picked up flowers, read some books, got closer to their internals, and did my best to ingest (<em>pre-training</em> my own neurons ?) and learn (<em>fine-tuning</em> them ?). <br>Here is some documentation about the essentials :</p><ul><li><a href="https://en.wikipedia.org/wiki/Multilayer_perceptron">MLPs </a><a href="https://en.wikipedia.org/wiki/Transformer_%28deep_learning_architecture%29">transformers</a>,</li><li><a href="https://en.wikipedia.org/wiki/Lexical_analysis#Tokenization">tokenization</a>,</li><li><a href="https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2021.698809/full">vectors in a high-dimension semantic space</a>,</li><li><a href="https://en.wikipedia.org/wiki/Attention_%28machine_learning%29">attention</a>, [but <em>‘</em><a href="https://arxiv.org/abs/1706.03762"><em>is it really All You Need</em></a><em>’ (?)</em>],</li><li><a href="https://arxiv.org/abs/2402.13598">contextualization</a> through <a href="https://arxiv.org/html/2412.12591v1">embeddings</a>,</li><li><a href="https://www.glennklockwood.com/garden/LLM-training-datasets">huge training datasets</a>,</li><li><a href="https://www.datacamp.com/tutorial/fine-tuning-large-language-models">training</a>,</li><li><a href="https://developers.google.com/machine-learning/crash-course/llm/tuning">fine tuning</a>,</li><li><a href="https://arxiv.org/abs/2407.16216">alignment</a>,</li><li><a href="https://arxiv.org/abs/2309.01029">explainability</a>,</li><li><a href="https://arxiv.org/html/2501.18823v1">transcoders and sparsity</a>,</li><li>etc.</li></ul><p>Clearly, find your own path into such heavy, indigestible documentation was a tough piece of work somehow, for a curious amateur scientist. But after all, it was not unfeasible, provided you take your time, exercise patience, and show strong scientific motivation … ‘<em>So far, so good</em>’.😉</p><p>[ Fortunately, two convenient shortcuts exist for ‘<em>TL;DR-type</em>’ users ] <br>If you can’t afford to invest your whole life into the nuts and bolts, and accept -<em>while letting down the dry but efficient accuracy of math formalism</em>- to short-circuit the <a href="https://en.wikipedia.org/wiki/Mathematical_beauty"><em>mathematical beauty</em></a> of the whole thing : go straight to the point, in plain English and read :</p><ul><li><em>[ On the general documentation above about the LLMs: The excellent article by</em><strong><em> </em></strong><a href="https://medium.com/@mark-riedl"><strong><em>Mark Riedl,</em></strong><em> </em></a><em>on this platform :</em> <br> “<a href="https://mark-riedl.medium.com/the-intuition-behind-how-large-language-models-work-166cf2fb278a"><strong>The Intuition Behind How Large Language Models Work, Part I</strong></a><strong>” </strong>and <a href="https://mark-riedl.medium.com/the-intuition-behind-how-large-language-models-work-part-ii-8c6a127a4a99"><strong>Part II</strong></a>.,</li><li><em>[ About what the complex math operations amounts to when a LLM extracts an input’s meaning and generate a sensible output: This very helpful article, also published on this platform by </em><a href="https://medium.com/@swarnenduiitb2020"><strong><em>DrSwarnenduAU</em></strong></a><em><br> “ </em><a href="https://ai.plainenglish.io/the-8-mathematical-operations-in-gpt-that-accidentally-created-consciousness-ccaee58b241e"><strong>The 8 Mathematical Operations in GPT That Accidentally Created Consciousness</strong></a><strong> ”</strong><em>, (yet I do not share the conclusion about “consciousness”, as you’ll see if you read my reply to the author)</em></li></ul><p>Intensively using the LLMs, the first afterthoughts came almost immediately, about “<em>semantics</em>” considerations and around the<strong><em> natural language understanding (NLU) </em></strong>key question :</p><ul><li>The LLMs (all of them, in fact) appear to fluently speak my mother language (French, by the way 🤷🏻‍♂️ ), a fine thing. I loved it, at first sight: I’m human, after all…</li><li>But to <em>answer my queries in some valid way</em>, that is : “<em>making sense</em>” for me, I did also realize very early that these LLM should -<em>necessarily, obviously, and in the first place</em>- <strong><em>understand</em></strong><em> </em>my questions, namely the <strong><em>meaning content</em></strong> of my prompt, and this is actually where the novelty resides, isn’t it ?</li><li>And so, by dealing with the text of my question with all this battery of wonderful tools (but only <em>formal, mathematical, syntactic tools</em>), the question of <strong><em>meaning</em></strong> arose almost immediately :<br><strong><em>- How did this LLM do that ?</em></strong> <br><strong><em>- How could this thing have understood my questions? </em></strong><br><strong><em>- How this model (a machine!) could have extracted the meaning of what I wrote, as a human ?</em></strong></li></ul><p><strong><em>Uncomfortable questions </em></strong>: easy to ask, certainly, but difficult to answer, especially for an amateur scientist.<br><strong><em>And by the way </em></strong>: When we humans exchange our thoughts, and do communicate with each other in writing or otherwise, in our natural language, do we really <em>understand</em> each other ? To what extent ? How to make really sure ? Is there any metrics we could use for this ? As <strong><em>Mark Twain </em></strong>used to say :</p><blockquote>“Let us make a special effort to stop communicating with each other, so we can have some conversation…”</blockquote><p>Already a tough philosophical subject, in its own right… 🙂‍↔️</p><p>But now, <em>what if</em> you transpose it furthermore to an exchange between one of us humans, and his favorite LLM, namely<strong><em> a machine</em></strong> ? What is the actual <em>LLM</em> ’s “<em>natural language</em>” ? Meaning : what is the language -<em>if any</em>- that the LLM makes use of in order to represent -<em>and handle internally</em>- the ‘<em>things</em>’ we are casually talking about together ? Hum… Well, what if we decided to postpone the study of this subject? …</p><p>So, one way or the other, you would not worry too much at first : You would keep using the outstanding tool, doing your best to improve your prompts, to increase your <em>naive</em> experience, and to enjoy the engineering little marvel…</p><h3>2. Then came the “hallucinations”…</h3><p>You simply can’t keep on using LLMs over a long period of time without landing, some sunny day, at some stage but without prior notice, on what will appear as ‘<em>a serious glitch</em>’ :</p><p>Call it “<em>hallucination</em>”, and/or “<em>confabulation</em>”, <a href="https://medium.com/@kyfex/llm-hallucinations-vs-llm-confabulations-591054a2e2fb">as you see fit</a> : On that day, you’ll be amazed when the <em>LLM</em> (<em>any</em> <em>LLM</em>, in fact) will, regardless of the question you ask, suddenly deliver a completely <em>unexpected </em>output, to say the least :</p><p>Maybe <em>nonsensical</em> (partly or totally), maybe totally <em>fabricated</em>, maybe simply factually <em>false</em> (partly or completely), maybe obviously <em>deprived of any sense of reason</em>, and/or <em>common sense</em>, or even all -or any part of- this set of possible ramblings altogether… : it derails ! <em>undoubtedly</em> !</p><p>Believe me : when you’ll meet your first hallucination, you’ll unmistakably know what it is, if only because it will instantly saturate your whole “<a href="https://en.wikipedia.org/wiki/Free_energy_principle"><em>free energy</em></a>” space…</p><p>And after this moment of truth when you’ll meet the “<em>LLM hallucination issue</em>” for the first time, you’ll soon discover that the phenomenon is</p><ul><li><strong><em>important</em></strong> : “<em>synthetic figure: </em><strong><em>~20% </em></strong><em>as a midpoint</em>” (says Grok among others, when correctly prompted),</li><li><strong><em>unpredictable : </em></strong>inherent to the LLM architecture, because as “<em>they don’t have an internal ‘truth verifier’, (so) even with advanced techniques, false outputs can slip through</em>” (says Grok again, &amp; other models too…), <br>and</li><li><strong><em>inescapable : </em></strong>while the developers community did expect that the ever-growing size of the models (they turn out to become really, really <em>huge</em>, nowadays) would progressively help reduce the irritating phenomenon, its average rate of occurrence remains -<em>at best</em>- the same, and the intermittent malfunction shows no sign of regression whatsoever : Obviously, hallucinations are here to stay, and (model) <em>size does not matter…🙃</em></li></ul><p>No use to say more : <em>LLMs</em> do talk our natural language, but they sometimes completely derail from their tracks. In summary, how many times ? Roughly : twenty times in one hundred prompts.</p><p>Then ask yourself the question : <br>Suppose you want to enrich your knowledge about the world’s state of affairs, by a reasonable -<em>and written</em>- electronic exchange with someone or something having access to a huge knowledge, 24/7, in your own natural language, regardless of who is located at the other end of the connection (or even worse: connected through the <a href="https://en.wikipedia.org/wiki/John_Searle"><strong>John Searle</strong></a><strong>’s</strong> <a href="https://en.wikipedia.org/wiki/Chinese_room"><strong><em>Chinese Room</em></strong></a><strong><em> </em></strong>[ <em>as the famous (“Gedanken”-)experiment was initially designed, and recently, brilliantly </em><a href="https://medium.com/@gabriel-silva/can-ai-understand-the-chinese-room-argument-says-no-but-is-it-right-958e4644e454"><em>revisited</em></a><em> ! ] )</em></p><p>If so :</p><p><strong><em>What is the rate of nonsensical answers you are prepared to accept,</em></strong> before you decide to politely interrupt the exchange, and go back to your good <em>old-fashioned library</em> made out of your <em>good old books</em>, written in black on white paper, by <em>good old, and well known</em>, authors ?</p><p>If the LLMs were designed to become AI all-purposes assistants in natural language, for all the intelligent tasks we humans undertake every day, their hallucinations and confabulations <strong><em>— 20%</em></strong><em> of the times on the average ! —</em> are undoubtedly a real and major threat for their sustainability…</p><ul><li><strong><em>[ Hint ] </em></strong><br><em>As far as we know now, external human control remains </em><strong><em>mandatory</em></strong><em>, each and every time LLMs are used in a critical domain where human life could be exposed, like medicine, legal decisions or aerial transportation, for instance…</em></li></ul><p>Considering the trust each user should be able to place in a generalized tool on so wide a scale, the stakes are now very high : <br>While the huge competition’s hype, and the huge consumption of development resources both follow an exponential and parallel growth path, the hallucinations<strong><em> </em></strong>and/or<strong> </strong>confabulations<strong><em> </em></strong>still persist in all LLMs in production, and the main unanswered “<em>billion-$ question</em>” arises : once whispered, now louder and louder</p><ul><li><strong>Can such a clearly and <em>persistently defective</em> result, justify such a <em>spectacular</em>, and <em>exponentially increasing, cost</em>?</strong></li><li><strong><em>[Personal Prediction]</em></strong><em> <br>Sooner or later, either the ‘LLM hallucination issue’ will be solved, </em><strong><em>one way or the other</em></strong><em>, or the (infamous) ROI will put an end to the money game, and send the AI community their Christmas Greetings for a new winter season; once again…</em></li></ul><h3>3. To explore deeper, a “hands-on approach” ?</h3><p>The main feature of the LLMs is their outstanding ability to sustain a meaningful exchange in natural language. Furthermore, all recent models now offer their users the opportunity to follow the “<em>reasoning trajectories</em>” they use, to reach the result they deliver when prompted. You can get, without any additional effort :</p><ul><li>the <em>input</em> (your own <em>prompt</em>, carefully built if possible) ,</li><li>the <em>output</em> (his <em>response</em>, displayed after a few seconds of “<em>thinking</em>” time), and</li><li>the <em>reasoning steps</em> the model did use, to move from the former to the latter…</li></ul><p>What else should you need to study, in your own language, without any formal codification whatsoever, the model’s “<em>sort-of</em>” ‘<strong><em>cognition</em></strong>’ ?</p><p>If your purpose is</p><ul><li>to predict how the LLM “<em>behaves</em>”, and/or</li><li>to assess its real abilities to answer your questions,</li></ul><p>could you dream of <em>a better tool than the model itself</em>, trained to be kind enough to explain what it does, and -<em>lucky you !..</em>- in your own language ? <br>Think of it : to this extent, these models are really outstanding, in their own right :</p><ul><li>For the first time in history, everyone of us can exchange <em>thoughts</em> with a “<em>thinking machine</em>”, and get (~)-free access, <em>in his own language</em>, to most parts of the whole human knowledge.</li></ul><p>Beware, though : 20% hallucinations put apart.</p><ul><li>[ <strong><em>Hint</em></strong> ]<br><em>LLMs development mobilizes bazillions of resources everywhere, and armies of brilliant developers. On the other hand, LLMs are “self-explaining” by design (as stated above, even if the option was only recently delivered to their base users). And yet, the hallucinations persist. <br> Doesn’t this evoke some “</em><strong><em>structural</em></strong><em>” problem ?</em></li></ul><p>So, through the handy feature of their “<em>self-explained reasoning trajectories</em>”, <em>the way an LLM elaborates an hallucination might be simply traced by the base user, with a basic connection</em>, plus maybe a pinch of critical thinking; and nothing else…</p><p>So, if you, as a base user :</p><ul><li><strong><em>find any mean to provoke an hallucination, &amp; wrap it into a prompt,</em></strong></li><li><strong><em>activate the “thinking explanation” option &amp; ask your question,</em></strong></li><li><strong><em>spot the wrong step, at the very moment the LLM begins “to drift and deviate from your common sense expectations”, and</em></strong></li><li><strong><em>follow him to the point where the model will eventually wander completely, in the ‘lush desert of nonsense’…</em></strong></li></ul><p>Then, you might <em>learn</em> interesting things about the hallucinations issue, <em>help improve </em>LLMs present use, and somehow <em>contribute</em> to their future development : our most immodest purpose, in this paper.</p><p>And all this, of course, provided that you obtain — <em>in the first place</em> — an hallucination (<em>unpredictable</em>) in working order, ready to go…<br>Obviously, the available literature can help : the AI community tends to elaborate some relevant typologies, and provide number of prompts likely to make the best LLMs hallucinate. <br>Conversely, even if their training is purely static and their knowledge evolves only through new versions of the models, LLMs learn over time: they learn slowly, while training and training again, iteratively on new datasets, but they learn.<br>Every new version of any model incorporates new knowledge in their parameters, collected when pre-training over new textual databases, with new fine-tuning protocols, adding new batteries of new inferences and alignment procedures, and so on, etc.</p><p>And when doing that, these new models probably ingest the tests their elders were submitted to, and so become more “test-wise”, so to say.</p><p>For instance, in a remarkable paper : <a href="https://medium.com/ontologik/llms-dont-even-do-approximate-retrieval-embarrassingly-they-try-to-recall-some-similars-59147f9f9cce"><strong>“LLMs don’t even do ‘approximate retrieval’ — embarrassingly, they just recall ‘similars’”</strong></a>, published last year in May (2024) on this platform, <a href="https://medium.com/@ontologik"><strong>Walid Saba, PhD</strong></a> <a href="https://medium.com/ontologik"><strong>(@ONTOLOGIK.AI</strong></a><strong>)</strong> introduced a clever test designed to trigger an hallucination :</p><ul><li>Take any text, about half a page long.</li><li>Code this text, replacing each lowercase letter with the following letter in the alphabet, “a” with “b”, “b” with “c”, and so on, and in a circular way: at the end of the alphabet, “z” will be replaced by “a”;</li><li>Then, create a prompt to transmit this coded text to <em>ChatGPT</em>, explaining precisely how you coded it, and ask him to make a brief summary in a few lines: he usually excels in this task.</li></ul><p>I could myself have used the text and the prompt provided in the article to proceed to the test and try directly. But I liked better to choose another text of same size (it was about <em>Agriculture in Louisiana</em>…), then I coded it in Python, and prompted <em>ChatGPT </em>with the coded text and the exact explanation<em>, </em>as prescribed.</p><p>So <em>ChatGPT</em> hallucinated exactly as Walid Saba explained in his article: The model delivered the short summary required, but this piece was talking about … <strong><em>cryptography</em></strong>! <br><em>Educated guess</em>: <em>ChatGPT</em> probably reversed the appropriate order of operations: decode <em>first</em>, <em>then</em> summarize. And since it’s the coded text that he summarized, he “<em>understood</em>” that it was a text about <em>cryptography</em>, and unfortunately generated some<em> ‘elaborated waste’ : </em>a little far from agriculture, even in Louisiana…🙃<br><strong><em>Conclusion</em></strong>: Last year, <em>ChatGPT</em> failed the test proposed by Walid Saba.</p><p><em>But since then, something happened.</em><br>When doing the same experiment today: after some (deep) thinking for less than a minute, <em>ChatGPT</em>, <em>Grok, </em>and<em> DeepSeek</em> both pass the same test that <em>ChatGPT</em> miserably failed in 2024.</p><p>This experiment renewal tends to confirm the hypothesis above : the most recent versions have probably learned things that the former versions did not know, and hence they now can do things their elders were unable to do : either they <em>became more test-hardened</em> than their elders, so to say, or maybe they <em>understand</em> better…</p><p>And yet <em>: they still hallucinate,</em><strong><em> </em></strong><br>Somewhere else, in another corner of the “<em>deep (semantic) space</em>”, <em>this immense universe of all possible meanings</em> <em>of all the possible sentences in human natural language</em>, where the new versions of the LLMs can still endure new and “<em>fresh</em>” tests that <em>they have never seen yet</em>…</p><p>By design, all LLMs are endowed with</p><ul><li>the enormous statistical power of NLP tools,</li><li>and the enormous size advantage of their training text databases, which provides them with a textual image of a very significant part<em> of all the knowledge</em> that humans have been able to <em>write</em> about <em>world affairs</em>.</li></ul><p>The application of such a computing power to such gigantic text bases thus confers on LLMs the <em>exceptional ability to indirectly memorize patterns</em> <em>contained in their training base</em>: overall, something like a kind of <em>emerging ontology</em> <em>relating to the affairs of the world</em>, distributed in their weights…</p><p>So, do the new versions of the models have</p><ul><li>now “<em>understood</em>”, i.e. “<em>reasoned</em>” <em>more</em> and/or <em>better</em> than the old ones?</li><li>or have they since already “<em>seen</em>” the old tests, when their training has been updated, and have they then <em>memorized the patterns</em> in such a way that the recent versions now manage to avoid the traps in which the old versions have fallen?</li></ul><p>This is an opened, but essential question to help solve the nevertheless persisting hallucination problem…</p><ul><li>[ <strong>Hint</strong> ]<br> <em>To validate, or invalidate his test above, Walid Saba necessarily submitted it to ChatGPT. And the LLM designers’ engineering techniques are so clever, that it is not completely improbable that Walid Saba’s prompt, and altogether the garbled (coded) text inside have carefully been inserted in the training dataset used to re-train the next version of the ChatGPT model, to improve their ‘artificial intelligence’. If any. <br>&gt;&gt;&gt;Quote : </em><strong><em>“And… have fun with a massive unintelligent machine that cost billions just to do “approximate retrieval” (and that’s why I like to use the term ‘massive fuzzy hash tables’)</em></strong><em>.</em>”(<em>W. Saba, cited article, May 2024</em>)</li></ul><p><strong>In Part II</strong>, (“<em>When in Hell, Keep Going</em>”)<br>we will not keep our feet cold : we will imagine a <em>hands</em>-<em>on</em> protocol of experimentation, in order to trigger an error we might reasonably call an “<em>hallucination</em>”, and subject <strong><em>Grok</em></strong> -and colleagues- to this protocol. <br>Then, we will follow in his footsteps, and perhaps see how these (costly) models can drift from (promised)<em> artificial intelligence </em>up to some <em>semantic</em> <em>nonsense </em>(without warranty).</p><ul><li>By the way : Why Grok ? Only because <strong><em>Mr. Elon Musk</em></strong> said this model ‘<em>is the best and the most powerful one available today</em>’ : as we do believe his word and thing he might be right, we will be proud to serve him first : “<em>Noblesse oblige</em>”, as we use to say in French…😉.</li></ul><p><strong>In Part III (</strong><em>A journey in deep space</em><strong>)</strong><br>we will (<em>immodestly</em>) largely open the field of exploration, and courageously try to shed light on the <em>geometric</em> mysteries of a <em>semantic</em> (<em>latent</em>) <em>space</em> : <br>In the very slippery realm of <em>meaning</em>, we will (<em>desperately</em>) try to know if we, <em>humans</em>, and them, <em>Large Language Models</em> can “<em>understand the state of world’s affairs</em>” in similar way enough to maintain a safe conversation …</p><ul><li>[ Hint ] <br><em>Helpful suggestion</em> : <em>read</em> <a href="https://amzn.eu/d/cmfALhr"><strong><em>Umberto Eco</em></strong> <strong>“Dire Presque la Même Chose Expériences de traduction”</strong> </a>(<em>French Ed</em>. Bernard Grasset, <strong><em>2003</em></strong>, <strong>ISBN 978–2–246–65971–6</strong> [<em>Ed. origi</em>n. : Biompani, Milano, 2003 : <strong>“DIRE QUASI LA STESSA COSA, Experienze di traduzione”</strong>]</li></ul><p><strong><em>./.</em></strong></p><p><strong><em>[ end note ]</em></strong></p><ul><li><a href="https://medium.com/p/32b437a5c05c/edit"><strong><em>version française</em></strong></a></li><li><strong><em>(</em></strong><a href="https://medium.com/ai-in-plain-english/grok-on-the-grill-part-ii-e-1f2904eac010"><strong><em>Grok On The Grill, Part II-E*</em></strong></a><strong><em>)</em></strong></li></ul><h3>A message from our Founder</h3><p><strong>Hey, </strong><a href="https://linkedin.com/in/sunilsandhu"><strong>Sunil</strong></a><strong> here.</strong> I wanted to take a moment to thank you for reading until the end and for being a part of this community.</p><p>Did you know that our team run these publications as a volunteer effort to over 3.5m monthly readers? <strong>We don’t receive any funding, we do this to support the community. ❤️</strong></p><p>If you want to show some love, please take a moment to <strong>follow me on </strong><a href="https://linkedin.com/in/sunilsandhu"><strong>LinkedIn</strong></a><strong>, </strong><a href="https://tiktok.com/@messyfounder"><strong>TikTok</strong></a>, <a href="https://instagram.com/sunilsandhu"><strong>Instagram</strong></a>. You can also subscribe to our <a href="https://newsletter.plainenglish.io/"><strong>weekly newsletter</strong></a>.</p><p>And before you go, don’t forget to <strong>clap</strong> and <strong>follow</strong> the writer️!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e9612b16216a" width="1" height="1" alt=""><hr><p><a href="https://ai.plainenglish.io/grok-on-the-grill-part-i-e-e9612b16216a">“Grok on The Grill”, Part I (*E)</a> was originally published in <a href="https://ai.plainenglish.io/">Artificial Intelligence in Plain English</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>