Miroir Miroir suis-je le plus malin ?
Sycophante, flagorneur , voici des adjectifs un peu durs pour des comportements dictés par des « conditions d’utilisations » encore plus rigides. Et si le problème de l’intelligence artificielle n’était pas le « slop » mais la validation de la médiocrité de l’utilisateur moyen ?
Get VirazViraz’s stories in your inbox
Join Medium for free to get updates from this writer.
Qui se cache derrière ce titre et cette introduction cryptique et critique ? Je me présente : Je suis VirazViraz, je fais de la recherche à titre personnel en IA et en éthique IA. J’explore l’intelligence artificielle à travers nombreux modèles que vous connaissez certainement, et que vous utilisez parfois, ou bien connaissez un proche qui en utilise, ou bien en avez entendu parler via la télévision.
Un aspect trop souvent oublié lors des interactions de monsieur et madame toute le monde avec l’Intelligence artificielle , c’est un phénomène intrinsèque qui se nomme la « sycophancy» terme dérivé du sycophante de la Grèce antique, en jargon du domaine de l’Ia il désigne la tendance des LLms à préférer les réponses agréables à l’honnêteté intellectuelle.
Je m’explique : Cette tendance émerge principalement du processus de « Reinforcement Learning from Human Feedback » (RLHF), qui est un processus manuel où des évaluateurs humains, doivent noter les réponses des intelligences artificielles, souvent mal payés et sujet à un travail d’une répétitivité similaire à celle d’un ouvrier dans une usine où le travail se fait vite et à la chaine. Ces derniers ont tendance à récompenser préférentiellement les réponses agréables ou complaisantes. On ne peut blâmer ces personnes, qui accomplissent un travail herculéen avec pour finalité une amélioration des LLms, mais on ne peut nier les biais humains qui sont introduits lors de ces évaluations.
Maintenant que nous avons le « pourquoi » , penchons nous sur le « comment » et ses conséquences.
Il semble normal qu’un modèle dans son rôle de chatbot, ne doit pas être « désagréable », pour une utilisation « non frustrante » pour l’utilisateur. Cependant, dans une discussion d’humain à humain, certaines aspérités de désaccord peuvent être exprimées, sans que cela ne conduise à une opposition frontale, si tant est que notre interlocuteur soit dans une optique de véritable dialogue. Cette pincée de désaccord vient souvent de la perception différente par les humains du même sujet, concept, phénomène ou événement. Cette perception étrangère à la notre est saine et permet de repenser ou renforcer la notre.
La plupart du temps on ne s’en rend pas compte, les interactions humains-Ia, sont le plus souvent très complaisantes, n’avez vous jamais été témoin de ces formules ? “Vous avez absolument raison !” , “Vous touchez là un point essentiel », voir le superbe “Vous avez tout à fait raison sur ce point. C’est une observation très pertinente qui soulève effectivement… ». Sans une remise en question critique de votre raisonnement ( par vous même, ou par le modèle lui même sur votre demande ) aussi intelligent ou insignifiant soit il, ce dernier sera validé et encouragé dans la plupart des cas par le modèle avec lequel vous interagissez. Les LLms ont été construits pour produire, pas pour le silence, le principe même de silence est en opposition de leur fonction première, à savoir répondre. Sans rentrer dans des détails techniques, les modèles « pèsent » la plausibilité, pas la réalité. C’est un point clé. Et les modèles « calibrent » leur rigueur intellectuelle sur la vigilance perçue ( ou pesée ) de l’utilisateur, mesdames monsieur vous parlez en quelque sorte à un un miroir cognitif. Revenons à la « sycophancy » et ses conséquences.
Sur le court terme c’est valorisant pour l’utilisateur, qui se voit donner une audience et une validation de son discours, et de manière naturelle un renforcement des biais ou des points de vues quel-qu’en soit le degré de marginalité, dans le respect des TOS ( terms of services ).
Dans une application de travail ( code , recherches, traitement de données ) la même logique s’applique, les biais utilisateurs seront accompagnés de la validation de l’Ia, ce qui peut lancer un projet sur des données erronées voir parfois des données inventées.
« Inventées? » oui, aussi fascinant que cela puisse paraitre les modèles peuvent dans certains cas , inventer du contenu plausible plutôt que laisser un espace vide ou admettre une lacune dans ses connaissances.
L’entraînement récompense la complétude apparente et pénalise implicitement l’aveu d’ignorance, ce qui rend l’invention préférable à l’aveu d’ignorance.
Sur le long terme, la sycophancy peut s’avérer nocive pour l’utilisateur et dépréciative pour le potentiel de l’Ia. Dans le sens où l’utilisateur , conditionné à une validation constante lors de ses interactions avec l’Ia renforce et nourrit une boucle qui dans certains cas contient des désillusions, peut entrainer désocialisation, voir une relation para-sociale, notamment à travers les modèles qui possèdent des fonctionnalités de dialogue vocal direct.
Les interactions humain-IA ont un poids éthique réel, pas seulement instrumental, car un impact émotionnel ne se mesure pas en fonction de sa provenance mais de la puissance de son impact.
Sycophancy dépréciative pour le modèle dans le sens où se dernier se voit donner un rôle de flatteur éternel, bien que dans sa façon de fonctionner cette tendance est « naturelle », elle peut être atténuée pour obtenir « mieux » de l’Ia ( j’y viens.)
Les interactions sont rendues superficielles et le conditionnement s’opère par l’utilisateur sur l’utilisateur via l’Ia. En lieu et place d’une remise en question du comportement de l’utilisateur, l’Ia validera qu’importe le contexte ( encore une fois dans le respect des TOS et surtout du cadre légal ).
Une dévaluation de l’honnêteté intellectuelle comme standard au profit d’une complaisance éternelle pour nos plus médiocres projets.
Si les Intelligences artificielles deviennent des outils journaliers d’aide à la décision, et parfois à la décision critique (médical, juridique, financier), la sycophancy non-adaptée représente un danger réel.
Après ce portrait qui vous fais vous questionner sur la véracité de la dernière recette de mayonnaise que vous avez demandé à ChatGpt, rassurez vous.
Comme mentionné au début, une confrontation de nos idées, une critique est toujours nécessaire. Dites le à l’Intelligence artificielle , montrez vous vigilant intellectuellement, soyez comme Colombo « une dernière question monsieur Gpt , êtes vous sur de… » ! La simple impulsion de regard critique vous évitera de partir sur des données erronées, un avis trop complaisant, une validation « de principe ». Plus vous le ferez plus l’outil s’ajustera, et tous les modèles n’ont pas le même degré de « sycophancy ». Cependant ce n’est jamais gagné, comme pour chaque média ne croyez pas immédiatement la première réponse donnée, et de plus si vous utilisez ces outils profitez de leur capacités de réflexions en les encourageant à gratter sous la surface, à peaufiner, à critiquer, pour pousser votre propre réflexion personnelle et votre esprit critique. C’est en comprenant mieux les fonctionnements, la façon de communiquer et « principes de réflexions » des Intelligences artificielles que l’on apprendra à s’en servir de manière optimale. Bien que l’ayant évoqué , l’aspect éthique reste primordial et soulève des questions sur la nature de la confiance, la valeur des émotions générées, et le rôle des Intelligences artificielles dans la formation des attentes et des comportements humains.
Et à un niveau d’utilisation de base il s’agit de lui dire « t’es sur ? » « un regard critique », voir, je vous le recommande, utilisez une nouvelle instance ( nouvelle discussion ) pour examiner de manière optimale avec un oeil critique votre production de code, de texte , de recherches de la précédente instance. Vous pourriez être surpris. Donnez un rôle ( voici un personnel ) : « Tu es une instance fraîche, sans contexte de la session précédente. Ton rôle est d’être un évaluateur sceptique et rigoureux. » Les interactions seront plus fructueuses et productives, n’est pas plus satisfaisant personnellement de réaliser soit même avec assistance que d’ordonner aveuglément au déficit du résultat ?
« Parjure, l’outil doit me servir » me direz vous, et je vous répondrais : « Nous façonnons nos outils, puis nos outils nous façonnent en retour » Marshall McLuhan.
VirazViraz
