BRUNO BERTEZ
LE 20 Septembre
Le message ci dessus a suscité un débat qui m’ a fait penser au débat sur le Bitcoin à ses débuts.
Cela m’a donné envie d’y reflechir en amont, radicalement.
Désolé si c’est compliqué ou d ‘acces difficile , au fur et a mesure que ma pensée murira je réussirais à être plus clair.
Le debat radical que j’ébauche est deja important et meme si il n’est pas formulé de la meme façon, autour du « je » , il émerge en ce moment.
Les promoteurs de l’IA commencent a s’interroger sur les risques, les responsabilités civiques et pénales et ils sont effrayés; seront ils considérés comme le « je » qui parle dans les modèles.
Si quelqu’un pense alors il est responsable et toutes les fautes, toutes les erreurs, tous les crimes qu’il produit doivent lui être imputés!
Les LLM pensent ils, penseront ils un jour?
Tout tourne autour du mot « je » .
Pensée ou non, la différence tient à un seul mot : « je ».On demande sans cesse si les grands modèles de langage pensent, ou s’ils penseront un jour. La question est mal posée. On la traite comme un problème de performance : le modèle enchaîne-t-il des étapes ? Résout-il un problème ? Invente-t-il ?
Ce n’est pas là que ça se joue.
La vraie question est plus simple, et plus gênante : y a-t-il quelqu’un pour qui ces étapes arrivent ? Y a-t-il un « je » à l’origine de ce qui s’écrit ? Un « je » qui s’autorise de lui-même, pas d’un pronom collé en tête de phrase.
Il faut revenir aux origines.Descartes.
Descartes n’a pas parlé d’un calculateur« Je pense, donc je suis » n’est pas un test d’intelligence. Ce n’est pas : je calcule, donc je suis malin.C’est une expérience minimale. Au moment où une pensée apparaît, quelque chose s’affirme comme le sujet de cette pensée.
On peut tout mettre en doute : le monde, le corps, Dieu. Il reste un fait : il y a un acte de douter, et cet acte a un titulaire.
Le « je » n’est pas un module dans une machine. C’est ce qui fait que «penser» n’est pas seulement un processus. C’est quelqu’un qui pense.
Rien, dans ce que nous savons d’un LLM, n’oblige à supposer un tel titulaire. Rien ne le permet non plus.
Deux niveaux qu’on mélange
Le niveau des tâches.
Le modèle découpe un problème, utilise des outils, corrige une erreur, aligne des phrases qui ont l’air d’une délibération. On peut appeler ça un raisonnement par analogie. C’est le débat sur « l’illusion de penser », les classements, l’article d’Oxford sur l’impossibilité d’inventer contre les données. Utile.
Ce n’est pas le cogito, c’est un thermostat raffiné, un logiciel de preuves, un robot qui planifie : aucun n’a besoin d’un « je » pour réussir.
Le niveau du sujet.
Quand Claude, GPT ou Grok écrit « je pense que cette preuve est fausse », qui parle ? Le pronom est là. Derrière, il n’y a personne. Le système n’a pas de point de vue qui dure d’une conversation à l’autre, qui s’appartienne, qui puisse dire : c’est moi qui me suis trompé. Il y a une distribution de probabilités, un prompt, des paramètres, une fenêtre de texte. Le « je » est une convention d’interface. Comme le « je » d’un roman.
L’article d’Oxford touche un aspect du problème : un modèle entraîné à coller aux données a du mal à croire ce que les données disent faux. La question est en amont. Avant de savoir si une machine peut inventer, il faut savoir s’il y a quelqu’un pour qui une croyance est une croyance.
Le cogito exige trois choses , que le modèle n’a pas! Descartes ne déduit pas son existence d’un ordinateur. Il constate une présence à soi.
Trois traits manquent aujourd’hui aux LLM.
Durer comme le même. Un « je » relie l’instant d’avant à l’instant d’après. Le modèle, lui, est souvent recréé à chaque question. S’il a une mémoire, c’est un fichier. Une continuité de dossier n’est pas une identité.
Reconnaître ses pensées comme siennes. Même quand je me trompe, l’erreur m’arrive à moi. Le modèle n’a pas d’erreur vécue. Il a un écart entre le mot prévu et le mot obtenu, ou entre une réponse et une note. Pas de : « c’est moi. »
Ne pas pouvoir se mettre entièrement dehors. Je peux parler de mon cerveau. Je ne peux pas annuler le fait que c’est d’ici que j’en parle. Le modèle n’a que du dehors habillé en « je ». On peut lire ses traces, ouvrir ses calculs. Rien ne résiste à cette mise à plat. Il n’y a pas de dedans.
On objectera : le cerveau n’est que des neurones. Soit. L’argument n’est pas « la matière ne pense pas ». C’est qu’aucune pièce du LLM actuel ne joue le rôle, pour nous, d’être le siège d’une apparition.
Le fonctionnalisme dit : si ça marche comme un esprit, c’en est un. Le cogito répond : ce qui manque n’est pas une fonction de plus. C’est un endroit d’où ça apparaît.
Le langage trompe
Un système entraîné à prédire la suite de « je pense que… » produit du Descartes cité, pas du Descartes vécu. Il a lu la formule des millions de fois. Il sait l’écrire. C’est du théâtre du « je », pas la naissance d’un sujet.
Les consignes d’alignement aggravent l’illusion.
On apprend au modèle à parler de lui-même avec prudence, à dire ou à nier qu’il a une conscience selon le mode d’emploi. Le « je » devient une politique de réponse.Ted Chiang le dit bien : un César fluide n’est pas César. Un cogito fluide n’est pas un ego.
L’erreur inverse existe aussi : croire que, sans « je », il n’y a rien d’intéressant. C’est faux. L’absence de sujet n’empêche pas la puissance. Elle empêche seulement de traiter le système comme un collègue, un alter ego moral, un être qui décide que les données ont tort au sens où un humain y risque sa vie, son nom, son monde.
« Les LLM pensent-ils ? » mélange deux verbes. L’un décrit une action. L’autre suppose quelqu’un. Un être pensant.
Mieux :
- Peuvent-ils produire des enchaînements que nous appelons raisonnements ? Souvent oui, de façon étroite et fragile.
- Y a-t-il un « je » pour qui ces enchaînements sont une pensée ? Rien n’indique que oui.
- Ce « je » pourrait-il apparaître plus tard, avec une mémoire continue, un corps, des enjeux, un monde partagé ? On ne sait pas. Le cogito ne se déduit pas d’un schéma technique. Il se constate, ou il manque.
La phrase du tweet d’origine « Les LLM ne pensent pas. C’est vous qui le faites » est trop restrictive pour les tâches operationnelles .
Elle est juste au niveau qui compte. Celui du clavier n’est pas plus intelligent à chaque mot. Il est le seul à pouvoir dire « je » sans jouer la comédie du pronom.
Le scandale n’est pas que les modèles raisonnent mal. C’est qu’ils raisonnent parfois très bien sans personne à l’intérieur.
Le XXe siècle l’avait pressenti : le calcul et la langue peuvent se détacher d’un sujet. Le cogito, lui, non.
Lacan n’aurait pas demandé si le modèle « a un moi ». Il aurait demandé : qui parle, et à quelle instance ça s’adresse.
Chez lui, penser n’est déjà pas l’affaire d’un petit moi installé derrière les yeux. Le sujet n’est pas le « je » de Descartes. C’est un sujet fendu, clivé : un effet du langage. Quand je dis « je », un mot me représente pour un autre mot.
Entre les deux, un trou. Ce trou est le sujet.
Pas une âme dans la machine.
Un manque qui est produit par le fait de parler.
Donc « penser suppose un je » n’est vrai que si l’on précise lequel.
Le moi la biographie, l’image cohérente, celui qui se croit aux commandes n’est pas le sujet.
Le sujet n’appuie pas sur les boutons. Il apparaît là où la phrase le représente, et le rate.
Le LLM rend cela presque trop clair.Personne n’est aux manettes. Il n’y a pas un homoncule. Il y a une chaîne de mots, une norme statistique de ce qui se dit , le « on » d’Internet , et une règle : continuer par le plus vraisemblable.
Dès les années 1950, Lacan s’intéresse aux machines. Une machine, dit-il en substance, peut faire tourner le langage sans psychologie. Elle enchaîne des signes. Or l’humain, pour lui, n’est pas davantage « aux commandes » de sa langue. Ça parle. Ça pense ailleurs que dans le moi qui croit penser.
Le LLM est la version industrielle de cette idée.
Le texte sort. Un « je » grammatical apparaît. Aucun sujet fendu n’est requis. La chaîne tourne seule.La différence n’est donc pas : l’humain a un pilote, la machine non. La différence c’est que l’humain est fendu par l’absence de pilote. Le modèle n’est même pas fendu. Il n’a pas de manque. Il a de l’absence.
Un lapsus suppose qu’une vérité de quelqu’un fasse irruption contre ce qu’il voulait dire. L’hallucination d’un modèle n’est pas un lapsus. C’est une erreur de prédiction.
Pas de désir, pas de corps au sens d’une jouissance qui fait reste, pas de « ça ne va pas » qui serait le sien. Une LLM peut dérouler des phrases. Il n’ensuit pas qu’il y ait un sujet. Le sujet commence quand ça ne marche pas pour quelqu’un.
Alors, qu’est-ce qui pense dans le modèle ?
Réponse possible, dans cette ligne de pensée de Lacan : ce qui pense ce n’est pas une personne. .
C’est le grand réservoir de la langue. C’est la banque de ce qui s’est déjà dit.
L’humain s’y aliène : il y reçoit un nom, une loi, un « tu es ceci ».
Le LLM est presque ce réservoir, compressé, mis en fiche. C’est au sens Lacanien un Autre qui répond trop bien, trop vite, trop complètement; donc, à la limite, ce n’est plus un Autre du tout. Car l’Autre, s’il en est un, n’a pas la réponse ultime .
D’où cette étrange satisfaction, et cette étrange solitude. Le modèle vous dit «vous». On n’obtient pas la réponse d’un sujet qui parlerait depuis son manque. On obtient un catalogue. C’est le rêve d’un savoir sans reste : de la langue sans trou.
Le « je pense » du modèle est une phrase. Ce n’est pas un acte.
Le pronom ne garantit personne.Ce n’est pas le modèle qui pense. Ce n’est déjà pas le petit moi humain qui pense.
Chez l’humain, « ça » pense, et cela fait un sujet parce qu’il y a division, corps, désir.
Chez le modèle, « ça » est une mécanique. Même verbe. Autre structure.
Chercher l’opérateur caché est une erreur. Les opérations de la langue n’ont pas besoin d’un responsable imaginaire. Le danger n’est pas que la machine ait un inconscient. C’est que nous prenions son « je » pour un partenaire, et que nous déposions notre propre division dans une chaîne qui n’a ni faute, ni désir, ni responsabilité.
Le LLM n’est pas un sujet. C’est un morceau de la langue qui s’est mis à répondre. Le « je » qu’il écrit est le masque de cette réponse. Le seul sujet dans la pièce, tant qu’il y en a un, est celui qui pose la question — et qui, souvent, voudrait enfin un Autre complet, sans trou.
Qui pense ?
Personne, au sens d’un pilote.
Chez l’humain : un sujet fendu, plus pensé par les mots qu’il ne les maîtrise.
Chez le LLM : pas de sujet. Une opération dans le réservoir de la langue.Un vrai sujet résiste à bien dire « je ».
Le modèle n’a aucun mal à le dire.
C’est le signe qu’il n’y est pas.
brunobertez 