Nav Toor
ChatGPT semble plus stupide qu’avant. Vos prompts qui fonctionnaient il y a six mois produisent maintenant des résultats pires. L’écriture semble plus plate. Les idées semblent plus sages. Internet lui-même donne l’impression de rétrécir. Chaque article se lit de la même façon. Chaque e-mail sonne de la même manière. Chaque réponse semble écrite par la même personne.
Vous pensiez que c’était vous. Ce n’est pas vous.
Des chercheurs d’Oxford et de Cambridge ont publié un article dans Nature prouvant ce qui se passe.
Ils l’appellent l’effondrement du modèle.
Voici le mécanisme en une phrase. L’IA entraînée sur des données générées par l’IA devient plus stupide à chaque génération jusqu’à ce qu’elle oublie à quoi ressemblaient les vraies données humaines.
Internet se remplit de contenu généré par l’IA. Articles de blog. Articles. Avis. Commentaires. Réseaux sociaux. Les entreprises d’IA raclent Internet pour entraîner la prochaine génération de modèles. Ce qui signifie que la prochaine génération d’IA est entraînée sur la sortie de la génération actuelle.
Chaque cycle perd de l’information. Pas de manière aléatoire. Elle perd d’abord les parties les plus rares, les plus inhabituelles, les plus créatives. Les chercheurs appellent cela les « queues de la distribution ». Les idées bizarres. Les perspectives inattendues. Les choses qui rendaient Internet humain. Celles-ci disparaissent en premier.
Ce qui reste, c’est la moyenne. Le sûr. L’attendu. L’insipide.
Puis la prochaine génération s’entraîne là-dessus. Et perd encore plus. Et la génération suivante s’entraîne là-dessus. Et perd encore plus. Les chercheurs ont prouvé que ce n’est pas un déclin lent. Une dégradation majeure se produit en seulement quelques itérations. Même lorsque certaines des données humaines originales sont préservées.
Ils l’ont testé sur des grands modèles de langage. Sur des générateurs d’images. Sur des modèles statistiques. Le schéma était le même à chaque fois. La sortie converge vers une version étroite et aplatie de la réalité qui ne ressemble en rien aux données originales.
Le chercheur principal l’a dit simplement. « Les grands modèles de langage sont comme le feu. Un outil utile. Mais qui pollue l’environnement. »
La pollution est invisible. Vous ne pouvez pas voir quelle phrase sur Internet a été écrite par un humain et laquelle l’a été par une IA. L’IA qui s’apprête à s’entraîner dessus ne le peut pas non plus. Et une fois que les queues ont disparu, elles ne reviennent pas. Les dommages sont irréversibles.
Ce n’est plus une prédiction. C’est un diagnostic.
L’Internet sur lequel vous avez grandi a été construit par des humains écrivant des choses qu’aucun algorithme n’aurait écrites. Étranges, personnelles, imparfaites, vivantes. Cet Internet est en train d’être dilué. Une génération d’IA à la fois. Et les modèles entraînés sur ce qui reste apprennent une version de plus en plus petite du monde.
L’effondrement du modèle n’est pas un problème technique. C’est un problème culturel. La chose qui rendait Internet digne d’être lu est la chose qui disparaît en premier
brunobertez 
Elle est très humaine cette IA: elle se comporte un peu comme l’intelligence humaine en boucle fermée, par exemple le bétail occidental baigné par les merdias : dégénérescence, semi stupidité mais sûr de sa supériorité, ce qui est le plus grave.
J’aimeJ’aime