Il y a 3 ans, Gary Marcus a prévenu :
« Agrandir encore et encore les modèles (scaling) ne suffira pas pour atteindre une vraie intelligence artificielle (AGI). Cel a va coûter des fortunes et cela restera fragile, plein d’hallucinations et pas fiable. »À l’époque, presque tout le monde, Sam Altman, les investisseurs, les gouvernements croyaient le contraire : « Plus de données + plus de puissance = tout est résolu. »

Résultat aujourd’hui (fin 2025) :

• Les entreprises dépensent des milliards mais la plupart des clients ne voient presque aucun bénéfice réel.
• Les meilleurs chercheurs (même à NeurIPS) admettent enfin que le pur scaling est une impasse.
• Les modèles restent peu fiables pour le raisonnement, la vérité et les cas rares.

Conclusion de Gary Marcus :
On a perdu des années et beaucoup d’argent sur une mauvaise idée.
Il faut maintenant revenir aux bases : s’inspirer du cerveau humain (cognition, causalité, modèles du monde) et combiner ça avec du symbolique, au lieu de juste empiler des données et des GPU.

Bref : la mode simpliste qui consiste à penser que « l’échelle résout tout » est morte. Place à une IA plus intelligente, pas juste plus grosse.

L’article de Gary Marcus

Il y a plus de trois ans et demi, j’ai lancé une campagne contre l’hypothèse erronée selon laquelle la mise à l’échelle nous mènerait jusqu’à l’AGI, dans mon célèbre essai Deep Learning is Hitting a Wall (mars 2022) et dans le premier essai de ce Substack, intitulé The New Science of Alt Intelligence (mai 2022).

Cette campagne a failli me coûter ma carrière.

Mon objectif était de m’attaquer à l’idée, alors extrêmement répandue, selon laquelle on pouvait atteindre l’intelligence générale simplement en « agrandissant » de grands modèles de langage, parfois résumée par le slogan «  l’échelle est tout ce dont vous avez besoin » . C’était tellement populaire qu’on pouvait même le trouver sur un t-shirt !

L’idée — qui nous a conduits jusqu’à cette apparente bulle de l’IA — était que l’on pouvait utiliser « des quantités massives de données — souvent issues du comportement humain — comme substitut à l’intelligence » .

J’avais dit que ça ne marcherait jamais.

Non.

Et maintenant, enfin, le secteur commence à s’en rendre compte.

Avant de vous présenter l’information de dernière minute, un petit rappel du contexte et des raisons pour lesquelles cela est si important.

Comme vous vous en souvenez peut-être, j’ai dit que le problème principal était que ces systèmes ne seraient jamais assez fiables, et que même avec plus de données, ils auraient des difficultés avec les hallucinations, la factualité, le raisonnement, les valeurs aberrantes et la généralisation.

Ce qui est nouveau, c’est que vous n’avez plus besoin de me croire sur parole .

La communauté de l’apprentissage automatique, qui m’a boudé depuis que j’ai commencé à critiquer ouvertement l’approche de mise à l’échelle, a finalement commencé à se rallier à ma position.

Pour ceux qui ont oublié comment les choses étaient, et pour contraster avec ce que je vais rapporter, voici un résumé assez complet de la vision selon laquelle l’échelle est tout ce dont vous avez besoin, que j’ai appelée « échelle-au-delà-de-tout » .

Cette vision a prévalu ces cinq dernières années, influençant non seulement la recherche en IA, mais aussi les investissements et même les politiques gouvernementales. On peut affirmer sans exagérer que notre monde s’est construit autour d’elle.

Scalingu-über-alles 2020=2025 RIP

Sam Altman en était lui aussi un fervent défenseur, comparant les prétendues « lois d’échelle » aux lois de l’univers.

Dans un article de blog publié plus tôt cette année, Altman affirmait que

Il a misé toute l’entreprise sur cette idée. Il s’est trompé.

Voici donc la nouvelle : NeurIPS, la plus grande conférence du domaine, vient de se tenir, et il est clair que de plus en plus de personnalités importantes ont enfin compris que le pot aux roses est découvert.

Bien que tout le monde ne s’en rende pas compte, beaucoup le font :

Dans son discours d’ouverture, Rich Sutton a également exprimé de sérieuses inquiétudes quant à l’approche actuelle :

§

Il n’y a pas que les universitaires et les chercheurs qui s’en rendent compte. Les clients aussi commencent à percevoir les limites de cette technologie. Vous souvenez-vous de cette étude du MIT qui montrait que 95 % des entreprises ne constataient qu’un faible retour sur investissement dans l’IA générative ? McKinsey, BCG et plusieurs autres cabinets sont parvenus à des conclusions similaires. Le retour sur investissement tant espéré n’est tout simplement pas au rendez-vous pour la plupart des clients.

Un article récent de Josh Anderson sur Substack concernant l’utilisation des LLM pour la programmation illustre parfaitement un schéma courant d’enthousiasme suivi de désillusion :

Tout fonctionne, jusqu’à ce que ça ne fonctionne plus. Nous avons un besoin urgent de technologies plus fiables.

Et ensuite ?

Un jour, les historiens voudront écrire sur la façon dont les États-Unis se sont autodétruits en se fondant sur une croyance erronée en la mise à l’échelle, et comment l’administration Trump s’est fait berner, ce qui a peut-être entraîné un effondrement de l’économie et sacrifié l’autonomie des États américains . D’autres écriront peut-être sur le rôle d’Altman dans l’exacerbation de ce chaos. Certains pourraient se demander pourquoi tant d’universitaires qui n’ont jamais cru à la mise à l’échelle ont été ignorés tout au long de ce processus .

Je m’attends à une avalanche d’articles et de livres de ce genre :

Mais laissons la sociologie, l’économie et l’histoire intellectuelle pour un autre jour.

Concentrons-nous plutôt sur ce que nous devrions faire maintenant , d’un point de vue scientifique. Je suis fermement convaincu que la conclusion de ma critique de la mise à l’échelle de mai 2022 reste valable :

[La mise à l’échelle] est peut-être meilleure que tout ce que nous avons actuellement, mais le fait qu’elle ne fonctionne toujours pas vraiment, même après tous les investissements immenses qui y ont été consacrés, devrait nous faire réfléchir.

En réalité, cela devrait nous ramener aux origines de l’IA. L’IA ne devrait certainement pas être une réplique servile de l’intelligence humaine (qui, après tout, a ses propres failles, notamment une mémoire défaillante et des biais cognitifs ). Mais elle devrait s’inspirer de la cognition humaine (et animale). Certes, les frères Wright n’ont pas imité les oiseaux, mais ils ont tiré des enseignements du contrôle du vol aviaire . Savoir quoi emprunter et quoi ignorer représente probablement plus de la moitié du chemin parcouru.

En résumé, voici ce que l’IA chérissait autrefois mais a maintenant oublié : si nous voulons construire une IAG, nous allons devoir apprendre quelque chose des humains, comment ils raisonnent et comprennent le monde physique, et comment ils représentent et acquièrent le langage et les concepts complexes.

Mieux vaut tard que jamais. Faisons appel aux spécialistes des sciences cognitives et cessons de nous bercer d’illusions : les données et la puissance de calcul ne résoudront plus tous nos problèmes. L’heure est venue de se tourner vers l’IA neurosymbolique , les modèles du monde et la causalité .

Que commence une glorieuse ère nouvelle d’IA véritablement interdisciplinaire.