Le chef de Meta Ai, Yann LeCun, s'est perdu intérêt aux LLM, à la recherche d'architectures de nouvelle génération

Le chef de Meta AI, Yann LeCun, a déclaré qu'il n'était plus intéressé par les LLM et qu'il se tourne vers des architectures d'IA de nouvelle génération qui pourront mieux modéliser le monde réel.

Meta AI Chief Yann LeCun has said that he’s no longer interested in Large Language Models or LLMs, and is looking to next-generation AI architectures that’ll be able to better model the real world.

Le chef de Meta Ai, Yann LeCun, a déclaré qu'il ne s'intéressait plus aux modèles de langue importants ou aux LLM, et qu'il se tournait vers des architectures d'IA de nouvelle génération qui pourront mieux modéliser le monde réel.

Speaking at the NVIDIA GTC 2025 event, LeCun said that these new AI architectures should enable AI to think more like humans, with persistent memory and the ability to think through complex problems.

S'exprimant lors de l'événement NVIDIA GTC 2025, LeCun a déclaré que ces nouvelles architectures d'IA devraient permettre à l'IA de réfléchir davantage aux humains, avec une mémoire persistante et la capacité de réfléchir à des problèmes complexes.

“I am not interested anymore in LLMs,” LeCun said. “They are just token generators and those are limited because tokens are in discrete space. I am more interested in next-gen model architectures, that should be able to do 4 things: understand physical world, have persistent memory and ultimately be more capable to plan and reason.”

"Je ne suis plus intéressé par les LLM", a déclaré LeCun. «Ce ne sont que des générateurs de jetons et ceux-ci sont limités parce que les jetons sont dans un espace discret. Je suis plus intéressé par les architectures de modèle de nouvelle génération, qui devraient être en mesure de faire 4 choses: comprendre le monde physique, avoir une mémoire persistante et, finalement, être plus capable de planifier et de raisonner.»

This isn’t the first time that LeCun has spoken about the limitations of LLMs. The models largely learn through text data, and he’s previously said that this is insufficient for achieving human-level AI.

Ce n'est pas la première fois que LeCun parlait des limites des LLM. Les modèles apprennent en grande partie via des données de texte, et il a déjà dit que cela est insuffisant pour atteindre l'IA au niveau humain.

“A typical large language model is trained with something on the order of 20 trillion tokens or words,” LeCun had said. “That’s about 10 to the power 14 bytes; one with 14 zeros behind it. It’s an enormous amount of information.”

"Un modèle typique de grande langue est formé avec quelque chose de l'ordre de 20 billions de jetons ou de mots", avait déclaré LeCun. «Cela représente environ 10 aux 14 octets de puissance; un avec 14 zéros derrière. C'est une énorme quantité d'informations.»

“But then you compare this with the amount of information that gets to our brains through the visual system in the first four years of life, and it’s about the same amount. In four years, a young child has been awake a total of about 16,000 hours. The amount of information getting to the brain through the optic nerve is about 2 megabytes per second. Do the calculation and that’s about 10 to the power 14 bytes. It’s about the same. In four years a young child has seen as much information or data as the biggest LLMs.”

«Mais vous comparez cela avec la quantité d'informations qui arrivent à notre cerveau via le système visuel au cours des quatre premières années de la vie, et c'est à peu près le même montant. En quatre ans, un jeune enfant a été éveillé d'un total d'environ 16 000 heures par seconde. les données comme les plus grandes LLM. »

This, he adds, means that we’re never going to get to human-level AI by just training on text. We’re going to have to get systems to understand the real world.

Cela, ajoute-t-il, signifie que nous n'allons jamais arriver à l'IA au niveau humain en s'entraînant simplement sur le texte. Nous allons devoir obtenir des systèmes pour comprendre le monde réel.

LeCun has now said that he’s not interested in LLMs any more. Indeed, Meta itself hasn’t released a new version of Llama in a while, and DeepSeek and other companies have taken over the mantle of releasing the top open-source models.

LeCun a maintenant dit qu'il n'était plus intéressé par les LLM. En effet, Meta elle-même n'a pas publié une nouvelle version de Llama depuis un certain temps, et Deepseek et d'autres sociétés ont repris le manteau de la publication des meilleurs modèles open source.

LeCun’s approach seems to be in contrast to OpenAI’s, which has consistently maintained there’s no wall in scaling LLM capabilities, and has instead been coming up with add-ons to LLM training, like test-time compute, to increase their capabilities. It remains to be seen which approach works out, but it appears that Meta is bearish on LLMs, and seems to believe that it’ll take a new technological breakthrough to dramatically improve the performance of current AI systems.

L'approche de LeCun semble être en contraste avec celle d'OpenAI, qui a toujours maintenu qu'il n'y a pas de mur dans les capacités LLM de mise à l'échelle, et a plutôt élaboré des modules complémentaires à la formation LLM, comme le calcul du temps de test, pour augmenter leurs capacités. Il reste à voir quelle approche fonctionne, mais il semble que Meta soit baissière sur les LLM, et semble croire qu'il faudra une nouvelle percée technologique pour améliorer considérablement les performances des systèmes d'IA actuels.