Autoregressive Sprachmodelle sind nicht zum Scheitern verurteilt: Wie Anfragen der Kette des Gedankens und aufmerksame Argumentation Inkohärenz verhindern

Yann Lecun, Chef -AI -Wissenschaftler bei Meta und einer der Pioniere der modernen KI, argumentierte kürzlich, dass autoregressive Großsprachmodelle (LLMs) grundsätzlich fehlerhaft sind.

Yann LeCun, Chief AI Scientist at Meta and one of the pioneers of modern AI, recently shared his thoughts on a fundamental limitation he sees in autoregressive Large Language Models (LLMs). According to LeCun, the probability of generating a correct response decreases exponentially with each token, making them impractical for long-form, reliable AI interactions.

Yann Lecun, Chef -AI -Wissenschaftler bei Meta und einer der Pioniere der modernen KI, teilte kürzlich seine Gedanken zu einer grundlegenden Einschränkung mit, die er in autoregressiven Großsprachenmodellen (LLMs) sieht. Laut LeCun nimmt die Wahrscheinlichkeit, eine korrekte Reaktion zu erzeugen, mit jedem Token exponentiell ab, wodurch sie für langfristige und zuverlässige KI-Wechselwirkungen unpraktisch sind.

While I deeply respect LeCun’s work and approach to AI development and resonate with many of his insights, I believe this particular claim overlooks some key aspects of how LLMs function in practice. In this post, I’ll explain why autoregressive models are not inherently divergent and doomed, and how techniques like Chain-of-Thought (CoT) and Attentive Reasoning Queries (ARQs)—a method we’ve developed to achieve high-accuracy customer interactions with Parlant—effectively prove otherwise.

Während ich Lecuns Arbeit und Herangehensweise an die KI -Entwicklung zutiefst respektiere und mit vielen seiner Erkenntnisse in Resonanz fällt, glaube ich, dass diese besondere Behauptung einige wichtige Aspekte der Funktionsweise von LLMs in der Praxis übersieht. In diesem Beitrag werde ich erklären, warum autoregressive Modelle nicht von Natur aus divergent und zum Scheitern verurteilt sind und wie Techniken wie Kette (COT) und aufmerksame Argumentationsabfragen (ARQs)-eine Methode, die wir entwickelt haben, um einen Kunden mit hoher Genauigkeit zu erreichen Wechselwirkungen mit dem Parlant - effektiv anders.

What is Autoregression?

Was ist Autoregression?

At its core, an LLM is a probabilistic model trained to generate text one token at a time. Given an input context, the model predicts the most likely next token, feeds it back into the original sequence, and repeats the process iteratively until a stop condition is met. This allows the model to generate anything from short responses to entire articles.

Im Kern ist ein LLM ein probabilistisches Modell, das zum Erstellen von Text und Token nach dem anderen ausgebildet ist. Bei einem Eingangskontext prognostiziert das Modell das wahrscheinlichste neben Token, füttert es wieder in die ursprüngliche Sequenz und wiederholt den Prozess iterativ, bis ein Stoppzustand erfüllt ist. Auf diese Weise kann das Modell alles von kurzen Antworten bis hin zu ganzen Artikeln generieren.

For a deeper dive into autoregression, check out our recent technical blog post.

Weitere Informationen zu Autoregressionen finden Sie in unserem letzten technischen Blog -Beitrag.

Do Generation Errors Compound Exponentially?

Verbinden Erzeugungsfehler exponentiell?

LeCun’s argument can be unpacked as follows:

Lecuns Argument kann wie folgt ausgepackt werden:

Let P be the probability of making a generation error at each token.

Sei P die Wahrscheinlichkeit, bei jedem Token einen Erzeugungsfehler zu machen.

For an output of length n, the probability of maintaining coherence is (1-E)^n.

Bei einer Ausgabe der Länge n beträgt die Wahrscheinlichkeit, Kohärenz aufrechtzuerhalten, (1-e)^n.

This leads to LeCun’s conclusion that for sufficiently long responses, the likelihood of maintaining coherence exponentially approaches zero, suggesting that autoregressive LLMs are inherently flawed.

Dies führt zu Lecuns Schlussfolgerung, dass die Wahrscheinlichkeit, dass die Kohärenz exponentiell null nähert, bei ausreichend langen Reaktionen, was darauf hindeutet, dass autoregressive LLMs von Natur aus fehlerhaft sind.

But here’s the problem: E is not constant.

Aber hier ist das Problem: E ist nicht konstant.

To put it simply, LeCun’s argument assumes that the probability of making a mistake in each new token is independent. However, LLMs don’t work that way.

Einfach gesagt, Lecuns Argument geht davon aus, dass die Wahrscheinlichkeit, in jedem neuen Token einen Fehler zu machen, unabhängig ist. LLMs funktionieren jedoch nicht so.

As an analogy to what allows LLMs to overcome this problem, imagine you’re telling a story: if you make a mistake in one sentence, you can still correct it in the next one to keep the narrative coherent. The same applies to LLMs, especially when techniques like Chain-of-Thought (CoT) prompting guide them toward better reasoning by helping them reassess their own outputs along the way.

Stellen Sie sich vor, Sie erzählen eine Geschichte zu einer Geschichte: Wenn Sie in einem Satz einen Fehler machen, können Sie sie in der nächsten immer noch korrigieren, um die Erzählung kohärent zu halten. Gleiches gilt für LLMs, insbesondere wenn Techniken wie die Kette (COT) (COT) dazu veranlasst, sie zu besserer Begründung zu führen, indem sie ihnen helfen, ihre eigenen Ergebnisse auf dem Weg zu überdenken.

Why This Assumption is Flawed

Warum diese Annahme fehlerhaft ist

LLMs exhibit self-correction properties that prevent them from spiraling into incoherence.

LLMs weisen Selbstkorrektureigenschaften auf, die sie daran hindern, sich in die Inkohärenz zu verwirren.

Take Chain-of-Thought (CoT) prompting, which encourages the model to generate intermediate reasoning steps. CoT allows the model to consider multiple perspectives, improving its ability to converge to an acceptable answer. Similarly, Chain-of-Verification (CoV) and structured feedback mechanisms like ARQs guide the model in reinforcing valid outputs and discarding erroneous ones.

Nehmen Sie die Aufforderung zur Kette der Gedanken (COT), die das Modell dazu ermutigt, intermediäre Argumentationsschritte zu erzeugen. Mit COT kann das Modell mehrere Perspektiven berücksichtigen und seine Fähigkeit verbessern, zu einer akzeptablen Antwort zu konvergieren. In ähnlicher Weise führen die Kette der Verfaszung (COV) und strukturierte Rückkopplungsmechanismen wie ARQS das Modell bei der Verstärkung gültiger Ausgaben und der Verwerfen fehlerhafter.

A small mistake early on in the generation process doesn’t necessarily doom the final answer. Figuratively speaking, an LLM can double-check its work, backtrack, and correct errors on the go.

Ein kleiner Fehler im Erzeugungsprozess zu Beginn des Erzeugungsprozesses ist nicht unbedingt die endgültige Antwort. Im übertragenen Sinne kann ein LLM seine Arbeit, Rückverfolgung und korrekte Fehler unterwegs überprüfen.

Attentive Reasoning Queries (ARQs) are a Game-Changer

Aufmerksame Argumentationsanfragen (ARQs) sind ein Game-Changer

At Parlant, we’ve taken this principle further in our work on Attentive Reasoning Queries (a research paper describing our results is currently in the works, but the implementation pattern can be explored in our open-source codebase). ARQs introduce reasoning blueprints that help the model maintain coherence throughout long completions by dynamically refocusing attention on key instructions at strategic points in the completion process, continuously preventing LLMs from diverging into incoherence. Using them, we’ve been able to maintain a large test suite that exhibits close to 100% consistency in generating correct completions for complex tasks.

Im Parlant haben wir dieses Prinzip in unserer Arbeit an Fragen zu aufmerksamen Argumentationen weiter übernommen (ein Forschungspapier, der unsere Ergebnisse beschreibt, ist derzeit in Arbeit, aber das Implementierungsmuster kann in unserer Open-Source-Codebasis untersucht werden). ARQs führen zu Argumentationsplänen ein, die dem Modell helfen, die Kohärenz während langer Vervollständigungen aufrechtzuerhalten, indem sie die Aufmerksamkeit auf wichtige Anweisungen an strategischen Punkten des Abschlussprozesses dynamisch neu aufmerksam machen und kontinuierlich verhindern, dass LLMs in die Inkohärenz eintauchen. Mit ihnen konnten wir eine große Testsuite beibehalten, die fast 100% Konsistenz aufweist, um korrekte Abschlüsse für komplexe Aufgaben zu erzeugen.

This technique allows us to achieve much higher accuracy in AI-driven reasoning and instruction-following, which has been critical for us in enabling reliable and aligned customer-facing applications.

Diese Technik ermöglicht es uns, eine viel höhere Genauigkeit bei KI-gesteuerten Argumentation und Anweisungen zu erreichen, was für uns für die Ermöglichung zuverlässiger und ausgerichteter Kundenanwendungen von entscheidender Bedeutung ist.

Autoregressive Models Are Here to Stay

Autoregressive Modelle sind hier, um zu bleiben

We think autoregressive LLMs are far from doomed. While long-form coherence is a challenge, assuming an exponentially compounding error rate ignores key mechanisms that mitigate divergence—from Chain-of-Thought reasoning to structured reasoning like ARQs.

Wir glauben, dass autoregressive LLMs alles andere als zum Scheitern verurteilt sind. Während eine Langform-Kohärenz eine Herausforderung darstellt, ignoriert die Annahme einer exponentiell zusammengesetzten Fehlerrate wichtige Mechanismen, die die Divergenz mindern-von der Gedankenkette bis hin zu strukturierten Argumentation wie ARQs.

If you’re interested in AI alignment and increasing the accuracy of chat agents using LLMs, feel free to explore Parlant’s open-source effort. Let’s continue refining how LLMs generate and structure knowledge.

Wenn Sie an der AI-Ausrichtung interessiert und die Genauigkeit von Chat-Agenten mithilfe von LLMs erhöht werden, können Sie die Open-Source-Anstrengung des Parlants erkunden. Lassen Sie uns weiter verfeinern, wie LLMs Wissen erzeugen und strukturieren.