オートレーフレフな言語モデルは運命づけられていません：考え方の連鎖促しと丁寧な推論クエリが矛盾を妨げる方法

メタのチーフAI科学者であり、現代AIの先駆者の1人であるYann Lecunは、最近、自己回復的な大手言語モデル（LLMS）には根本的に欠陥があると主張しました。

Yann LeCun, Chief AI Scientist at Meta and one of the pioneers of modern AI, recently shared his thoughts on a fundamental limitation he sees in autoregressive Large Language Models (LLMs). According to LeCun, the probability of generating a correct response decreases exponentially with each token, making them impractical for long-form, reliable AI interactions.

メタのチーフAI科学者であり、現代AIの先駆者の1人であるYann Lecunは、最近、彼が自動網性の大手言語モデル（LLMS）で見た基本的な制限について彼の考えを共有しました。 LeCunによると、正しい応答を生成する確率は、各トークンとともに指数関数的に減少し、それらを長期にわたって信頼できるAI相互作用に対して非現実的にします。

While I deeply respect LeCun’s work and approach to AI development and resonate with many of his insights, I believe this particular claim overlooks some key aspects of how LLMs function in practice. In this post, I’ll explain why autoregressive models are not inherently divergent and doomed, and how techniques like Chain-of-Thought (CoT) and Attentive Reasoning Queries (ARQs)—a method we’ve developed to achieve high-accuracy customer interactions with Parlant—effectively prove otherwise.

私はLecunの仕事とAI開発へのアプローチを深く尊重し、彼の洞察の多くに共鳴しますが、この特定の主張は、LLMSが実際にどのように機能するかのいくつかの重要な側面を見落としていると思います。この投稿では、自動回復モデルが本質的に発散していない、運命にない理由と、チェーンオブテーリング（COT）や注意深い推論クエリ（ARQ）のようなテクニックを説明します。パーラントとの相互作用 - それ以外の場合は効果的に証明します。

What is Autoregression?

自動網性とは何ですか？

At its core, an LLM is a probabilistic model trained to generate text one token at a time. Given an input context, the model predicts the most likely next token, feeds it back into the original sequence, and repeats the process iteratively until a stop condition is met. This allows the model to generate anything from short responses to entire articles.

そのコアでは、LLMは一度に1つのトークンを生成するように訓練された確率的モデルです。入力コンテキストを考えると、モデルは最も可能性の高い次のトークンを予測し、元のシーケンスに戻し、停止条件が満たされるまでプロセスを繰り返し繰り返します。これにより、モデルは記事全体への短い応答から何でも生成できます。

For a deeper dive into autoregression, check out our recent technical blog post.

自己網目上への掘り下げについては、最近の技術的なブログ投稿をご覧ください。

Do Generation Errors Compound Exponentially?

生成エラーは指数関数的に複合しますか？

LeCun’s argument can be unpacked as follows:

Lecunの議論は次のように解き放つことができます。

Let P be the probability of making a generation error at each token.

Pを各トークンで生成エラーを作成する確率とします。

For an output of length n, the probability of maintaining coherence is (1-E)^n.

長さnの出力の場合、コヒーレンスを維持する確率は（1-e）^nです。

This leads to LeCun’s conclusion that for sufficiently long responses, the likelihood of maintaining coherence exponentially approaches zero, suggesting that autoregressive LLMs are inherently flawed.

これは、十分に長い応答のために、コヒーレンスを維持する可能性が指数関数的にゼロに近づくというLecunの結論につながり、自己回帰LLMが本質的に欠陥があることを示唆しています。

But here’s the problem: E is not constant.

しかし、ここに問題があります。Eは一定ではありません。

To put it simply, LeCun’s argument assumes that the probability of making a mistake in each new token is independent. However, LLMs don’t work that way.

簡単に言えば、Lecunの議論は、新しいトークンで間違いを犯す可能性が独立していると想定しています。ただし、LLMはそのように機能しません。

As an analogy to what allows LLMs to overcome this problem, imagine you’re telling a story: if you make a mistake in one sentence, you can still correct it in the next one to keep the narrative coherent. The same applies to LLMs, especially when techniques like Chain-of-Thought (CoT) prompting guide them toward better reasoning by helping them reassess their own outputs along the way.

LLMSがこの問題を克服できるようにするものとの類似性として、あなたが物語を語っていることを想像してください：ある文で間違いを犯した場合、あなたはそれを次の文で修正して物語を一貫して保つことができます。 LLMにも同じことが当てはまります。特に、チェーンオブ思考（COT）のようなテクニックが、途中で自分の出力を再評価するのを支援することで、より良い推論に向けてガイドする場合。

Why This Assumption is Flawed

この仮定に欠陥がある理由

LLMs exhibit self-correction properties that prevent them from spiraling into incoherence.

LLMSは、それらが一貫性にスパイラル化するのを妨げる自己修正特性を示します。

Take Chain-of-Thought (CoT) prompting, which encourages the model to generate intermediate reasoning steps. CoT allows the model to consider multiple perspectives, improving its ability to converge to an acceptable answer. Similarly, Chain-of-Verification (CoV) and structured feedback mechanisms like ARQs guide the model in reinforcing valid outputs and discarding erroneous ones.

チェーンオブテア（COT）プロンプトを取り、モデルが中間推論ステップを生成することを奨励します。 COTを使用すると、モデルは複数の視点を検討し、許容可能な答えに収束する能力を向上させることができます。同様に、ARQSのようなチェーンオブバイフィス（COV）と構造化されたフィードバックメカニズムは、有効な出力を強化し、誤った出力を破棄する際にモデルを導きます。

A small mistake early on in the generation process doesn’t necessarily doom the final answer. Figuratively speaking, an LLM can double-check its work, backtrack, and correct errors on the go.

生成プロセスの早い段階で小さな間違いは、必ずしも最終的な答えを破壊するわけではありません。比fig的に言えば、LLMは、外出先での作業、バックトラック、および正しいエラーを再確認できます。

Attentive Reasoning Queries (ARQs) are a Game-Changer

丁寧な推論クエリ（ARQ）はゲームチェンジャーです

At Parlant, we’ve taken this principle further in our work on Attentive Reasoning Queries (a research paper describing our results is currently in the works, but the implementation pattern can be explored in our open-source codebase). ARQs introduce reasoning blueprints that help the model maintain coherence throughout long completions by dynamically refocusing attention on key instructions at strategic points in the completion process, continuously preventing LLMs from diverging into incoherence. Using them, we’ve been able to maintain a large test suite that exhibits close to 100% consistency in generating correct completions for complex tasks.

Parlantで、私たちはこの原則を注意深い推論クエリに関する研究でさらに進めました（現在の結果を説明する研究論文は現在作業中ですが、実装パターンはオープンソースコードベースで検討できます）。 ARQは、完了プロセスの戦略的ポイントでの主要な指示に注意を向けることにより、長い完成全体でモデルが一貫性を維持するのに役立つ推論の青写真を導入し、LLMSが一貫性に分岐するのを継続的に防止します。それらを使用して、複雑なタスクの正しい完了を生成する際に100％近くの一貫性を示す大きなテストスイートを維持することができました。

This technique allows us to achieve much higher accuracy in AI-driven reasoning and instruction-following, which has been critical for us in enabling reliable and aligned customer-facing applications.

この手法により、AI駆動型の推論と指導のフォローにおいてはるかに高い精度を達成することができます。

Autoregressive Models Are Here to Stay

オートレーフモデルはここにとどまります

We think autoregressive LLMs are far from doomed. While long-form coherence is a challenge, assuming an exponentially compounding error rate ignores key mechanisms that mitigate divergence—from Chain-of-Thought reasoning to structured reasoning like ARQs.

自己回帰LLMは運命にあるとはほど遠いと思います。長い形式のコヒーレンスは課題ですが、指数関数的に複利エラー率が、想定される推論からARQのような構造化された推論から、相違を緩和する重要なメカニズムを無視すると仮定することです。

If you’re interested in AI alignment and increasing the accuracy of chat agents using LLMs, feel free to explore Parlant’s open-source effort. Let’s continue refining how LLMs generate and structure knowledge.

AIのアライメントに興味があり、LLMSを使用してチャットエージェントの精度を高める場合は、Parlantのオープンソースの取り組みを自由に探索してください。 LLMSが知識を生成および構築する方法を洗練し続けましょう。