推論プロセスの一部を潜在的な個別のトークンに置き換えると、大きな言語モデルの推論が向上します

LLMは、構造化された推論痕跡で明示的に訓練され、数学的方程式を解決し、論理的な結論を推測し、多段階計画タスクをナビゲートできるようにすると、大幅な改善を示しました。ただし、これらの長い推論トレースを処理するために必要な計算リソースはかなりのものです。この作業では、個別の潜在トークンをLLMの推論に統合する新しい手法を紹介します。

Large Language Models (LLMs) have shown remarkable improvements when explicitly trained on structured reasoning traces, enabling them to solve mathematical equations, infer logical conclusions, and perform multistep planning tasks. However, these models require significant computational resources to process lengthy reasoning traces. Researchers are actively exploring ways to enhance efficiency while maintaining the effectiveness of these models.

大規模な言語モデル（LLM）は、構造化された推論痕跡で明示的に訓練され、数学的方程式を解き、論理的結論を推測し、多段階計画タスクを実行できるようにすると、顕著な改善を示しています。ただし、これらのモデルには、長い推論トレースを処理するために重要な計算リソースが必要です。研究者は、これらのモデルの有効性を維持しながら、効率を高める方法を積極的に調査しています。

One of the primary challenges in LLM reasoning is the high computational cost associated with training and inference. When models process step-by-step reasoning traces in natural language, much of the text is used to maintain coherence rather than contribute to reasoning. This leads to inefficient memory usage and increased processing time. Current methods aim to mitigate this issue by abstracting reasoning steps into compressed representations without losing critical information. However, models that attempt to internalize reasoning traces through continuous latent space or multi-stage training often perform worse than those trained with full reasoning details.

LLM推論の主な課題の1つは、トレーニングと推論に関連する高い計算コストです。モデルが自然言語で段階的な推論のトレースを処理する場合、テキストの多くは、推論に貢献するのではなく、一貫性を維持するために使用されます。これにより、メモリの使用が非効率的になり、処理時間が増加します。現在の方法は、重要な情報を失うことなく、圧縮表現への推論のステップを抽象化することにより、この問題を軽減することを目的としています。ただし、推論を内面化しようとするモデルは、連続した潜在スペースまたはマルチステージトレーニングを通じてトレースを追跡することを試みるモデルが、完全な推論の詳細で訓練されたものよりも悪化することがよくあります。

Existing solutions have focused on reducing redundancy in reasoning traces by compressing intermediate steps. Some approaches use continuous latent representations, while others involve iterative reductions of reasoning sequences. However, these methods require complex training procedures and fail to maintain performance comparable to explicit textual reasoning. Researchers sought an alternative approach that reduces computational demands while preserving reasoning capabilities. To address this, they have introduced a method that replaces parts of the reasoning process with latent discrete tokens, achieving improved efficiency without sacrificing accuracy.

既存のソリューションは、中間ステップを圧縮することにより、トレースの推論における冗長性を減らすことに焦点を合わせています。連続的な潜在表現を使用するアプローチもあれば、推論シーケンスの反復削減を伴うアプローチもあります。ただし、これらの方法では複雑なトレーニング手順が必要であり、明示的なテキスト推論に匹敵するパフォーマンスを維持できません。研究者は、推論能力を維持しながら計算需要を減らす別のアプローチを求めました。これに対処するために、推論プロセスの一部を潜在的な離散トークンに置き換える方法を導入し、精度を犠牲にすることなく効率を向上させます。

A research team from Meta AI and UC Berkeley proposed a novel technique that integrates discrete latent tokens into LLM reasoning. They employed a vector-quantized variational autoencoder (VQ-VAE) to convert a portion of the stepwise reasoning process into compact representations. The method involves replacing early reasoning steps with latent abstractions while retaining later steps in textual form. This hybrid representation ensures the model maintains interpretability while reducing the token length of reasoning sequences. The key innovation is the randomized mixing of latent and text tokens, which enables the model to adapt seamlessly to new reasoning structures without extensive retraining.

Meta AIとUC Berkeleyの研究チームは、個別の潜在トークンをLLM推論に統合する新しいテクニックを提案しました。彼らは、ベクトルQuantized変異自動エンコーダー（VQ-VAE）を使用して、段階的推論プロセスの一部をコンパクトな表現に変換しました。この方法では、テキスト形式の後の手順を保持しながら、早期の推論ステップを潜在的な抽象化に置き換えることが含まれます。このハイブリッド表現により、モデルは解釈可能性を維持しながら、推論シーケンスのトークンの長さを減らします。重要な革新は、潜在トークンとテキストトークンのランダム化された混合であり、これにより、モデルは広範な再訓練なしに新しい推論構造にシームレスに適応することができます。

The researchers developed a training strategy incorporating latent tokens into LLM reasoning traces. During training, a controlled number of reasoning steps are replaced with their corresponding latent representations, ensuring that the model learns to interpret both abstracted and explicit reasoning structures. The randomization of latent token replacements allows adaptability across different problem types, improving the model’s generalization ability. Limiting the number of textual reasoning steps reduces input size, making LLMs more computationally efficient while maintaining reasoning performance.

研究者は、潜在的なトークンをLLM推論の痕跡に組み込んだトレーニング戦略を開発しました。トレーニング中、制御された数の推論ステップが対応する潜在表現に置き換えられ、モデルが抽象化された推論構造と明示的な推論構造の両方を解釈することを学ぶことを保証します。潜在トークンの交換のランダム化により、さまざまな問題タイプにわたって適応性が可能になり、モデルの一般化能力が向上します。テキストの推論手順の数を制限すると、入力サイズが削減され、推論パフォーマンスを維持しながらLLMSがより計算効率が高くなります。

Furthermore, the researchers ensured that the extended vocabulary, including newly introduced latent tokens, could be seamlessly integrated into the model without requiring major modifications. The proposed method demonstrated significant performance improvements across various benchmarks. The approach outperformed traditional chain-of-thought (CoT) models when applied to mathematical reasoning tasks. On the Math dataset, it achieved a 4.2% improvement over previous best-performing methods. In the GSM8K benchmark, the approach yielded a 4.1% gain, while in the Fresh-Gaokao-Math-2023 dataset, it outperformed existing models by 13.3%.

さらに、研究者は、新たに導入された潜在的なトークンを含む拡張された語彙が、大きな変更を必要とせずにシームレスにモデルに統合できることを保証しました。提案された方法は、さまざまなベンチマークにわたって大幅なパフォーマンスの改善を示しました。このアプローチは、数学的な推論タスクに適用された場合、従来のチェーンオブシェア（COT）モデルよりも優れていました。数学データセットでは、以前のベストパフォーマンスの方法で4.2％の改善を達成しました。 GSM8Kベンチマークでは、このアプローチは4.1％のゲインを獲得しましたが、Fresh-Gaokao-Math-2023データセットでは、既存のモデルを13.3％上回りました。

The reduction in reasoning trace length was equally noteworthy, with an average decrease of 17%, which resulted in faster inference times and lower memory consumption.

推論の痕跡の長さの減少は同様に注目に値し、平均17％の減少が得られ、その結果、推論時間が速くなり、メモリ消費量が減少しました。

Evaluations on logical reasoning datasets such as ProntoQA and ProsQA further validated the approach’s effectiveness, with accuracy improvements of 1.2% and 18.7%, respectively. The model achieved 100% accuracy on simpler reasoning tasks, demonstrating its capacity for efficient logical deduction.

ProntoqaやProsqaなどの論理推論データセットに関する評価は、それぞれ1.2％と18.7％の精度の向上で、アプローチの有効性をさらに検証しました。このモデルは、より単純な推論タスクで100％の精度を達成し、効率的な論理控除の能力を示しました。

The introduction of latent tokens has provided a significant step forward in optimizing LLM reasoning without compromising accuracy. By reducing the dependence on full-text reasoning sequences and leveraging discrete latent representations, the researchers have developed an approach that maintains efficiency while improving model generalization. The hybrid structure ensures that essential reasoning components are preserved, offering a practical solution to the challenge of balancing interpretability and computational efficiency. As LLMs continue to evolve, such methods may pave the way for more resource-efficient artificial intelligence systems that retain high levels of reasoning capability.

潜在トークンの導入は、精度を損なうことなくLLM推論を最適化する上で大きな前進をもたらしました。フルテキストの推論シーケンスへの依存を減らし、離散潜在表現を活用することにより、研究者はモデルの一般化を改善しながら効率を維持するアプローチを開発しました。ハイブリッド構造により、不可欠な推論コンポーネントが保存されることが保証され、解釈可能性と計算効率のバランスをとるという課題に対する実用的なソリューションが提供されます。 LLMSが進化し続けるにつれて、このような方法は、高レベルの推論能力を保持するよりリソース効率の高い人工知能システムへの道を開く可能性があります。