Le remplacement des parties du processus de raisonnement par des jetons discrets latents améliore le raisonnement de modèle de langue

Les LLM ont montré des améliorations significatives lorsqu'elles sont explicitement formées sur des traces de raisonnement structurées, leur permettant de résoudre des équations mathématiques, de déduire des conclusions logiques et de naviguer dans les tâches de planification en plusieurs étapes. Cependant, les ressources de calcul nécessaires pour traiter ces longues traces de raisonnement sont substantielles. Ce travail présente une nouvelle technique qui intègre des jetons latents discrets dans le raisonnement LLM.

Large Language Models (LLMs) have shown remarkable improvements when explicitly trained on structured reasoning traces, enabling them to solve mathematical equations, infer logical conclusions, and perform multistep planning tasks. However, these models require significant computational resources to process lengthy reasoning traces. Researchers are actively exploring ways to enhance efficiency while maintaining the effectiveness of these models.

Les grands modèles de langage (LLM) ont montré des améliorations remarquables lorsqu'elles sont explicitement formées sur des traces de raisonnement structurées, leur permettant de résoudre des équations mathématiques, de déduire des conclusions logiques et d'effectuer des tâches de planification en plusieurs étapes. Cependant, ces modèles nécessitent des ressources de calcul importantes pour traiter de longues traces de raisonnement. Les chercheurs explorent activement des moyens d'améliorer l'efficacité tout en maintenant l'efficacité de ces modèles.

One of the primary challenges in LLM reasoning is the high computational cost associated with training and inference. When models process step-by-step reasoning traces in natural language, much of the text is used to maintain coherence rather than contribute to reasoning. This leads to inefficient memory usage and increased processing time. Current methods aim to mitigate this issue by abstracting reasoning steps into compressed representations without losing critical information. However, models that attempt to internalize reasoning traces through continuous latent space or multi-stage training often perform worse than those trained with full reasoning details.

L'un des principaux défis du raisonnement LLM est le coût de calcul élevé associé à la formation et à l'inférence. Lorsque les modèles traitent des traces de raisonnement étape par étape en langage naturel, une grande partie du texte est utilisée pour maintenir la cohérence plutôt que de contribuer au raisonnement. Cela conduit à une utilisation inefficace de la mémoire et à une augmentation du temps de traitement. Les méthodes actuelles visent à atténuer ce problème en abstraction des étapes de raisonnement dans des représentations compressées sans perdre des informations critiques. Cependant, les modèles qui tentent d'internaliser les traces de raisonnement via l'espace latent continu ou la formation en plusieurs étapes fonctionnent souvent moins bien que ceux formés avec des détails de raisonnement complets.

Existing solutions have focused on reducing redundancy in reasoning traces by compressing intermediate steps. Some approaches use continuous latent representations, while others involve iterative reductions of reasoning sequences. However, these methods require complex training procedures and fail to maintain performance comparable to explicit textual reasoning. Researchers sought an alternative approach that reduces computational demands while preserving reasoning capabilities. To address this, they have introduced a method that replaces parts of the reasoning process with latent discrete tokens, achieving improved efficiency without sacrificing accuracy.

Les solutions existantes se sont concentrées sur la réduction de la redondance des traces de raisonnement en compressant les étapes intermédiaires. Certaines approches utilisent des représentations latentes continues, tandis que d'autres impliquent des réductions itératives des séquences de raisonnement. Cependant, ces méthodes nécessitent des procédures de formation complexes et ne maintiennent pas les performances comparables au raisonnement textuel explicite. Les chercheurs ont cherché une approche alternative qui réduit les demandes de calcul tout en préservant les capacités de raisonnement. Pour y remédier, ils ont introduit une méthode qui remplace des parties du processus de raisonnement par des jetons discrets latents, réalisant une efficacité améliorée sans sacrifier la précision.

A research team from Meta AI and UC Berkeley proposed a novel technique that integrates discrete latent tokens into LLM reasoning. They employed a vector-quantized variational autoencoder (VQ-VAE) to convert a portion of the stepwise reasoning process into compact representations. The method involves replacing early reasoning steps with latent abstractions while retaining later steps in textual form. This hybrid representation ensures the model maintains interpretability while reducing the token length of reasoning sequences. The key innovation is the randomized mixing of latent and text tokens, which enables the model to adapt seamlessly to new reasoning structures without extensive retraining.

Une équipe de recherche de Meta AI et UC Berkeley a proposé une nouvelle technique qui intègre des jetons latents discrets dans le raisonnement LLM. Ils ont utilisé un autoencodeur variationnel quantifié de vecteur (VQ-VAE) pour convertir une partie du processus de raisonnement par étapes en représentations compactes. La méthode consiste à remplacer les étapes de raisonnement précoces par des abstractions latentes tout en conservant les étapes ultérieures sous forme textuelle. Cette représentation hybride garantit que le modèle maintient l'interprétabilité tout en réduisant la longueur de jeton des séquences de raisonnement. L'innovation clé est le mélange randomisé de jetons latents et de texte, qui permet au modèle de s'adapter de manière transparente aux nouvelles structures de raisonnement sans recyclage approfondi.

The researchers developed a training strategy incorporating latent tokens into LLM reasoning traces. During training, a controlled number of reasoning steps are replaced with their corresponding latent representations, ensuring that the model learns to interpret both abstracted and explicit reasoning structures. The randomization of latent token replacements allows adaptability across different problem types, improving the model’s generalization ability. Limiting the number of textual reasoning steps reduces input size, making LLMs more computationally efficient while maintaining reasoning performance.

Les chercheurs ont développé une stratégie de formation incorporant des jetons latents dans des traces de raisonnement LLM. Pendant la formation, un nombre contrôlé d'étapes de raisonnement sont remplacés par leurs représentations latentes correspondantes, garantissant que le modèle apprend à interpréter à la fois des structures de raisonnement abstraites et explicites. La randomisation des remplacements de jeton latente permet l'adaptabilité à travers différents types de problèmes, améliorant la capacité de généralisation du modèle. Limiter le nombre d'étapes de raisonnement textuel réduit la taille de l'entrée, ce qui rend les LLM plus efficaces en calcul tout en maintenant les performances du raisonnement.

Furthermore, the researchers ensured that the extended vocabulary, including newly introduced latent tokens, could be seamlessly integrated into the model without requiring major modifications. The proposed method demonstrated significant performance improvements across various benchmarks. The approach outperformed traditional chain-of-thought (CoT) models when applied to mathematical reasoning tasks. On the Math dataset, it achieved a 4.2% improvement over previous best-performing methods. In the GSM8K benchmark, the approach yielded a 4.1% gain, while in the Fresh-Gaokao-Math-2023 dataset, it outperformed existing models by 13.3%.

En outre, les chercheurs ont veillé à ce que le vocabulaire étendu, y compris les jetons latents nouvellement introduits, puisse être intégré de manière transparente dans le modèle sans nécessiter de modifications majeures. La méthode proposée a démontré des améliorations de performances significatives à travers divers repères. L'approche a surperformé les modèles traditionnels de la chaîne de pensées (COT) lorsqu'ils sont appliqués aux tâches de raisonnement mathématique. Sur l'ensemble de données mathématiques, il a réalisé une amélioration de 4,2% par rapport aux méthodes les plus performantes précédentes. Dans l'indice de référence GSM8K, l'approche a donné un gain de 4,1%, tandis que dans l'ensemble de données Fresh-Gaokao-Math-2023, il a surpassé les modèles existants de 13,3%.

The reduction in reasoning trace length was equally noteworthy, with an average decrease of 17%, which resulted in faster inference times and lower memory consumption.

La réduction de la longueur des traces de raisonnement a été également remarquable, avec une diminution moyenne de 17%, ce qui a entraîné des temps d'inférence plus rapides et une consommation de mémoire plus rapide.

Evaluations on logical reasoning datasets such as ProntoQA and ProsQA further validated the approach’s effectiveness, with accuracy improvements of 1.2% and 18.7%, respectively. The model achieved 100% accuracy on simpler reasoning tasks, demonstrating its capacity for efficient logical deduction.

Les évaluations sur les ensembles de données de raisonnement logique tels que Prontoqa et Prosqa ont en outre validé l'efficacité de l'approche, avec une amélioration de la précision de 1,2% et 18,7%, respectivement. Le modèle a atteint une précision de 100% sur des tâches de raisonnement plus simples, démontrant sa capacité de déduction logique efficace.

The introduction of latent tokens has provided a significant step forward in optimizing LLM reasoning without compromising accuracy. By reducing the dependence on full-text reasoning sequences and leveraging discrete latent representations, the researchers have developed an approach that maintains efficiency while improving model generalization. The hybrid structure ensures that essential reasoning components are preserved, offering a practical solution to the challenge of balancing interpretability and computational efficiency. As LLMs continue to evolve, such methods may pave the way for more resource-efficient artificial intelligence systems that retain high levels of reasoning capability.

L'introduction de jetons latents a fourni un pas en avant significatif dans l'optimisation du raisonnement LLM sans compromettre la précision. En réduisant la dépendance à l'égard des séquences de raisonnement en texte intégral et en tirant parti des représentations latentes discrètes, les chercheurs ont développé une approche qui maintient l'efficacité tout en améliorant la généralisation du modèle. La structure hybride garantit que les composants de raisonnement essentiels sont préservés, offrant une solution pratique au défi de l'équilibre entre l'interprétabilité et l'efficacité de calcul. Alors que les LLM continuent d'évoluer, ces méthodes peuvent ouvrir la voie à des systèmes d'intelligence artificielle plus économes en ressources qui conservent des niveaux élevés de capacité de raisonnement.