추론 프로세스의 일부를 잠재적 인 불연속 토큰으로 교체하면 큰 언어 모델 추론이 향상됩니다.

LLMS는 구조화 된 추론 흔적에 대해 명시 적으로 훈련 될 때 상당한 개선을 보여 주어 수학적 방정식을 해결하고 논리적 결론을 추론하며 다단계 계획 작업을 탐색 할 수 있습니다. 그러나 이러한 긴 추론 흔적을 처리하는 데 필요한 계산 자원은 상당합니다. 이 작품은 개별 잠재 토큰을 LLM 추론에 통합하는 새로운 기술을 소개합니다.

Large Language Models (LLMs) have shown remarkable improvements when explicitly trained on structured reasoning traces, enabling them to solve mathematical equations, infer logical conclusions, and perform multistep planning tasks. However, these models require significant computational resources to process lengthy reasoning traces. Researchers are actively exploring ways to enhance efficiency while maintaining the effectiveness of these models.

LLM (Lange Language Models)은 구조화 된 추론 흔적에 대해 명시 적으로 훈련 할 때 놀라운 개선을 보여 주어 수학적 방정식을 해결하고 논리적 결론을 추론하며 다단계 계획 작업을 수행 할 수 있습니다. 그러나 이러한 모델은 긴 추론 흔적을 처리하기 위해 상당한 계산 리소스가 필요합니다. 연구원들은 이러한 모델의 효과를 유지하면서 효율성을 높이는 방법을 적극적으로 탐구하고 있습니다.

One of the primary challenges in LLM reasoning is the high computational cost associated with training and inference. When models process step-by-step reasoning traces in natural language, much of the text is used to maintain coherence rather than contribute to reasoning. This leads to inefficient memory usage and increased processing time. Current methods aim to mitigate this issue by abstracting reasoning steps into compressed representations without losing critical information. However, models that attempt to internalize reasoning traces through continuous latent space or multi-stage training often perform worse than those trained with full reasoning details.

LLM 추론의 주요 과제 중 하나는 훈련 및 추론과 관련된 높은 계산 비용입니다. 모델이 자연어로 단계별 추론 흔적을 처리 할 때, 텍스트의 대부분은 추론에 기여하기보다는 일관성을 유지하는 데 사용됩니다. 이로 인해 비효율적 인 메모리 사용량과 처리 시간이 증가합니다. 현재의 방법은 중요한 정보를 잃지 않고 추론 단계를 압축 표현으로 추상화 하여이 문제를 완화하는 것을 목표로합니다. 그러나 지속적인 잠재 공간이나 다단계 훈련을 통해 추론 흔적을 내재화하려는 모델은 종종 전체 추론 세부 사항으로 훈련 된 것보다 더 나쁘게 수행합니다.

Existing solutions have focused on reducing redundancy in reasoning traces by compressing intermediate steps. Some approaches use continuous latent representations, while others involve iterative reductions of reasoning sequences. However, these methods require complex training procedures and fail to maintain performance comparable to explicit textual reasoning. Researchers sought an alternative approach that reduces computational demands while preserving reasoning capabilities. To address this, they have introduced a method that replaces parts of the reasoning process with latent discrete tokens, achieving improved efficiency without sacrificing accuracy.

기존 솔루션은 중간 단계를 압축하여 추론 흔적의 중복성을 줄이는 데 중점을 두었습니다. 일부 접근법은 지속적인 잠재적 표현을 사용하는 반면, 다른 접근법은 추론 시퀀스의 반복적 인 감소를 포함합니다. 그러나 이러한 방법에는 복잡한 교육 절차가 필요하며 명시 적 텍스트 추론과 비교할 수있는 성능을 유지하지 못합니다. 연구원들은 추론 능력을 보존하면서 계산 요구를 줄이는 대체 접근법을 찾았습니다. 이를 해결하기 위해, 그들은 추론 프로세스의 일부를 잠재적 이산 토큰으로 대체하여 정확성을 희생하지 않고 효율성을 향상시키는 방법을 도입했습니다.

A research team from Meta AI and UC Berkeley proposed a novel technique that integrates discrete latent tokens into LLM reasoning. They employed a vector-quantized variational autoencoder (VQ-VAE) to convert a portion of the stepwise reasoning process into compact representations. The method involves replacing early reasoning steps with latent abstractions while retaining later steps in textual form. This hybrid representation ensures the model maintains interpretability while reducing the token length of reasoning sequences. The key innovation is the randomized mixing of latent and text tokens, which enables the model to adapt seamlessly to new reasoning structures without extensive retraining.

Meta AI와 UC Berkeley의 연구팀은 개별 잠재 토큰을 LLM 추론에 통합하는 새로운 기술을 제안했습니다. 그들은 단계적 추론 프로세스의 일부를 컴팩트 한 표현으로 변환하기 위해 벡터-정량 변동성 자동 인코 코더 (VQ-VAE)를 사용했습니다. 이 방법은 초기 추론 단계를 잠재적 추상화로 대체하는 동시에 텍스트 형식의 나중 단계를 유지하는 것이 포함됩니다. 이 하이브리드 표현은 모델이 해석 가능성을 유지하면서 토큰 길이의 추론 시퀀스를 줄입니다. 주요 혁신은 잠복 및 텍스트 토큰의 무작위 혼합으로, 모델이 광범위한 재교육없이 새로운 추론 구조에 원활하게 적응할 수 있도록합니다.

The researchers developed a training strategy incorporating latent tokens into LLM reasoning traces. During training, a controlled number of reasoning steps are replaced with their corresponding latent representations, ensuring that the model learns to interpret both abstracted and explicit reasoning structures. The randomization of latent token replacements allows adaptability across different problem types, improving the model’s generalization ability. Limiting the number of textual reasoning steps reduces input size, making LLMs more computationally efficient while maintaining reasoning performance.

연구원들은 LLM 추론 흔적에 잠재적 인 토큰을 포함하는 훈련 전략을 개발했습니다. 훈련하는 동안 통제 된 수의 추론 단계가 해당 잠재적 표현으로 대체되어 모델이 추상화 된 명백한 추론 구조를 해석하는 법을 배웁니다. 잠재 토큰 교체의 무작위 화는 다양한 문제 유형에 대한 적응성을 허용하여 모델의 일반화 능력을 향상시킵니다. 텍스트 추론 단계의 수를 제한하면 입력 크기가 줄어들어 LLM이 계산 성능을 유지하면서 LLM을보다 효율적으로 효율적으로 만듭니다.

Furthermore, the researchers ensured that the extended vocabulary, including newly introduced latent tokens, could be seamlessly integrated into the model without requiring major modifications. The proposed method demonstrated significant performance improvements across various benchmarks. The approach outperformed traditional chain-of-thought (CoT) models when applied to mathematical reasoning tasks. On the Math dataset, it achieved a 4.2% improvement over previous best-performing methods. In the GSM8K benchmark, the approach yielded a 4.1% gain, while in the Fresh-Gaokao-Math-2023 dataset, it outperformed existing models by 13.3%.

또한, 연구원들은 새로 도입 된 잠재 토큰을 포함한 확장 된 어휘가 주요 수정 없이는 모델에 완벽하게 통합 될 수 있음을 보장했습니다. 제안 된 방법은 다양한 벤치 마크에서 상당한 성능 향상을 보여 주었다. 이 접근법은 수학적 추론 작업에 적용될 때 전통적인 전통적인 체인 (COT) 모델을 능가했습니다. 수학 데이터 세트에서는 이전의 가장 성능이 좋은 방법에 비해 4.2% 개선을 달성했습니다. GSM8K 벤치 마크 에서이 접근법은 4.1%의 이득을 얻었고, Fresh Gaokao-Math-2023 데이터 세트에서는 기존 모델을 13.3% 성능이 우수했습니다.

The reduction in reasoning trace length was equally noteworthy, with an average decrease of 17%, which resulted in faster inference times and lower memory consumption.

추론 추적 길이의 감소는 평균 평균 감소로 주목할만한 것이었고, 이는 17%감소하여 추론 시간이 빠르고 메모리 소비가 감소했습니다.

Evaluations on logical reasoning datasets such as ProntoQA and ProsQA further validated the approach’s effectiveness, with accuracy improvements of 1.2% and 18.7%, respectively. The model achieved 100% accuracy on simpler reasoning tasks, demonstrating its capacity for efficient logical deduction.

Prontoqa 및 Prosqa와 같은 논리적 추론 데이터 세트에 대한 평가는 각각 1.2% 및 18.7%의 정확도 개선으로 접근 방식의 효과를 더욱 검증했습니다. 이 모델은 더 간단한 추론 작업에서 100% 정확도를 달성하여 효율적인 논리적 공제 용량을 보여줍니다.

The introduction of latent tokens has provided a significant step forward in optimizing LLM reasoning without compromising accuracy. By reducing the dependence on full-text reasoning sequences and leveraging discrete latent representations, the researchers have developed an approach that maintains efficiency while improving model generalization. The hybrid structure ensures that essential reasoning components are preserved, offering a practical solution to the challenge of balancing interpretability and computational efficiency. As LLMs continue to evolve, such methods may pave the way for more resource-efficient artificial intelligence systems that retain high levels of reasoning capability.

잠재 토큰의 도입은 정확도를 손상시키지 않고 LLM 추론을 최적화하는 데 중요한 발전을 제공했습니다. 전체 텍스트 추론 시퀀스에 대한 의존성을 줄이고 개별 잠재적 표현을 활용함으로써, 연구원들은 모델 일반화를 향상시키면서 효율성을 유지하는 접근법을 개발했습니다. 하이브리드 구조는 필수 추론 구성 요소가 보존되도록하여 해석 가능성과 계산 효율성의 균형을 맞추는 데 어려움을 겪는 실용적인 솔루션을 제공합니다. LLM이 계속 발전함에 따라 이러한 방법은 높은 수준의 추론 능력을 유지하는보다 자원 효율적인 인공 지능 시스템을위한 길을 열어 줄 수 있습니다.