추론 비 효율성을 줄이기 위해 생각한 추론 체인 모델의 숨겨진 상태를 탐색

인공 지능 시스템은 인간 스타일의 추론, 특히 수학 및 논리를 시뮬레이션하는 데 큰 진전을 이루었습니다. 이 모델들은 답을 생성하는 것이 아니라 결론에 도달하기 위해 일련의 논리적 단계를 통해 그 답변이 어떻게 그리고 왜 생성되는지에 대한 통찰력을 제공합니다. 종종 COT (Cain-of-Thought) (COT)라고 불리는이 단계별 추론은 기계가 복잡한 문제 해결 작업을 처리하는 방법에 필수적이되었습니다.

Artificial intelligence systems have made remarkable progress in simulating human-style reasoning, especially in domains like mathematics and logic. Unlike typical generative models, these systems generate a series of intermediate steps to reach a final answer, offering insights into the reasoning process. This step-by-step reasoning, often called Chain-of-Thought (CoT), is crucial for machines to handle complex problem-solving tasks.

인공 지능 시스템은 특히 수학 및 논리와 같은 영역에서 인간 스타일 추론을 시뮬레이션하는 데 현저한 진전을 이루었습니다. 일반적인 생성 모델과 달리 이러한 시스템은 최종 답변에 도달하기위한 일련의 중간 단계를 생성하여 추론 프로세스에 대한 통찰력을 제공합니다. 종종 COT (Cain-of-Thought) (COT)라고 불리는이 단계별 추론은 기계가 복잡한 문제 해결 작업을 처리하는 데 중요합니다.

A common challenge researchers face is the models' inefficiency during inference. The reasoning models may continue processing even after attaining a correct conclusion, leading to overthinking. This generates unnecessary tokens, increasing computational cost.

연구자들이 직면 한 일반적인 도전은 추론 중 모델의 비 효율성입니다. 추론 모델은 올바른 결론을 달성 한 후에도 계속 처리 될 수있어 지나치게 생각할 수 있습니다. 이것은 불필요한 토큰을 생성하여 계산 비용을 증가시킵니다.

Many current approaches measure a model's confidence using verbal prompts or by analyzing multiple outputs. These "black-box" strategies ask the model to report how sure it is of its answer. However, they are often imprecise and computationally expensive. On the other hand, "white-box" methods investigate models' internal hidden states to extract signals that may correlate with answer correctness.

많은 현재 접근법은 구두 프롬프트를 사용하거나 여러 출력을 분석하여 모델의 신뢰를 측정합니다. 이 "블랙 박스"전략은 모델에 그 답이 얼마나 확실한 지보고하도록 요청합니다. 그러나 종종 부정확하고 계산 비용이 많이 듭니다. 반면에 "화이트 박스"방법은 모델의 내부 숨겨진 상태를 조사하여 답변 정확성과 관련이있을 수있는 신호를 추출합니다.

Prior work has shown that a model's internal states can indeed indicate the validity of final answers. However, applying this to intermediate steps in long reasoning chains is still an underexplored direction.

이전 작업에 따르면 모델의 내부 상태는 실제로 최종 답변의 유효성을 나타낼 수 있습니다. 그러나 이것을 긴 추론 사슬의 중간 단계에 적용하는 것은 여전히 ​​미숙 한 방향입니다.

To bridge this gap, a team of researchers from New York University and NYU Shanghai designed a lightweight probe—a simple two-layer neural network—to inspect a model's hidden states at intermediate reasoning steps. Their models of choice were the DeepSeek-R1-Distill series and QwQ-32B, known for their excellent step-by-step reasoning capabilities, tested across various datasets including AIME, GSM8K, and MATH. The researchers trained their probe to read the internal state associated with each chunk of reasoning and predict whether the current intermediate answer was correct.

이러한 격차를 해소하기 위해 뉴욕 대학교 (New York University)와 NYU 상하이 (NYU Shanghai)의 연구팀은 중간 추론 단계에서 모델의 숨겨진 상태를 검사하기 위해 경량 프로브 (간단한 2 층 신경망)를 설계했습니다. 그들의 선택 모델은 Aime, GSM8K 및 Math를 포함한 다양한 데이터 세트에서 테스트 된 탁월한 단계별 추론 기능으로 유명한 DeepSeek-R1-Distill Series 및 QWQ-32B였습니다. 연구원들은 각 추론의 덩어리와 관련된 내부 상태를 읽고 현재의 중간 답변이 올바른지 예측하도록 조사를 훈련시켰다.

To construct their approach, they segmented each long CoT output into smaller parts or chunks, using markers like "wait" or "verify" to identify breaks in reasoning. They used the last token's hidden state in each chunk as a representation and matched this to a correctness label, which was judged using another model. These representations were then used to train the probe on binary classification tasks. The probe was fine-tuned using grid search across hyperparameters like learning rate and hidden layer size, with most models converging to linear probes—highlighting that correctness information is often linearly embedded in the hidden states.

그들의 접근 방식을 구성하기 위해, 그들은 각각의 긴 침대 출력을 "대기"또는 "확인"과 같은 마커를 사용하여 추론의 중단을 식별하여 작은 부품 또는 청크로 분류했습니다. 그들은 각 청크에서 마지막 토큰의 숨겨진 상태를 표현으로 사용했으며 이것을 다른 모델을 사용하여 판단 된 올바른 레이블과 일치 시켰습니다. 그런 다음 이러한 표현은 이진 분류 작업에 대한 프로브를 훈련시키는 데 사용되었습니다. 프로브는 학습 속도 및 숨겨진 계층 크기와 같은 하이퍼 파라미터를 통해 그리드 검색을 사용하여 미세 조정되었습니다. 대부분의 모델은 선형 프로브로 수렴하여 정확성 정보가 종종 숨겨진 상태에 선형으로 포함된다는 것을 높이고 있습니다.

The probe worked effectively for fully formed answers and even showed the ability to predict correctness before an answer was completed, alluding to look-ahead capabilities.

프로브는 완전히 형성된 답변에 효과적으로 일했으며 답변이 완료되기 전에 정확성을 예측할 수있는 능력을 보여 주면서 외모 능력을 암시했습니다.

Performance results were clear and quantifiable. The probes achieved ROC-AUC scores exceeding 0.9 for some datasets like AIME when using models like R1-Distill-Qwen-32B. Expected Calibration Errors (ECE) remained under 0.1, showcasing high reliability. For instance, R1-Distill-Qwen-32B had an ECE of just 0.01 on GSM8K and 0.06 on MATH.

성능 결과는 명확하고 정량화 가능했습니다. 프로브는 R1-Distill-Qwen-32B와 같은 모델을 사용할 때 AIME와 같은 일부 데이터 세트의 경우 0.9를 초과했습니다. 예상 교정 오차 (ECE)는 0.1 미만으로 유지되어 높은 신뢰성을 보여줍니다. 예를 들어, R1-Distill-Qwen-32b는 GSM8K에서 0.01, 수학에서 0.06의 ECE를 가졌습니다.

In application, the probe was used to implement a confidence-based early exit strategy during inference. The reasoning process was halted when the probe's confidence in an answer exceeded a threshold. At a confidence threshold of 0.85, the accuracy remained at 88.2%, while the inference token count was reduced by 24%. Even at a threshold of 0.9, accuracy stayed at 88.6%, with a 19% token reduction. Compared to static exit methods, this dynamic strategy achieved up to 5% higher accuracy using the same or fewer tokens.

응용 프로그램에서 프로브는 추론 중 신뢰도 기반 초기 출구 전략을 구현하는 데 사용되었습니다. 답변에 대한 프로브의 신뢰가 임계 값을 초과하면 추론 과정이 중단되었습니다. 0.85의 신뢰 임계 값에서 정확도는 88.2%로 유지되었으며 추론 토큰 수는 24%감소했습니다. 0.9의 임계 값에서도 정확도는 88.6%로 유지되었으며 19%의 토큰 감소가있었습니다. 정적 출구 방법과 비교 하여이 동적 전략은 동일하거나 적은 토큰을 사용하여 최대 5% 더 높은 정확도를 달성했습니다.

This study provides an efficient, integrated way for reasoning models to self-verify during inference. The researchers' approach highlights a gap—models inherently know when they're right, but they don't act on it. This research opens up avenues for smarter, more efficient reasoning systems by leveraging internal representations through probing. It demonstrates that tapping into what the model already "knows" can lead to significant improvements in both performance and resource use.

이 연구는 추론 모델이 추론 중에 스스로 검증 할 수있는 효율적이고 통합 된 방법을 제공합니다. 연구원의 접근 방식은 격차를 강조합니다. 모듈은 본질적으로 그들이 옳은시기를 알고 있지만, 그것에 대해 행동하지 않습니다. 이 연구는 조사를 통해 내부 표현을 활용하여 더 똑똑하고 효율적인 추론 시스템을위한 길을 열어줍니다. 모델이 이미 "알고있는"내용을 활용하면 성능과 리소스 사용이 크게 향상 될 수 있음을 보여줍니다.