AI 추론 측정: 연구자를 위한 가이드

요약

본 가이드는 언어 모델의 추론 능력을 평가하는 연구자들을 위해 작성되었으며, 단순히 최종 답변의 정확도만으로는 충분하지 않다고 강조합니다. 대신, 추론 과정을 '검색과 같은 절차'로 형식화하여 중간 단계의 선택 및 정지 과정을 분석해야 한다고 주장합니다. 따라서 최종 결과뿐 아니라 중간 디코딩 과정이나 외부화된 추론 흔적(traces)을 평가 목표로 삼는 프로세스 기반 평가 방법론으로의 전환이 필요함을 제안합니다.

핵심 포인트

• 언어 모델의 추론 평가는 단순한 최종 답변 정확도를 넘어선 접근 방식이 필요하다.
• 추론 과정을 '검색과 같은 절차(search-like procedure)'로 형식화하여 중간 단계의 선택 및 정지 과정을 분석해야 한다.
• 단일 순차 전파 아키텍처는 가변 깊이 계산을 구현하는 데 구조적 한계가 있다.
• 평가는 최종 결과뿐 아니라 '중간 디코딩' 또는 '외부화된 추론 흔적(traces)'의 충실성 및 유효성을 핵심 목표로 삼아야 한다.