효과적인 추론을 위한 코드 인터프리터(Code Interpreter)의 외재적 및 내재적 특성 탐구

코드 인터프리터(Code Interpreter, CI)를 활용한 추론은 실행 가능한 연산과 반복적인 검증을 통해 대규모 언어 모델(LLMs)의 추론 능력을 향상시키는 효과적인 패러다임으로 부상했습니다. 사용 사례가 증가하고 있음에도 불구하고, 효과적인 코드 추론의 근간이 되는 행동적 특성은 여전히 미개척 상태로 남아 있습니다. 본 연구에서는 자연어 추론에 관한 기존 연구에서 영감을 얻어, 두 가지 뚜렷한 관점에서 코드 추론을 조사합니다: 핵심 토큰(crucial tokens)으로 표현되는 외재적 특성(extrinsic properties)과 코드 특유의 인지 행동(cognitive behaviors)으로 표현되는 내재적 특성(intrinsic properties)입니다. 여러 LLMs에 걸쳐 조사한 결과, CI 추론 능력이 더 강력한 모델일수록 핵심 토큰과 인지 행동, 특히 검증(verification), 백트래킹(backtracking), 역방향 체이닝(backward chaining)의 출현 빈도가 일관되게 높다는 것을 발견했습니다. 이러한 관찰을 바탕으로, 우리는 이러한 특성들이 추론(inference)과 학습(training) 과정 모두에서 어떻게 활용될 수 있는지 검토합니다. 추론 단계에서는 코드 특유의 핵심 토큰을 추가함으로써 수학, 순서 지정(ordering), 최적화(optimization)를 포함한 여러 추론 능력에서 성능이 향상되는 반면, 다른 분야에서의 이점은 제한적이었습니다. 학습 단계에서는 최첨단 프레임워크에 코드 특유의 인지 행동을 증강함으로써, 평가된 세 가지 모델 중 두 가지 모델에서 지도 미세 조정(supervised fine-tuning) 및 강화 학습(reinforcement learning) 성능이 향상되었습니다. 추가 분석을 통해 이러한 행동들이 오답에서의 과도한 생각(overthinking)을 줄이고 토큰 효율성을 개선한다는 것을 보여주었으며, 동시에 특정 모델에서 성능 향상을 제한하는 요인들도 밝혀냈습니다. 우리의 연구 결과는 CI를 활용한 효과적인 추론에 대한 최초의 체계적인 특성 규명을 제공하며, CI 기반 추론을 개선하기 위해 핵심 특성을 활용하는 것의 잠재력과 한계를 모두 입증합니다.