소형 언어 모델(SLM)을 위한 코드 가이드 추론: 실행 가능한 MCQA 스캐폴드 평가

요약

본 연구는 소형 언어 모델(SLM)이 외부 도구 및 코드와 같은 스캐폴드를 활용할 때의 성능 변화를 측정하기 위한 '코드 가이드 추론(CGR)' 프레임워크를 제안합니다. CGR은 MCQA 작업에서 실행 가능한 Python 스캐폴드를 표준화된 구성 요소로 제공하여, 모델의 직접 답변 능력과 보조 추론 능력 간의 성능 차이를 체계적으로 평가합니다.

핵심 포인트

• 코드 가이드 추론(CGR)은 SLM의 외부 스캐폴드 활용 능력을 평가하기 위한 표준화된 프로토콜과 프로그램 리소스를 제공합니다.
• 실험 결과, 보조 추론을 사용할 경우 직접 답변 방식보다 정확도가 최대 28.10%포인트 향상되는 효과를 확인했습니다.
• CGR은 정규화된 인터페이스, Python 스캐폴드, 추출 헬퍼 등 6가지 핵심 구성 요소를 통해 평가 과정을 표준화합니다.
• 보조 추론 과정에서 발생하는 높은 계산 비용, 정답 추출의 취약성, 생성된 프로그램의 지침 위반 등의 한계점을 분석합니다.