판단 없는 절차: 정확한 검증기(Verifier) 하에서 소형 언어 모델(Small Language Models)이 학습하는 것
요약
본 글은 정확한 검증기(verifier)를 통해 소형 언어 모델이 정책 결정의 최소 충분 이유를 학습하는 방법을 탐구합니다. Frontier 모델들은 도구 사용만으로 높은 정확도를 보였으며, 특정 문장 지시가 Haiku 4.5의 성능을 크게 향상시키는 것이 확인되었습니다. 또한, 삭제 알고리즘과 강화 학습을 통해 모델이 정책에서 높은 수준의 충분성을 확보할 수 있음을 제시합니다.
핵심 포인트
- 정확한 검증기는 최소 충분 이유를 실제 진실 기준으로 점수화하여 정확도를 높입니다.
- Frontier 모델은 도구만으로 약 절반 확률로 정확한 이유를 찾아내는 능력을 보였습니다.
- 특정 문장 지시가 Haiku 4.5의 성능을 58%에서 75%로 끌어올리는 효과가 입증되었습니다.
- 삭제 알고리즘 미세 조정된 모델은 학습 정책에서 92%에 도달하는 높은 정확도를 보였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기