올바른 것이 사용 불가능할 때: 소규모 언어 모델의 구조적 출력 신뢰도 개선

배포된 언어 모델은 정확하고 형식 규격을 준수하는 출력을 생성해야 합니다. 우리는 두 수학적 벤치마크인 GSM8K 와 MATH 를 통제된 테스트베드 (testbed) 로 사용하여 이 구조적 출력 신뢰도 격차를 연구했습니다: 참값 (ground truth) 은 모호하지 않으며, 출력 계약 (output contract) 은 엄격합니다 (필수 필드를 갖는 JSON). 우리는 5 가지 프롬프트 전략 하에서 3 개의 79B 모델을 평가하고, 수학적 정확성과 유효한 JSON 구조의 공동 사건 (joint event) 인 출력 정확도를 주요 지표로 보고했습니다. 체계적인 형식 실패가 발생했습니다: NAIVE 프롬프팅 (시스템 프롬프트 없음) 은 GSM8K 에서 최대 85% 의 작업 정확도를 달성하지만, 모든 모델과 데이터셋에서 0% 의 출력 정확도를 보였습니다. REFERENCE 프롬프팅 (최소한의 수동 작성된 JSON 형식 프롬프트) 은 크게 나아지지 않았으며, 테스트된 4 개의 모델 중 2 개에서 0% 의 출력 정확도를 얻었습니다. 제약 해독 (Constrained decoding) 은 문법적 유효성을 강제하지만 3.6 배8.2 배의 지연 오버헤드를 유발하며, 일부 설정에서는 작업 성능을 현저히 저하시킵니다. 이 한계를 극복하기 위해 우리는 AloLab 을 개발했습니다: 이는 목표 모델에 대한 블랙박스 API 접근만 필요하며, 반복적인 시스템 프롬프트 최적화기 (메타 에이전트: Claude Sonnet 4.5) 입니다. 이는 GSM8K 에서 8487% 의 출력 정확도를 달성하고 MATH 에서 3440% 를 얻으며, 5 번의 독립 실행에 대해 평균 29/30 개의 McNemar 비교가 p < 0.05 로 유의하며, NAIVE 추론 지연과 유사한 수준이며 모델 미세 조정 없이 수행됩니다. 동일한 형식 실패는 GPT-4o (OpenAI, 2024), 즉 독점적인 폐쇄 소스 모델에도 적용됩니다: REFERENCE 는 체계적인 마크다운 펜스 감싸기 (markdown-fence wrapping) 로 인해 0% 의 출력 정확도를 얻고, AloLab 은 95.2% [94.8, 95.6] 를 달성합니다. Sonnet 4.5 메타 에이전트를 Claude 3 Haiku 로 대체하는 아벨레이션 (ablation) 을 수행하면 평균 출력 정확도가 61.0% 로 감소하고 실행 간 표준 편차가 <1 pp 에서 21.8 pp 으로 증가하여, 메타 에이전트 능력이 최적화 품질의 주요 동인임을 확인했습니다.