올바른 것이 사용 불가능할 때: 소규모 언어 모델의 구조적 출력 신뢰도 개선

요약

본 연구는 언어 모델이 수학 문제 해결과 같은 구조적이고 형식적인 출력을 생성할 때 발생하는 신뢰도 격차를 분석합니다. 기존의 프롬프트 엔지니어링(NAIVE, REFERENCE)이나 제약 디코딩 방식은 높은 작업 정확도를 유지하면서 일관되게 유효한 JSON 구조를 출력하는 데 실패했습니다. 연구진은 이를 해결하기 위해 'AloLab'이라는 블랙박스 API 기반의 반복적인 시스템 프롬프트 최적화기를 개발했으며, 이는 기존 방법론보다 훨씬 높은 수준의 형식적 출력 신뢰도와 작업 정확도를 동시에 달성함을 입증했습니다.

핵심 포인트

• 언어 모델은 수학 문제 해결과 같은 구조적 출력을 생성할 때 형식적 실패를 겪는다 (예: JSON 유효성).
• 단순 프롬프팅(NAIVE)이나 최소한의 수동 작성(REFERENCE)으로는 일관된 형식 준수를 보장하기 어렵다.
• 제약 디코딩은 형식적 유효성을 강제하지만, 상당한 지연 오버헤드와 작업 성능 저하를 초래할 수 있다.
• 개발된 'AloLab'은 메타 에이전트(Claude Sonnet 4.5)를 사용하여 모델에 대한 블랙박스 API 접근만으로 반복적인 시스템 프롬프트 최적화를 수행한다.
• AloLab은 기존 방법론 대비 높은 출력 정확도와 형식 준수율을 유지하면서, 추론 지연 시간을 최소화하여 실용성을 높였다.