구문 분석되었으나, 그럴듯하고 틀린 결과: 출력 형식이 소형 모델의 의미론적 파싱에서 발생하는 침묵 오류를 제어한다

요약

본 연구는 소형 모델의 의미론적 파싱에서 발생하는 '침묵 오류'를 제어하는 방법을 탐구했습니다. PIZZA 주문 벤치마크에서 두 개의 서브-빌리언 모델을 LoRA로 미세 조정했으며, 단순히 토큰 길이를 줄이는 것보다 목표를 일반 단어로 작성하는 것이 효과적이었습니다. 이 방식은 높은 정확도를 유지하면서 침묵 오류율을 크게 감소시켰습니다.

핵심 포인트

• 단순히 토큰 길이만 줄여서는 의미론적 파싱의 오류 제어에 한계가 있습니다.
• 목표를 일반 단어로 작성하는 것이 가장 효과적인 출력 형식으로 입증되었습니다.
• Word encoding은 높은 정확도를 유지하며 침묵 오류율을 2.3배(Qwen) 이상 감소시켰습니다.
• 모델들은 메뉴 외 입력 거부 및 문장 내 자체 교정 능력을 학습했습니다.