반의문 (Paraphrase) 유도 출력 모드 붕괴: LLM 이 의미적으로 동등한 입력에 대해 캐릭터를 깨뜨릴 때

요약

본 논문은 대형 언어 모델(LLM)이 입력 프롬프트를 의미적으로 변형(Paraphrase)할 때, 원래 요청했던 출력 형식과 구조를 유지하지 못하는 '출력 모드 붕괴' 현상을 발견했습니다. 특히 온도가 0인 경우에도 이러한 실패가 발생하며, 이는 닫힌 형식(closed-form) 답변이 필요한 작업에서 심각한 문제를 야기합니다. 연구진은 이를 측정하기 위해 대규모 데이터셋 PARACONSIST를 구축하고 '의미 일관성 점수'를 제안했습니다.

핵심 포인트

• LLM은 프롬프트가 의미적으로 변형되어도 요청된 출력 형식(예: 닫힌 형식, 단일 선택)을 유지하지 못하는 '출력 모드 붕괴' 현상을 보인다.
• 이러한 붕괴는 온도가 0인 경우에도 발생하며, 특히 정밀 매칭 평가에서 심각하게 오평가될 수 있다.
• 연구진은 대규모 데이터셋 PARACONSIST를 공개하고, 답변의 '정답 일관성', '문장 의미 유사도', '길이 안정성'을 측정하는 '의미 일관성 점수'를 제시했다.
• 모델의 견고성은 단순히 정답 정확도뿐만 아니라 응답 모드(Output Mode) 보존 능력을 핵심 신뢰성 목표로 다루어야 한다.