반의문 (Paraphrase) 유도 출력 모드 붕괴: LLM 이 의미적으로 동등한 입력에 대해 캐릭터를 깨뜨릴 때

요청의 실질적인 내용이 재작성될 때, 대형 언어 모델은 원래 작업이 요구했던 형식으로 여전히 답변할까요? 우리는 온도가 0 일 때도 그렇지 않다고 발견했습니다. 2025 년대의 5 개 컴팩트 LLM 과 4 가지 작업 유형에 대한 150 건의 쿼리 평가에서, 우리가 '프롬프트 변형 출력 모드 붕괴 (prompt-variant output-mode collapse)'라고 부르는 체계적 실패 모드를 관찰했습니다. 닫힌 형식 프롬프트가 무표지 라벨이나 단일 선택 토큰을 요청할 때, 내용 보존 프롬프트 변형은 모델을 대화형 산문으로 밀어넣고, 요청된 형식이 녹아내리며, 정밀 매칭 평가 파이프라인이 결과를 침묵적으로 오평가합니다. 이를 측정 가능하게 만들기 위해, 우리는 150 개의 기본 쿼리와 각각 5 개의 어휘적, 문법적, 의미적 확장 프롬프트 변형을 가진 900 개의 프롬프트로 구성된 PARACONSIST 를 공개했습니다. 그리고 정답 일관성 (answer consistency), sentence-BERTSemantic 유사도, 길이 안정성을 분해하는 '의미 일관성 점수 (Semantic Consistency Score)'를 제공했습니다. 전체 단어 답변 집합 매칭 하에, 닫힌 형식 변형 응답 중 약 22% 만 출력 내지 정답 라벨을 보존하며, 약 78% 는 답변 공간에서 완전히 벗어나게 됩니다. 우리 풀에서 붕괴의 지배적 예측 인자는 모델 정체성보다 작업 구조이며, 모델 차별화는 정답 일관성과 길이 안정성에 의해 공동으로 수행됩니다. 따라서 견고성 감사 (robustness audits) 는 정답 정확도와 함께 응답 모드 보존을 1 차적인 신뢰성 목표로 추적해야 합니다.