동일한 공식, 다른 의미론: 언어 모델은 양상 논리 (Modal Logic) 명세를 따르는가?
요약
언어 모델이 특정 양상 논리(Modal Logic)의 의미론적 명세를 정확히 따르는지 평가하는 연구를 소개합니다. 실험 결과, 모델들은 프롬프트 조건에 따라 성능 차이가 크며, 특히 추론 모드 활성화 여부가 논리적 일관성에 중요한 영향을 미침을 확인했습니다.
핵심 포인트
- 양상 논리 체계에 따른 모델의 추론 능력 평가
- 프레임/도메인 조건 변화에 따른 모델 성능의 민감도 확인
- 추론 모드 활성화 시 DeepSeek V4 Flash의 성능 대폭 향상
- 모델이 명시된 논리보다 익숙한 논리에 의존하는 경향 발견
- 공식, 반례, 데이터셋 등 연구 결과물 공개
필연성 (Necessity)과 가능성 (Possibility)에 대한 추론은 세계들 사이의 접근성 (Accessibility) 및 각 세계에 어떤 객체가 존재하는지에 대한 가정에 달려 있습니다. 따라서 동일한 추론이라 할지라도 하나의 양상 체계 (Modal system) 하에서는 성립하고 다른 체계 하에서는 실패할 수 있습니다. 이러한 문제들에 대해 언어 모델을 평가하려면, 모델의 판단이 익숙한 논리가 아닌 명시된 의미론 (Semantics)을 따르는지 테스트해야 합니다. 우리는 동일한 전제와 추측을 가지되 프레임 (Frame) 또는 도메인 (Domain) 조건이 다른 쌍을 이루는 양상 문제들을 구축하였으며, 자동 추론 (Automated reasoning)을 통해 상반된 레이블을 검증했습니다. 균형 잡힌 핵심 데이터셋 (Balanced core)은 의미론적 조건만으로 정답이 드러나는 것을 방지합니다. 이 핵심 데이터셋에서 최근 5개 모델 중 4개가 직접적인 프롬프팅 (Direct prompting) 하에서 조건 전용 베이스라인 (Condition-only baseline)보다 낮은 성능을 보였습니다. 그러나 추론 모드 (Reasoning mode)를 활성화하면 DeepSeek V4 Flash의 성능이 변경되지 않은 프롬프트에서 4.4%에서 88.1%로 상승합니다. 따라서 규정된 양상 의미론을 따르는 것은 모델의 정체성뿐만 아니라 추론 모드에도 강하게 의존합니다. 프레임 조건이 생략될 경우, 모델들은 종종 일치하는 결과를 보이지만 각자 서로 다른 익숙한 논리에 가장 잘 부합하는 모습을 보입니다. 우리는 공식, 오라클 아티팩트 (Oracle artifacts), 반례 (Countermodels), 그리고 응답들을 공개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기