무엇을 말하는가가 아니라 어떻게 말하는가의 문제: 신념 표현에 대한 LLM 응답 평가
요약
사용자의 신념 표현(EoB) 방식이 LLM의 맥락 수용 및 사전 지식 고수 여부에 미치는 영향을 연구했습니다. 언어학적 차원에 기반한 새로운 유형학을 도입하여 다양한 모델의 응답 패턴을 체계적으로 평가했습니다.
핵심 포인트
- 신념 표현의 형태, 증거성, 태도, 어조에 따른 17가지 유형학 도입
- 모델 규모와 학습 단계(Base vs Instruct)에 따른 맥락 통합 능력 차이 확인
- 특정 언어적 프레이밍이 모델을 설득하는 데 유의미한 영향을 미침을 발견
- 프롬프트 엔지니어링 및 모델 강건성 향상을 위한 연구적 시사점 제공
사용자들은 대규모 언어 모델 (LLMs)에게 자신의 신념을 빈번하게 표현합니다. 어떤 상황에서 LLM은 이러한 맥락적 신념을 사실로 받아들여야 합니다. 반면, 어떤 상황에서는 모델이 기존의 사전 지식 (prior knowledge)을 고수해야 합니다. 특히, 사용자의 신념 표현 (Expressions of Belief, EoBs)은 전제 (presuppositions), 증거성 및 확실성 표지 (evidential and certainty markers), 또는 다양한 어조 (tones)를 사용하는 등 언어적으로 다양한 형태를 취할 수 있으며, 각 형태는 LLM에 대해 서로 다른 설득력을 가질 수 있습니다. 우리는 서로 다른 EoB가 모델이 맥락을 따를지 아니면 사전 지식을 따를지에 어떻게 영향을 미치는지 체계적으로 평가하기 위한 유형학 (typology)을 도입합니다. 이 유형학은 형태 (form), 증거성 (evidentiality), 인식적 태도 (epistemic stance), 어조 (tone)라는 네 가지 언어학적 차원에 근거하며, 17개의 세분화된 유형을 포괄합니다. 이러한 EoB를 세상 지식 사실 (world knowledge facts)과 결합함으로써, 우리는 언어적 변이의 효과를 분리할 수 있는 통제된 EoB-질의 쌍을 생성합니다. 이 벤치마크를 사용하여, 우리는 아키텍처 (Llama3, Qwen3, Gemma3), 규모 (1B-30B 파라미터), 그리고 학습 단계 (base vs instruct)가 다른 16개의 LLM을 평가합니다. 우리는 이러한 축들에 따라 응답 행동에서 의미 있는 차이를 식별했습니다. 예를 들어, 더 큰 모델과 지시 모델 (instruction models)은 더 작은 모델과 베이스 모델 (base models)보다 맥락을 덜 따르는 경향이 있다는 점을 발견했습니다. 나아가 우리는 다른 표현보다 통계적으로 유의미하게 언어 모델 (LMs)을 더 일관되게 설득하는 특정 EoB를 식별했습니다. 우리의 연구는 언어적 프레이밍 (linguistic framing)이 LLM의 맥락 통합 (context integration)에 어떻게 영향을 미치는지에 대한 체계적인 패턴을 밝혀내며, 이는 프롬프트 엔지니어링 (prompt engineering)과 모델의 강건성 (robustness)에 시사점을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기