명확히 할 것인가, 기권할 것인가, 아니면 답변할 것인가? 신념 증강 생성 (Belief-Augmented Generation)을 통한 대화

대규모 언어 모델 (LLMs)은 텍스트에 대한 분포를 정의하며, 이는 불확실성에 대한 확률적 표현으로 볼 수 있습니다. 즉, K개의 응답을 샘플링하면 모델이 타당하다고 간주하는 응답들인 신념 상태 (belief state)가 생성됩니다. 기존 연구들은 이러한 표현을 디코딩 (decoding)이나 선택적 예측 (selective prediction)과 같은 좁은 범위의 작업에 활용해 왔으나, 생성 과정을 직접 제어하지 못하고 종종 수동적인 개입을 필요로 합니다. 우리는 신념 증강 생성 (Belief-Augmented Generation, BAG)을 제안합니다. 이는 프롬프트 (prompt)를 통해 LLM을 모델 자체의 신념 상태에 근거하게 하고, 이 K개의 샘플을 바탕으로 추론하여 답변 (answer), 명확화 (clarify), 또는 기권 (abstain) 중 어떤 대화 전략을 취할지 결정하게 하는 방식입니다. 다회차 (multi-turn)의 모호한 질의응답 (QA) 설정에서, 우리는 LLM이 기본적으로 입력이나 사실에 대한 불확실성을 무시하며 명확화나 기권을 거의 수행하지 않는다는 것을 발견했습니다. BAG는 6개의 모델에 걸쳐 QA 정확도를 향상시키며, 프롬프트 전용 (prompt-only) 베이스라인보다 신념 상태에 더 충실한 전략 결정을 도출합니다. 그러나 언제 명확화를 해야 하는지와 언제 기권해야 하는지를 분리하는 것은 여전히 도전적인 과제로 남아 있습니다.