Elicitation Matters: Prompts 및 Query Protocols이 Sparsely Observing 환경에서 LLM

요약

본 논문은 데이터가 부족한 희소 관측 환경에서 대규모 언어 모델(LLM)을 대리 모델로 활용하는 방식을 연구합니다. LLM이 유도하는 '대리 신념'이 프롬프트 텍스트와 쿼리 프로토콜에 크게 의존함을 밝히고, 이를 측정하기 위한 불확실성 정렬 기준을 제안했습니다. 실험 결과, 구조화된 프롬프트를 사용하면 효과적인 사전 확률로 작용하며, 다양한 쿼리 방식(POINTWISE, JOINT)과 순차적 증거는 비모노토닉하고 순서에 민감한 신뢰도 업데이트를 유발함을 보여주었습니다.

핵심 포인트

• LLM을 희소 관측 환경의 대리 모델로 사용할 때, LLM이 생성하는 '대리 신념'은 입력 프롬프트와 쿼리 프로토콜에 강하게 의존한다.
• 연구진은 불확실성 정렬 기준(uncertainty-alignment criterion)을 도입하여 샘플 일관성 함수 간의 잔여 모호성과 모델 불확실성의 일치 여부를 측정할 수 있게 했다.
• 구조화된 프롬프트는 최적화 과정에서 유용한 사전 확률 역할을 수행한다.
• 쿼리 방식(POINTWISE vs. JOINT)과 증거의 순서는 신뢰도 업데이트에 영향을 미치며, 이 효과가 후속 획득 결정과 누적 오차(regret)를 변화시킨다.