양측이 적응할 때: 대화형 LLM 시스템 평가의 과제들

요약

본 연구는 사용자가 LLM 응답에 따라 프롬프팅 전략을 변경하는 '사용자 적응성'이 모델 평가에 미치는 영향을 분석합니다. 모델 비교를 위해 공통 분포 효과(common-distribution effect)와 사용자 상호작용 기반의 유도 분포 효과(induced-distribution effect) 두 가지 추정 대상을 정의했습니다. 이 구분은 오프라인 벤치마크와 라이브 A/B 테스트가 서로 다른 목표를 가짐을 보여주며, 의사 결정에 중요한 함의를 제공합니다.

핵심 포인트

• 사용자 적응성(user adaptivity)이 LLM 평가에서 핵심적인 과제임.
• 모델 비교는 공통 분포 효과와 유도 분포 효과로 구분해야 함.
• 오프라인 벤치마크와 라이브 A/B 테스트는 서로 다른 양적 목표를 가짐.
• 두 평가 방식의 결과가 다를 수 있으므로, 배포 시 신중한 접근이 필요함.