"나는 미세한 결정을 내리지 않았다": 협업 과정에서 목표 수준의 AI 기여도 측정, 유도 및 노출

대규모 언어 모델 (LLMs)이 사용자가 목표를 형성하고, 다듬고, 확장하는 방식에 점점 더 큰 영향을 미침에 따라, 인간-AI 협업 (human-AI collaboration)에서 기여도를 할당하는 것은 사용자가 자신의 의존도를 조정하고 평가자가 AI 보조 작업을 평가하는 데 있어 매우 중요해지고 있습니다. 그러나 기존 방식들은 최종 결과물에만 집중하여, 목표 자체가 공동으로 형성되는 과정을 놓치고 있습니다. 우리는 명시적인 목표를 검증 가능한 요구사항으로 분해하고, 대화 턴 (dialogue turns) 전반에 걸쳐 직접적인 기여와 간접적인 영향력을 모두 추적하는 목표 수준 기여도 할당 프레임워크인 CoTrace를 소개합니다. 638개의 실제 협업 로그에 CoTrace를 적용한 결과, 모델이 목표 형성 기여도에서는 11-26%만을 차지하지만, 하위 수준의 구체적인 요구사항을 도입하는 데에는 훨씬 더 많이 기여하며 다양한 종류의 간접적인 기여를 한다는 것을 발견했습니다. 통제된 시뮬레이션을 통해, 우리는 상호작용 설계 (interaction design) 선택이 모델의 목표 형성 행동에 상당한 영향을 미친다는 것을 보여줍니다. 사용자 연구에서 참가자들에게 목표 수준의 분석 내용을 노출했을 때, 그들이 인지하는 기여도가 5점 척도에서 거의 2점 정도 변화하였으며, 이는 사용자가 자신의 AI 보조 작업을 이해하는 방식에 체계적인 오보정 (miscalibration)이 있음을 드러냅니다.