ThoughtTrace: 실제 LLM 상호작용에서의 사용자 사고(Thoughts) 이해

요약

ThoughtTrace는 사용자가 LLM과 대화할 때 프롬프트를 보내는 이유와 응답에 대한 반응을 포함한 최초의 대규모 사용자 사고(thoughts) 데이터셋입니다. 20개의 언어 모델과 1,058명의 사용자를 대상으로 수집된 이 데이터셋은 사용자의 인지적 역학을 이해하고 더 개인화된 AI 어시스턴트를 구축하는 데 기여합니다.

핵심 포인트

• 사용자의 발화뿐만 아니라 프롬프트의 의도와 반응을 포함한 '사고(thoughts)' 데이터를 포착하는 새로운 데이터 모달리티 제시
• 20개의 언어 모델, 1,058명의 사용자, 17,058개의 대화 턴을 포함하는 대규모 데이터셋 구축
• 사고 데이터는 최첨단 LLM이 문맥만으로 추론하기 어려울 만큼 메시지와 의미론적으로 구별됨
• 추론 시 문맥으로서 사용자 행동 예측을 향상시키고, 개인화된 모델 훈련을 위한 미세한 정렬 신호로 활용 가능