대화형 AI (Conversational AI)는 이제 수십억 명의 사용자에게 도달했지만, 기존 데이터셋은 사람들이 말하는 내용만을 포착할 뿐 그들이 무엇을 생각하는지는 포착하지 못합니다. 우리는 실제 세계의 다회차(multi-turn) 인간-AI 대화와 사용자가 직접 보고한 사고(thoughts), 즉 프롬프트를 보내는 이유와 어시스턴트의 응답에 대한 반응을 쌍으로 구성한 최초의 대규모 데이터셋인 ThoughtTrace를 소개합니다. ThoughtTrace는 20개의 언어 모델 (Language Models)에 걸쳐 수집된 1,058명의 사용자, 2,155개의 대화, 17,058개의 턴(turns), 그리고 10,174개의 사고 주석 (thought annotations)으로 구성됩니다. 우리의 분석에 따르면 ThoughtTrace는 장기적이고(long-horizon) 주제적으로 다양한 상호작용을 포착하며, 사고는 메시지와 의미론적으로 구별되고, 최첨단 LLM (frontier LLMs)이 문맥으로부터 추론하기 어려우며, 내용이 다양하고, 대화 단계와 밀접하게 연관되어 있음을 보여줍니다. 우리는 더 나아가 다운스트림 모델링 (downstream modeling)을 위한 사고의 유용성을 입증합니다. 첫째, 사고는 추론 시 문맥 (inference-time context)으로서 사용자 행동 예측을 향상시킵니다. 둘째, 사고 가이드 기반의 재작성 (thought-guided rewrites)은 개인화된 어시스턴트를 훈련하기 위한 미세한 정렬 신호 (fine-grained alignment signals)를 제공합니다. 종합적으로, ThoughtTrace는 인간-AI 상호작용 이면의 인지적 역학 (cognitive dynamics)을 연구하기 위한 새로운 데이터 모달리티 (data modality)로서 사용자 사고를 확립하며, 사용자의 잠재적 목표, 선호도 및 요구사항을 더 잘 이해하고 적응하는 어시스턴트를 구축하기 위한 토대를 제공합니다.