너무 많이 설명하는 것이 문제일까? Large Language Model의 추론 흔적(Reasoning Traces)이 성능과

Large Language Model (LLM) 인터페이스는 점점 더 장황해지고 있으며, 최종 답변과 함께 중간 추론 흔적(Reasoning Traces)을 노출하고 있습니다. 이러한 흔적들은 투명성 메커니즘으로 프레임화되지만, 사람들이 문제를 해결하기 위해 이를 어떻게 사용하는지는 불분명합니다. 본 연구에서는 사전 등록된 피험자 간 연구(N = 559)를 보고하며, 참가자들은 세 가지 조건 중 하나 하에서 10개의 LSAT 스타일 추론 문제를 해결했습니다: 답변만 제공되는 Baseline (Answer-only), 답변 전에 전체 흔적이 공개되는 조건 (Full-trace), 그리고 답변과 함께 요약된 흔적이 제시되는 조건 (Summary-trace)입니다. 요약(Summaries)은 흔적이 없는 Baseline 수준의 과업 성능을 유지하면서도 신뢰도(Trust)와 유희적 매력(Hedonic appeal)을 유의미하게 높였으며, 이는 흔적 노출이 성능상의 이점 없이 상호작용에 대한 주관적 평가를 변화시킨다는 것을 입증합니다. 장황한 중간 출력을 노출하는 open-weight 추론 모델 환경에서, 전체 흔적(Full traces)은 답변만 제공되는 Baseline에 비해 오히려 성능을 저하시켰습니다. 모든 조건에 걸쳐 참가자들은 자신의 성능을 상당히 과대평가했으며, 어떤 흔적 형식도 교정된 자기 평가(Calibrated self-evaluation)를 지원하지 않았습니다. 추가 분석 결과, 과대평가로 이어지는 간접 경로는 신뢰도가 아닌 유희적 매력(Hedonic appeal)에 의한 것이며, 이는 처리 유창성(Processing-fluency) 설명과 일치합니다. 추론 흔적은 모델의 인지(Cognition)를 들여다보는 투명한 창이라기보다는 사용자 지향적인 인터페이스 산물(Interface artifacts)로 이해하는 것이 가장 적절하며, 교정(Calibration)은 흔적 자체에서 나타나기보다는 사용자의 자체적인 추론을 먼저 이끌어내는 상호작용을 통해 비계(Scaffold)를 설정하는 것이 가장 좋을 수 있습니다.