다중 턴(multi-turn) 정보 시스템의 대규모 언어 모델(LLM)은 자체적인 이전 답변과 증가하는 작업 상태(task state)를 축적합니다. 우리는 이 대화 기록이 정확도를 떨어뜨리는지, 그리고 프로세스 수준의 품질 지표가 그보다 먼저 경고하는지 조사했습니다. 각 분석은 결과를 계산하기 전에 고정되었습니다.
연구 1에서 48개의 분할된(sharded) 수학 과제를 사용했을 때, 답변을 유지하는 것이 GPT-4o-mini의 최종 성공률을 0.21 낮추었고 Mistral-7B는 0.29 낮췄습니다 (Holm 조정 p = 0.026 및 0.004). Llama-4 Scout 역시 같은 경향을 보였으나 통계적으로 유의미하지 않았습니다.
연구 2는 각 턴마다 정확한 답변과 모델별 난이도 보정(difficulty calibration)을 갖춘 100턴 상태 추적 대화인 CDR-Stream을 소개합니다. 전체 기록을 사용할 경우, 일치하는 난이도에서 20턴 이내에 정확도가 약 0.6에서 0.1로 떨어졌지만, 솔버가 검증한(solver-verified) 상태 요약은 이를 0.52~0.59 더 높게 유지했습니다 (Holm 조정 p < 0.001). 일관성(Consistency)과 논리적 일관성(logical coherence)은 정확도보다 훨씬 적게 떨어졌으며, 안정성은 상승했습니다.
이들 지표 중 어느 것도 쌍별 준비도 측정(paired readiness measure)이나 보정된 단일 스트림 드리프트 감지기(calibrated single-stream drift detectors)가 모델 전반적으로 신뢰할 수 있는 조기 경고를 제공하지 못했습니다. 다만, 연구 2에서는 반복 기반 지표(repeat-based metrics)가 GPT-4o-mini에 대해서만 완전했습니다.
우리가 테스트한 모니터들에서 단일 100턴 스트림은 매우 큰 하락에 대해서만 감지력을 가졌습니다. LLM 기반 시스템은 작업 상태(task state)를 기록(transcript) 외부로 유지하고 세션 간에 모니터링해야 합니다.