동일한 시뮬레이션, 다른 증거: 검색된 도구 출력이 LLM 에이전트의 정확도에 미치는 비용

요약

LLM 에이전트가 과학 시뮬레이터(PHREEQC)를 활용하여 객관식 문제에 답하는 실험을 통해, 도구 출력물을 컨텍스트 창 밖으로 빼내는 방식이 정확도 손실을 초래함을 보여줍니다. 특히 GPT-5 계열 모델은 검색 과정에서 '증거 대체' 오류를 보였으나, Claude Opus와 Sonnet은 이러한 비용을 감지하지 못했습니다.

핵심 포인트

• LLM 에이전트의 정확도는 도구 출력물을 컨텍스트 내에 유지하는 방식에 민감합니다.
• GPT-5 계열 모델은 검색 과정에서 '증거 대체' 오류를 일으키는 경향이 있습니다.
• Claude Opus와 Sonnet은 장문 보고서 처리 시 GPT 모델 대비 높은 안정성을 보였습니다.
• 컨텍스트 관리 선택은 최종 정확도뿐 아니라 오류가 발생하는 지점을 기준으로 판단해야 합니다.