보는 것이 선택하는 것은 아니다: LLM 에이전트의 도구 선택 실패에 대한 어텐션-세그먼트(Attention-Segment) 관점의 분석

요약

LLM 에이전트가 도구를 잘못 선택하는 원인이 '정보 혼잡'이 아닌 '의사결정 판독(decision readout)' 단계의 문제임을 어텐션 분석을 통해 입증했습니다. 모델은 올바른 도구에 높은 어텐션을 기울임에도 불구하고 잘못된 선택을 하며, 이를 해결하기 위한 훈련 불필요한 선택기(selector)를 제안합니다.

핵심 포인트

• LLM은 올바른 도구 세그먼트에 높은 어텐션을 기울이지만 잘못 선택함
• 실패 원인은 하네스의 혼잡도가 아닌 의사결정 판독 단계에 있음
• 어텐션 로짓 편향 및 잔차 스트림 스티어링을 통한 실패 복구 가능
• 훈련과 정답 없이도 성능을 높이는 새로운 선택기(selector) 제안