에이전트가 긴 대화에서 바보가 되는 진짜 이유

요약

에이전트가 긴 대화에서 성능 저하를 겪는 '컨텍스트 손상' 현상이 발생합니다. 단순히 컨텍스트 창 크기를 늘리는 것만으로는 해결되지 않으며, 무작정 프롬프트를 늘리는 아키텍처 설계는 지양해야 합니다.

핵심 포인트

• 긴 대화에서 에이전트 성능 저하(컨텍스트 손상)가 발생한다.
• 토큰 컨텍스트 크기 증가는 반드시 성능 향상을 보장하지 않는다.
• 프롬프트만 늘리는 아키텍처는 지양해야 한다.