코딩 에이전트는 망각 없이 지속적인 진화를 유지할 수 있는가?

요약

본 논문은 코딩 에이전트가 여러 작업을 처리하며 지속적으로 진화할 때 발생하는 치명적 망각 문제를 다룹니다. 연구진은 연속적인 하네스 자체 진화를 실험하여, 후속 작업 학습이 이전 작업의 성능을 크게 저하시킬 수 있음을 입증했습니다. 이는 에이전트의 장기적인 지속 가능성에 대한 중요한 미해결 질문을 제기합니다.

핵심 포인트

• 에이전트 하네스 진화는 단일 작업에 국한되는 경향이 있음.
• 연속적 다중 작업 학습 시 치명적 망각 문제가 발생함.
• 후속 데이터셋에서의 진화가 이전 성능을 크게 저해할 수 있음을 확인 (예: 66% 상대적 감소).
• 에이전트 하네스의 지속적인 자체 진화를 위한 새로운 방향 제시가 필요함.