자율 ML 엔지니어링을 위해 강력한 에이전트는 어느 정도의 하니스가 필요한가?

요약

본 논문은 자율 ML 엔지니어링(MLE) 에이전트가 복잡한 하니스를 갖추는 것이 필수적인지에 대해 연구했습니다. 그 결과, 동일한 시간과 LLM 백본을 사용했을 때, 최첨단 하니스가 최소 코딩 에이전트 단일 세션 대비 성능 이점을 제공하지 못함을 발견했습니다. 이는 MLE 성능의 주요 동인이 하니스가 아닌 LLM 자체에 있음을 시사합니다.

핵심 포인트

• MLE 에이전트는 복잡한 하니스를 갖추는 것이 필수적이지 않다.
• 성능의 핵심 동인은 외부 하니스가 아니라 LLM 백본 자체이다.
• 대규모 연구를 통해 코딩 에이전트 설정에서 기계 장치 계층은 불필요할 수 있다.
• 강력한 모델 주변에 복잡한 하니스를 만드는 노력은 현재 벤치마크에서 낮은 수익률을 가져온다.