Code-as-Agent Harness 가설: LLM을 건드리지 않고도 88.5%의 성능 향상 달성

논문에 따르면 고정된 (frozen) LLM 주변의 런타임 인터페이스 (runtime interface)를 조정함으로써 88.5%의 개선을 보여주었습니다. Harness는 18개의 백본 (backbones) 전반에 걸쳐 일반화되며, 모델 중심의 에이전트 개선 방식에 도전장을 내밉니다. 새로운 논문은 고정된 LLM 주변의 런타임 인터페이스를 조정함으로써 126개의 모델-환경 설정 전반에서 평균 88.5%의 상대적 개선을 보고했습니다. Code-as-agent-harness 가설은 프로덕션 에이전트의 개선이 모델이 아닌 Harness를 목표로 해야 함을 시사합니다.

주요 사실:

• 7개 환경에서 평균 88.5%의 상대적 개선
• 126개의 모델-환경 설정 테스트
• 18개의 백본 평가
• 하나의 궤적 (trajectory)에서 학습된 Harness가 다른 17개의 백본으로 일반화됨
• LLM은 고정된 상태로 유지하며 런타임 인터페이스만 수정함

@omarsar0가 공유한 새로운 프리프린트 (preprint)는 'code-as-agent-harness' 가설을 발전시킵니다: 적응형 런타임 (adaptive runtimes)으로 감싸진 고정된 LLM은 결정론적 환경 (deterministic environments)에서 미세 조정 (fine-tuned)된 모델보다 더 나은 성능을 보입니다. 이 논문은 7개의 결정론적 환경, 126개의 모델-환경 설정, 그리고 18개의 백본에 걸쳐 평균 88.5%의 상대적 개선을 보고했습니다 [@omarsar0에 따르면]. 결정적으로, 한 모델의 궤적으로부터 학습된 Harness는 다른 17개의 백본으로 일반화됩니다. 이는 Harness가 모델 특유의 패턴이 아닌 환경 구조를 포착하고 있음을 말해줍니다. 이 발견은 에이전트 성능 향상을 위해 SFT 또는 RLHF와 같은 모델 수준의 개입이 필요하다는 지배적인 가설에 직접적으로 도전합니다.

Harness의 작동 방식
이 방법은 LLM을 건드리지 않습니다. 대신, 반복되는 상호작용 실패를 Harness 측면에서 재사용 가능한 개입 (interventions)으로 변환합니다. Harness는 모델 출력을 가로채고, 과거의 실패를 기반으로 수정을 적용하며, 실행 전에 후보 행동들을 재순위화 (re-ranks)하는 런타임 레이어 (runtime layer)입니다. 이는 Anthropic 및 OpenAI와 같은 기업의 프로덕션 패턴을 반영하며, 이곳에서는 '도구 사용 (tool-use)' 래퍼 (wrappers)와 '안전 분류기 (safety classifiers)'가 모델과 환경 사이에 위치합니다.

독특한 관점
만약 당신이 프로덕션 환경에 에이전트를 배포한다면, 당신의 Harness 작업은 당신이 생각하는 것보다 훨씬 더 이식성 (portable)이 높을 것입니다.

이 논문의 일반화 (generalization) 결과는 하나의 LLM을 위해 Harness를 구축하는 팀이 모델을 교체하더라도 해당 Harness를 재사용할 수 있음을 시사하며, 이는 상당한 운영 비용 절감을 의미합니다. 이는 새로운 모델이 출시될 때마다 에이전트 스캐폴드 (scaffold)를 다시 구축하는 현재의 트렌드와는 정반대되는 것입니다.

한계점 (Limitations)
이 논문은 결정론적 환경 (deterministic environments, 코딩 벤치마크, 그리드 월드 태스크)만을 평가합니다. 확률적 (stochastic) 또는 부분 관측 가능 (partially-observed) 환경은 다른 Harness 전략을 필요로 할 수 있습니다. 프리프린트 (preprint)에서는 학습 컴퓨팅 자원이나 Harness 복잡도를 공개하지 않아 직접적인 비용 비교가 어렵습니다.

핵심 요약 (Key Takeaways)

• 고정된 (frozen) LLM 주변의 런타임 인터페이스를 조정함으로써 88.5%의 성능 향상을 보여줌.
• Harness가 18개의 백본 (backbones)에 걸쳐 일반화되며, 모델 중심의 에이전트 개선 방식에 의문을 제기함.

주목할 점 (What to watch)
Harness 접근 방식을 확률적 환경 (예: WebShop, ALFWorld)으로 확장하는 후속 연구와, Anthropic 또는 OpenAI의 프로덕션 에이전트 팀이 Harness 우선 디버깅 (harness-first debugging)을 표준 관행으로 채택하는지 지켜보아야 합니다. 또한, 프리프린트의 일반화 주장이 독점적인 기업용 백본 (proprietary enterprise backbones)에서도 재현되는지 추적하십시오.

원문 출처: gentic.news