Stanford와 MIT가 발표한 Model Harnesses(모델 하네스) 관련 논문에 따르면, AI 성능은 단순히 모델 자체에만 의존하는 것이 아니라 주변 시스템 코드, 즉 '하네스'에 달려 있습니다.

이 하네스는 무엇을 저장하고, 검색하여 모델에게 보여줄지, 그리고 작업 흐름(workflow)이 어떻게 실행될지를 결정합니다. 동일한 기반 LLM(Large Language Model)을 사용하더라도, 하네스를 변경하는 것만으로 같은 벤치마크에서 최대 6배의 성능 차이가 발생할 수 있습니다.

그들은 모델 주변의 하네스가 모델 자체만큼이나 중요하다는 결론을 내렸습니다.

이 논문은 Meta-Harness라는 아웃터 루프(outer-loop) 시스템을 소개하며, 이 시스템이 하네스 코드를 자동으로 개선합니다. 최적화 에이전트에게 단순히 점수나 과거 시도의 짧은 요약만 제공하는 대신, 파일시스템과 유사한 설정을 통해 이전 코드, 로그, 실행 추적 기록에 대한 풍부한 접근성을 제공합니다.

핵심 아이디어는 더 나은 진단 가시성(diagnostic visibility)이 시스템이 하네스를 더욱 지능적으로 개선할 수 있게 한다는 것입니다.

그들이 발견한 결과는 매우 중요합니다.

• 온라인 텍스트 분류(online text classification)에서 강력한 SOTA(State-of-the-Art) 컨텍스트 관리 대비 7.7점 향상을 보였으며, 컨텍스트 토큰은 4배 적게 사용했습니다.

• 검색 증강 수학 추론(retrieval-augmented math reasoning)에서 200개의 IMO 수준 문제에 걸쳐 다섯 개의 비보유 모델(held-out models) 평균 4.7점의 이득을 얻었습니다. 에이전트 코딩(agentic coding) 분야에서는 발견된 하네스가 TerminalBench-2에서 강력한 수작업 엔지니어링 기반선(hand-engineered baselines)을 능가했습니다.

이 논문은 초점을 '어떤 모델이 가장 좋은가?'에서 'AI 시스템 전체는 어떻게 설계되었는가?'로 전환시키고 있습니다.

실제 배포 환경에서는 하네스 설계가 신뢰성, 도구 사용(tool usage), 컨텍스트 관리, 그리고 실패 복구에 영향을 미칩니다.

---

논문 – arxiv.org/abs/2603.28052

논문 제목: