Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Google Research가 모델 가중치 변경 없이 AI 에이전트의 성능을 개선하는 'Harness²' 연구를 공개했습니다. 이 시스템은 시스템 프롬프트, 메모리, 도구 사용 등 8가지 주변 요소를 재귀적으로 수정하며 업무 시스템 자체를 최적화합니다. 이는 에이전트의 지능 외적인 환경 구축에 초점을 맞춘 접근 방식입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Zenn ML의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기サムネイル：固定されたAIモデルの周囲で、記憶・スキル・ツールなどの実行構造がEvidenceに基づいて組み替わるイメージ
AI 에이전트의 성능은 모델 자체의 지능만으로 결정되지 않습니다. 어떤 지시를 읽고, 어떤 도구를 사용하며, 무엇을 기억하고, 어느 역할에 위임하느냐와 같은 '업무 시스템'이라는 주변 환경에서도 크게 달라집니다.
Google Cloud AI Research 등 연구진은 2026년 10월 9일, 모델의 가중치(weight)를 변경하지 않으면서도 그 주변 실행 환경을 재귀적으로 개선하는 연구인 'Harness²'를 arXiv에 공개했습니다. 공개된 리포지토리에는 Apache 2.0 라이선스의 코드, 로컬 데모, 그리고 벤치마크 실행 절차가 포함되어 있습니다.
이는 공식 Google 제품이 아닌 연구 구현체입니다. 논문과 README는 확인했지만, 이번 기회에는 전체 코드 감사나 데모 실행은 진행하지 않았습니다. 아래의 성능 수치는 저자 측의 실험 결과이며 독립적으로 재현된 것은 아닙니다.
Harness²에서 말하는 하네스는 모델을 실제 업무에 연결하는 주변 구조물입니다. 공개 구현체에서는 다음 8가지 요소를 수정 대상으로 삼고 있습니다.
図1：固定されたモデルの周囲にある8つの編集可能なハーネス要素
즉, 모델 자체를 추가 학습하는 것이 아니라, '이 업무에서 실패한 것은 지시/기억/도구/위임 중 어디가 문제였나'를 실행 결과로부터 되돌아봅니다.
Harness²에는 현재의 작업을 개선하는 짧은 순환과, 개선 경험을 다음 작업으로 가져가는 긴 순환이 있습니다.
図2：タスク単位のPropose–Probe–Composeと、次の仕事へ経験を残す2段階再帰
현재 업무에 대한 변경안을 만들고, 실제로 테스트하며, 원래 실행 결과와의 차이를 비교하여 채택 후보를 조합합니다. 연구에서는 이를 'Propose–Probe–Compose'라고 부릅니다.
정답 데이터나 외부 채점기가 없어도, 변경 전후의 행동 차이를 Evidence로 활용하는 설계입니다. 여러 안을 동시에 시도하는 병렬 방식과, 변경 사항을 쌓아 올리는 순차 방식이 있습니다.
각 업무에서 채택된 하네스와, 왜 변경했는지에 대한 Evidence가 담긴 교훈을 라이브러리에 저장하고, 다음 업무 개선에 사용합니다.
이 부분이 MORI의 Human OS와 특히 겹치는 부분입니다. 결과물뿐만 아니라, '어떤 실패를 보고 무엇을 바꾸었고 실행이 어떻게 달라졌는지'를 가져갑니다.
저자들은 WorkBuddy-Bench, JobBench, Legal Agent Benchmark 세 가지 유형에서 GLM-5와 Gemini 3.5 Flash, OpenCode와 Codex 구성을 평가했습니다.
1회의 개선 단계만으로 기준 하네스 대비 최대 다음의 향상을 보고했습니다.
한편, 모든 시도가 성공한 것은 아닙니다. 논문의 실패 분석에서는 약한 후보 선택, 잘못된 전제 공유, 실행 편차(variability), 평가 누락 등으로 인해 9건의 회귀가 확인되었습니다.
図3：著者報告の改善と、同じ実験で確認された限界を分けた整理
논문 자체도 실행 기반 비교는 공유된 모델 바이어스나 편차의 영향을 받을 수 있어 정확성이나 다른 태스크로의 전이를 보장하지 않는다고 명시하고 있습니다. 재귀 횟수를 늘릴수록 추론 비용(inference cost)도 증가합니다.
Human OS에서는 AI가 스스로 보고하는 것이 아니라, 실행 결과/로그/외부 상태를 Evidence로 판단을 업데이트해 왔습니다. Harness²는 여기서 한 단계 더 나아가, 'Evidence를 바탕으로 AI의 업무 시스템 자체를 개선'하는 구현체입니다.
특히 연결하기 쉬운 점은 다음과 같습니다.
다만, 그대로 Human OS에 도입하기는 어려울 수 있습니다. README에 따르면, 실행 에이전트의 네트워크 접근은 제한이 없으며, Codex는 샌드박스 비활성화가 전제입니다. 평가 전에 네트워크 제한을 설정할 것을 주의사항으로 언급하고 있습니다. MORI 환경으로 가져오려면 권한/과금 상한선/기밀 정보/외부 쓰기/정지 조건 등을 먼저 감싸야 합니다.
Harness²의 흥미로운 점은 '새로운 모델을 기다리는 것' 외에 진화 경로를 구체화했다는 것입니다. 고정된 모델이라도 지시, 기억, 스킬, 도구, 위임, 실행 규칙을 Evidence(증거)를 기반으로 재조합하면 업무의 질을 개선할 가능성이 있습니다.
이는 Human OS의 Failure Library, Role Fit, Evidence에 의한 판단 업데이트와 강하게 연결됩니다. 한편, 저자 스스로가 회귀(regression), 공유 편향(sharing bias), 추가 비용을 인정하고 있으며, 공개 구현은 강력한 권한으로 작동한다는 전제가 깔려 있습니다. 매력적인 연구인 만큼, '개선할 수 있다'는 것과 '안전하게 맡길 수 있다'는 것은 별도로 검증해야 합니다.
