Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Google이 모든 AI harness를 스스로 개선하는 오픈 소스 도구 Harness2를 공개했습니다. 이 시스템은 에이전트가 작업 수행 중 자체적으로 설정을 수정하고, 성능 비교를 통해 최적의 버전을 선택하며 학습합니다. 이를 통해 초기 설계보다 훨씬 높은 성능을 달성할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Google이 Harness2를 오픈 소스로 출시했습니다. 이 도구는 모든 AI harness를 시간이 지남에 따라 스스로 개선하는 시스템으로 만듭니다. 여기서 'harness'란 모델 주변의 모든 것을 의미합니다. 시스템 프롬프트, 도구(tools), 메모리, 스킬, 그리고 서브 에이전트 등이 포함됩니다. 일반적으로 사람은 이를 한 번 설계하고 에이전트는 새로운 작업을 수행할 때마다 이 고정된 설정을 사용합니다. 하지만 Harness2를 사용하면 에이전트 자체가 각 작업에 맞춰 harness를 개선합니다. 에이전트는 변경 사항을 제안하고, 몇 가지 후보 버전을 실행한 다음, 성능 비교를 통해 더 나은 것을 선택합니다. 정답이나 평가자(grader)가 필요하지 않습니다. 모델 가중치(model weights)는 그대로 유지됩니다. 한 작업에서 배운 것이 다음 작업으로 이어집니다. 작업을 완료한 후에는 개선된 harness와 유용한 교훈을 저장하여, 미래의 수정이 처음부터 시작하는 대신 더 똑똑하게 시작할 수 있게 합니다. Google은 Gemini 3.5 Flash와 GLM-5를 사용하여 법률, 사무실, 전문 업무 벤치마크에서 이를 테스트했습니다. 단 한 번의 수정만으로도 원래의 harness보다 높은 점수를 기록했으며, 더 많은 라운드의 수정은 점수를 더욱 높였습니다. GitHub https://github.com/google-research/harness2 /u/chemist_slime이 제출했습니다. [링크] [댓글]