Karpathy의 autoresearch 아이디어 이후의 다음 단계:
에이전트(agent)를 튜닝하는 것은 대부분 프롬프트(prompts), 도구(tools), 제어 흐름(control flow)을 수동으로 편집하고, 무엇이 변했는지 확인하기 위해 평가(evals)를 다시 실행하는 수동 작업입니다.
연구자들은 대신 이 외부 루프(outer loop)를 수행하기 위해 여러 자동 최적화 도구(automated optimizers)를 구축해 왔습니다.
기저 프로세스는 동일합니다:
- LLM이 변경 사항을 제안합니다.
- 평가자(evaluator)가 점수를 매깁니다.
- 그리고 제안자(proposer)는 다음 것을 제안하기 전에 그 결과를 읽습니다.
이들은 무엇을 편집하는지와 어떤 피드백을 읽게 되는지가 다릅니다.
- Berkeley는 프롬프트, 도구 설명 또는 에이전트 자체 코드와 같은 시스템의 텍스트를 최적화하는 GEPA를 구축했습니다.
RL(강화학습)이 하는 방식처럼 실행을 하나의 스칼라 보상(scalar reward)으로 축소하는 대신, GEPA는 전체 실행 추적(execution trace) (오류, 추론, 도구 출력)을 읽고, 실행이 실패한 원인을 진단하며, 목표를 정한 수정 사항을 제안합니다.
또한 단순히 평균 점수가 가장 높은 후보뿐만 아니라, 작업의 특정 부분에서 가장 뛰어난 모든 후보를 유지합니다. 따라서 더 균형 잡힌 후보가 전체적으로 앞서더라도 강력한 전문가(specialist)가 살아남습니다.
이러한 추적 수준(trace-level)의 피드백 덕분에 GRPO가 필요로 하는 수천 번의 롤아웃(rollouts) 대신 수백 번의 롤아웃 만에 수렴할 수 있습니다.
-
Karpathy에게 영감을 받은 AutoResearch는 더 좁은 버전의 루프를 실행합니다. 여기서 코딩 에이전트(coding agent)는 program(.md) 파일을 반복 수정하고, 고정된 평가(evals)에 따라 출력을 점수화하며, 개선되는 것은 무엇이든 유지합니다.
-
Meta-Harness는 루프의 대상을 하네스(harness) 자체, 즉 무엇을 검색할지, 어떻게 형식을 지정할지, 호출 사이에 어떤 상태를 유지할지를 결정하는 스캐폴딩(scaffolding) 코드에 맞춥니다.
자연스러운 질문은 이 세 가지 중 무엇을 사용해야 하는가입니다. 그리고 정답은 어느 하나만 사용해서는 안 된다는 것입니다.
Frontier-CS 벤치마크에서 모델, 사고 노력(thinking effort), 예산을 고정했을 때, 어떤 최적화 도구도 모든 곳에서 승리하지 못했습니다. 10개의 작업 중 GEPA가 3개, AutoResearch가 3개, Meta-Harness가 4개에서 앞섰습니다.
각 최적화 도구는 빠르게 산을 오르듯 성능을 높이다가 정체되며, 평탄해지기 전 몇 번의 반복(iterations) 동안 대부분의 진전을 이룹니다.
하지만 연구진은 정체된 후보를 다른 최적화 도구 (optimizer)에게 넘겨주면 해당 정체기 (plateau)를 깨뜨릴 수 있다는 것을 발견했습니다. 각 최적화 도구가 문제를 다르게 공략하기 때문입니다.
이를 실제로 사용하기 위해, omni (오픈 소스)는 이미 이 모든 과정을 자동화했습니다.
omni는 예산 (budget)의 일부만 사용하여 모든 최적화 도구를 실행하고, 가장 우수한 후보를 선택하여 새로운 최적화 도구에게 넘겨 계속 진행하게 합니다.
그 결과, 동일한 예산 내에서 가장 뛰어난 단일 최적화 도구보다 7.8%포인트 높은 점수를 기록했으며, 더 빠르게 작업을 완료합니다.
이 전체 메타 최적화 도구 (meta-optimizer)는 이 최적화 도구들이 이미 실행되고 있는 인터페이스와 동일한 optimize_anything API 내에서 약 10줄 정도의 코드로 구성되어 있습니다.
또한 에이전트 (agent)를 gepa-ai/gepa 리포지토리 (repo)로 지정하여 gepa-optimize-anything 기술을 사용하게 할 수도 있습니다.
리포지토리 주소는 다음과 같습니다: https://t.co/NftJXozw04
GEPA와 이 기술의 근간이 되는 엔진에 대한 원리 중심 (first-principles) 가이드를 원하신다면, 제 공동 창업자가 작성한 상세 분석 글을 확인해 보세요. 해당 글은 왜 반성적 진화 (reflective evolution)가 가중치에 대한 역전파 (backprop on weights)가 아닌 궤적 (trajectories)에 대한 자연어 반성 (natural-language reflection)만으로, 35배 적은 롤아웃 (rollouts)과 GPU 학습 없이도 GRPO를 약 10포인트 차이로 앞서는지에 대해 설명하고 있습니다.
아래에서 읽어보세요.
[IMG:1]
