다양한 RSI 논문들을 읽으면서, 저는 강화학습(RL) 및 진화 탐색에서 나오는 익숙한 문제들로 계속 돌아가게 되었습니다. 샘플링(Sampling): 어떻게 하면 유망한 변화를 효율적으로 찾을 수 있을까요? 평가(Evaluation): 새로운 변형이 실제로 에이전트를 개선했는지 어떻게 알 수 있을까요? 다양성(Diversity): 너무 일찍 수렴하는 것을 어떻게 방지할 수 있을까요? 이러한 문제들이 저희가 오픈 소스로, 메타 학습(meta-learning)에서 영감을 받은 프레임워크인 Gear를 구축하도록 동기를 부여했습니다. 태스크 에이전트(task agent)는 실행 트레이스(execution traces)를 생성하고, 메타 에이전트(meta-agent)는 이 트레이스와 평가 피드백을 사용하여 프롬프트, 도구, 워크플로우 및 컨텍스트 관리를 개선합니다. Gear는 탐색 결정과 실행 및 평가를 분리합니다. 저희의 목표는 RSI를 위한 scikit-learn을 만드는 것이며, 이를 통해 GEPA, RRSI, Harness²와 같은 접근 방식을 구현하고 비교하기 쉽게 만들고자 합니다. 현재 저희는 공유 실패 진단(shared failure diagnosis) 및 단계별 평가(staged evaluation)가 가능한 작동하는 GEPA 변형을 가지고 있습니다.
GPT 5.6 Luna를 중간 수준의 추론 노력으로 설정했을 때, 저희는 다음과 같은 태스크 통과율을 관찰했습니다:
| Benchmark | Base DSH | Gear-optimized DSH | AutomationBench Marketing |
|---|
| 통과율 | 27.0% | 40.0% | |
| AutomationBench Support | 17.0% | 25.0% | |
| Terminal-Bench | 2.1 | 52.8% | 62.9% |
Marketing에서 최대 노력으로 Luna는 최적화된 harness를 통해 88.88%의 목표 완료율을 달성했으며, 이는 Astra + Codex의 84.08%와 비교됩니다. 엄격한 태스크 통과율은 각각 53% 대 57%였으므로, 장점은 부분적 완료에 있었습니다.
별도로, 두 모델이 최대 노력으로 동일하게 최적화된 DSH를 사용했을 때, Luna의 추정 API 비용은 작업당 평균 $0.0568이었던 반면 Astra는 $1.1858로, 이는 최적화 및 인프라 비용을 제외하고 95.21% 더 낮았습니다.
제한된 예산 하에서 후보 평가(candidate evaluation)와 다양성 보존에 대한 피드백을 환영합니다. 코드 · 논문은 /u/Pale-Training-6944가 제출했습니다. [link] [comments]
