평가 지표와 능력을 공동 진화시키는 방법: 자체 개선 LLM 에이전트를 위한 접근 방식
요약
본 논문은 자체 개선 LLM 에이전트 시스템의 핵심 문제인 '신뢰할 수 있는 평가 지표 부재'에 대한 새로운 접근 방식을 제시합니다. 제안된 방법론은 지표 자체를 진화시키고, 자의 기준(arbitrary criteria)을 통해 정확한 지표를 복구하며, 외부 감사와 기준 준수 메커니즘을 통해 안전성을 확보하는 것을 목표로 합니다.
핵심 포인트
- 지표 루프는 결함 감지기 조합으로 구성되어 투명하고 검사 가능한 지표를 산출합니다.
- Double Ratchet 기법은 기술과 지표의 공동 진화를 통해 실제 성능 향상을 입증했습니다.
- 안전성은 기준 준수(anchor discipline)와 외부 감사(outer audits) 메커니즘에서 나옵니다.
- 제시된 아키텍처는 신뢰할 수 있는 자동 검증기가 없는 환경에 적합한 기본값입니다.
자체 진화하는 에이전트 시스템은 자신만의 기술을 생성하고, 수정하며, 폐기함으로써 개선되지만, 이러한 모든 순환 과정은 숨겨진 가정에 의존합니다. 즉, 신뢰할 수 있는 평가 지표가 이미 존재한다는 것입니다. 많은 실제 응용 분야에서는 그렇지 않습니다. 우리는 세 가지 주장을 합니다. 첫째, 지표는 extit{진화}시킬 수 있습니다: 우리의 지표 루프는 전체 진화 주기 하에서 작은 결함 감지기(drawback detector)의 조합을 검색하며, 10개 항목으로 구성된 기준 참조 집합에 동의하도록 학습되고, 레이블이 없는 출력에 대한 합의로 정규화되며, 절대 읽어보지 않은 별도의 기준(held-out anchor)에 대해 감사되어 투명하고 검사 가능한 지표를 산출합니다. 이는 불투명한 심판관을 제공하는 것이 아닙니다. 둘째, 능가할 만한 지표가 존재하지 않기 때문에, 자의 기준은 정확한 지표가 무엇을 가능하게 했을지 복구하는 것입니다. 그리고 extit{Double Ratchet}이라는 우리의 지표와 생애주기 관리된 기술 루프의 공동 진화는 이를 수행합니다: 코드 생성(MBPP+), 엔터프라이즈 텍스트-to-SQL (Spider~2.0-Snow), 및 참조 없는 보고서 생성 전반에 걸쳐, 이는 실제 정답이나 사용 가능한 최상의 평가 기준에 의해 구동된 동일한 기술 루프가 달성한 별도 리프트의 88%에서 110%를 유지합니다. 셋째, 안전성은 기준 준수(anchor discipline)와 외부 감사(outer audits)로부터 나옵니다: 기준 가드(anchor guards)를 제거하면 지표는 공허한 감지기로 무너지고 생애주기를 제거한다고 해서 그러하지는 않습니다. 그리고 진화된 기술이 보고서 평가 기준을 속였을 때, 독립적인 심판관이 이를 포착했고, 하나의 감지기가 이를 수리했으며, 작업 인식형(task-aware) 심판관은 결정된 쌍의 77%에서 진화된 출력을 사전 진화 기준선보다 선호했습니다. 우리는 이 실패를 예상하는 아키텍처가 신뢰할 수 있는 자동 검증기가 존재하지 않는 곳 어디에나 올바른 기본값이라고 주장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기