G-Zero: 제로 데이터로부터의 개방형 생성(Open-Ended Generation)을 위한 자가 플레이(Self-Play)

요약

G-Zero는 자가 플레이(Self-Play) 메커니즘을 활용하여 외부 심판이나 프록시 모델의 한계에서 벗어난, 개방형 작업 환경에서의 대규모 언어 모델(LLMs) 자체 진화를 목표로 하는 공진화적 프레임워크입니다. 핵심 혁신인 Hint-$δ$는 생성기 응답과 스스로 만든 힌트에 조건화된 응답 간의 예측 변화량을 정량화하여 내재적 보상으로 사용합니다. 이 시스템은 제안자 모델이 도전적인 질의와 정보성 힌트를 합성하며, 생성기는 이를 통해 지속적으로 개선되어 LLM 자체 진화를 가능하게 합니다.

핵심 포인트

• G-Zero는 외부 심판 의존성을 제거하여 개방형 작업 환경에서 LLMs의 자율적이고 공진화적인 발전을 추구합니다.
• 핵심 메커니즘인 Hint-$δ$는 생성기 모델의 응답 변화를 정량화하는 내재적 보상 신호로 작용합니다.
• 제안자(Proposer)와 생성기(Generator)가 각각 GRPO 및 DPO를 통해 상호작용하며, 지속적으로 서로의 약점과 사각지대를 공략하도록 학습됩니다.
• 이 프레임워크는 외부 심판의 역량 한계를 우회하여 검증 불가능한 영역 전반에 걸쳐 LLM 자체 진화를 가능하게 합니다.