Skill Self-Play: 공진화하는 기술을 통한 LLM 능력의 한계 돌파

원문 발행 2026. 07. 25. 02:59원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

LLM의 자기 진화 과정에서 발생하는 작업 다양성과 검증 신뢰성 사이의 딜레마를 해결하기 위한 Skill Self-Play(Skill-SP) 프레임워크를 제안합니다. 제안자, 해결사, 기술 컨트롤러가 강화학습을 통해 상호작용하며 모델의 도구 사용 및 추론 능력을 지속적으로 향상시킵니다.

핵심 포인트

Skill-SP는 제안자, 해결사, 기술 컨트롤러로 구성된 공진화 프레임워크임
강화학습(RL) 루프를 통해 기술 라이브러리를 동적으로 업데이트하고 확장함
구조화된 검증과 개방형 탐색 사이의 간극을 메워 학습 효율을 높임
도구 사용 및 추론 벤치마크에서 백본 모델의 성능 상한선을 지속적으로 돌파함

LLM (Large Language Model) 학습은 수동적인 설계 및 주석 달기(annotation)에서 상호작용 중심의 자기 진화(self-evolution)로 전환되고 있습니다. 그러나 기존의 자기 진화 방법론들은 작업의 다양성(task diversity)과 검증 신뢰성(verification reliability) 사이의 근본적인 딜레마에 직면해 있습니다. 환경에 국한된 방법론은 정밀한 피드백을 얻을 수 있지만 학습을 좁은 도메인에 가두는 반면, 개방형 자기 생성(open-ended self-generation)은 작업 공간을 넓히지만 신뢰할 수 있는 검증이 부족하여 잘못된 보상(misleading rewards)이 학습 루프를 오염시키도록 방치합니다. 우리는 에이전트 기술(agent skills)을 이 긴장 상태를 완화할 수 있는 강력한 절충안으로 식별했습니다. 각 기술은 특정 시나리오에서 깊고 검증 가능한 실행을 보장하는 동시에, 기술 간의 동적 라우팅(dynamic routing)을 통해 개방형 작업 다양성을 유지합니다. 이러한 통찰을 활용하여, 우리는 제안자(proposer), 해결사(solver), 그리고 동적 기술 컨트롤러(dynamic skill controller)로 구성된 공진화 프레임워크인 Skill Self-Play (Skill-SP)를 소개합니다. 강화학습 (RL) 루프를 통해 조율되는 이 구성 요소들은 연속적인 셀프 플레이(self-play) 루프 내에서 함께 진화합니다. 제안자는 동적으로 샘플링된 기술을 조건으로 도전적인 작업을 생성하고, 해결사는 자신의 능력 한계를 밀어붙이기 위해 후보 솔루션을 탐색하며, 기술 컨트롤러는 실행 피드백을 수집하여 기술 라이브러리를 업데이트하고 확장합니다. 이러한 상호작용적 공진화는 구조화된 검증과 개방형 탐색 사이의 간극을 효과적으로 메워줍니다. 도구 사용(tool-use) 및 추론(reasoning) 벤치마크에 대한 실증적 평가 결과, 강력한 진화 엔진 역할을 하는 Skill-SP는 유능한 백본(backbone) 모델의 성능 상한선을 지속적으로 끌어올리는 동시에, 초기에 정렬되지 않은(misaligned) 모델들에게 놀라운 반전의 계기를 제공함을 입증했습니다. 우리의 코드는 https://github.com/Qwen-Applications/skill-self-play 에서 확인할 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

Skill Self-Play: 공진화하는 기술을 통한 LLM 능력의 한계 돌파

요약

핵심 포인트

댓글