불과 3B 파라미터 모델이 가사 태스크 벤치마크인 ALFWorld에서 평균 성공률 **91.8%**를 기록했다. 동일 조건의 GRPO는 **75.0%**였다. 차이는 16.8포인트이다.

게다가 보상 함수(Reward Function)는 단 한 줄도 추가하지 않았다. 프로세스 보상 모델(PRM)을 위한 추가 라벨도 없으며, 증류(Distillation)의 원천이 되는 대형 교사 모델(Teacher Model)도 존재하지 않는다. 늘어난 것은 모델 스스로가 자신의 행동 이력으로부터 작성한 '사후 지식 스킬(Hindsight Skill)'이라는 텍스트뿐이다.

2026년 7월 16일에 arXiv에 게시된 논문 「SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning」(arXiv:2607.14777, Jinyang Wu 등 11명)은 에이전트 강화학습(Agentic Reinforcement Learning)의 숙원 과제인 '희소 보상(Sparse Reward)' 문제에 대해, 외부 리소스를 일절 추가하지 않는다는 의외의 각도에서 해답을 제시했다. 본 기사에서는 그 메커니즘을 수식 수준에서 분해한다.

먼저 문제 설정을 정확히 짚고 넘어가자. LLM 에이전트의 강화학습에서는 GRPO(Group Relative Policy Optimization, DeepSeekMath 논문에서 제안된 기법)로 대표되는 **아웃컴 기반 RL (Outcome-based RL)**이 사실상의 표준이 되어 있다. 메커니즘은 다음과 같다.

• 동일한 태스크에 대해 여러 개의 롤아웃(Rollout, 시도)을 생성한다.
• 각 시도의 최종 결과(성공/실패, 점수)만을 보상으로 받는다.
• 그룹 내에서 보상을 정규화하고, 그 값을 시도 내의 모든 토큰에 동일한 부호로 할당한다.

문제는 세 번째에 있다. 30단계의 도구 호출(Tool Call)을 포함하는 긴 시도가 실패했을 때, 실제로는 28단계째의 단 하나의 판단만이 치명적이었더라도, 그래디언트(Gradient)는 모든 단계의 모든 토큰에 똑같이 "나빴다"라고 전달된다. 반대의 경우도 마찬가지로, 우연히 성공한 시도에 포함된 불필요한 행동까지 강화된다.

SEED 논문은 이 구조를 다음과 같이 표현한다.

rewards are often sparse, delayed, and assigned at the trajectory level(보상은 종종 희소하고, 지연되며, 궤적(Trajectory) 레벨에서 할당된다). 이것이 에피소드 레벨(Episode-level)의 결과와 토큰 레벨(Token-level)의 정책 학습(Policy Learning) 사이에 감독 격차(Supervision Gap)를 남긴다.

이 격차를 메우는 기존 접근 방식들은 모두 "무언가를 추가로 준비할" 필요가 있었다.

SEED의 핵심은 완료된 온폴리시 궤적(On-policy Trajectory)을 '사후 지식 스킬'로 변환하고, 그 행동 효과를 정책 모델(Policy Model) 스스로에게 다시 증류하는 것에 있다. 논문의 초록(Abstract)에서 인용한다.

We propose SEED (SElf-Evolving On-Policy Distillation), a self-evolving framework that converts completed on-policy trajectories into training-time hindsight skills and distills their behavioral effect back into the policy model.

구성 요소는 두 가지다.

롤아웃이 끝날 때마다, 정책 모델 스스로가 그 궤적을 다시 읽고 자연어로 '스킬'을 작성한다. 성공한 궤적에서는 재사용 가능한 워크플로우를, 실패한 궤적에서는 실패 회피 패턴을 추출한다. 인간이 작성한 치트 시트가 아니라, 모델이 자신의 경험으로부터 생성한 사후 지식 메모이다.

중요한 점은 이 스킬 생성 능력 자체도 SFT(Supervised Fine-Tuning)를 통해 계속 업데이트된다는 점이다. 정책(Policy)이 개선되면 생성되는 스킬의 질도 올라간다. 스킬과 정책이 **공진화(Co-evolution)**하도록 설계되어 있으며, 이것이 이름의 유래인 'Self-Evolving'의 의미이다.

이 부분이 기술적인 핵심이다. 동일한 행동 $a$를 두 종류의 컨텍스트(Context)로 재점수화(Re-scoring)한다.

• 일반 이력 $h_{ordinary}$: 일반적인 에이전트 문맥
• 스킬 포함 이력 $h_{skill}$: 사후 지식 스킬을 주입한 문맥

그리고 두 값의 로그 확률(Log Probability) 차이를 구한다.

Δ = stop_gradient[log π_θ(a | h_skill) − log π_θ(a | h_ordinary)]

$\Delta$가 양수라면 "스킬을 알고 있었다면, 이 행동을 더 높은 확신도(confidence)로 선택할 수 있었을 것이다"라는 것을 의미한다. 이 $\Delta$를 시그모이드(sigmoid) 함수를 통과한 게이트 $g = \sigma(\beta_{opd} \cdot \Delta)$로 제어하여 증류(distillation)의 강도를 조절하며, **스킬을 보고 있는 자신을 교사(teacher), 보고 있지 않은 자신을 학생(student)**으로 설정하여 토큰 단위의 증류 손실(distillation loss)을 구성한다. 그래디언트(gradient)는 통상적으로 이력(history) 측의 분기로만 흐른다(논문에서는 이를 confidence-gated sampled-token distillation이라 부른다).

최종적인 학습 목적 함수는 일반적인 RL 손실과의 단순한 가중합이다.

L_SEED(\theta) = L_rl(\theta) + \lambda_{opd} \cdot L_{opd}(\theta)

궤적(trajectory) 레벨의 희소 보상($L_{rl}$)과 토큰 레벨의 조밀한 자기 증류(self-distillation) 신호($L_{opd}$)를 동시에 최적화한다. 교사가 자기 자신이기 때문에 추가 모델은 불필요하며, 증류를 통해 스킬의 효과가 가중치(weight)에 각인되므로 추론 시에는 스킬을 컨텍스트(context)에 넣을 필요가 없다. 컨텍스트 엔지니어링(context engineering)의 성과를 가중치 업데이트로 변환하는 파이프라인이라고 재정의할 수도 있다.

Qwen2.5-3B-Instruct에서의 주요 결과를 논문의 보고치에서 발췌한다(SDAR은 스킬 확장계 베이스라인 기법이다).

동일한 경향은 Qwen2.5-7B-Instruct와 Qwen3-1.7B에서도 확인되었으며, 모델 크기에 관계없이 일관적이다. 텍스트 환경뿐만 아니라 시각 기반(visual-based) 에이전트 태스크에서도 개선이 보고되었으며, 샘플 효율성(동일한 성능에 도달하기까지의 시도 횟수) 측면에서도 우수하다고 평가된다.

어블레이션(ablation, ALFWorld, 3B) 실험은 설계의 핵심 포인트를 보여준다.

가장 큰 하락은 스킬을 정적 라이브러리(static library)로 대체했을 때 발생한다. 즉, Voyager 이후 정석이었던 "스킬을 저장했다가 검색하여 주입하는" 방식은, 정책(policy)의 현재 위치와 어긋난 오래된 스킬을 공급하게 되어, 공진화(co-evolution)하는 동적 스킬에 비해 크게 뒤처진다. 이 -7.4포인트의 차이는 스킬 라이브러리 설계의 상식에 대한 작지 않은 반증이다.

본 논문은 2026년 7월 16일 투고된 프리프린트(preprint)이며, 피어 리뷰(peer review)를 거치지 않았다. 수치는 모두 저자의 보고치이다.

논문 자체는 본문에서의 한계 논의가 부족하며(부록 E에서 이론적 분석의 공백을 언급하는 정도), 그 점을 포함하여 비판적으로 읽을 필요가 있다.

벤치마크의 규모가 작다. ALFWorld, WebShop, 검색 QA는 에이전트 RL 연구의 단골이지만, 모두 행동 공간(action space)이 좁은 학술적 벤치마크다. SWE-Bench 급의 실세계 코딩 태스크나, 수백 스텝의 장기 태스크에서도 동일한 이득이 나올지는 검증되지 않았다.

모델이 작다. 검증은 1.7B~7B 모델에 국한된다. 희소 보상으로 인한 교사 신호의 공백은 대형 모델에서도 존재하지만, 대형 모델은 적은 수의 보상만으로도 일반화(generalization)하기 쉽기 때문에 이득이 줄어들 가능성이 있다.

계산 비용이 증가한다. 각 행동을 두 종류의 컨텍스트로 재점수화(re-scoring)하고, 추가로 스킬 생성을 위한 SFT를 수행하므로, 순수 GRPO보다 학습 시의 계산량은 확실히 늘어난다. 논문의 주장은 샘플 효율성의 개선이지만, 워크클락 효율(wall-clock efficiency) 측면에서의 비교는 별개의 문제다.

자기 증폭 편향(self-amplification bias)의 리스크. 교사가 자기 자신인 이상, 모델이 잘못된 사후 지식(우연히 성공했을 뿐인 절차를 과도하게 일반화하는 등)을 스킬화하면, 그 오류가 조밀한 신호로서 증폭된다. 게이트 $g$가 이를 어느 정도 억제하지만, 원리적인 보장은 없다.

SEED가 흥미로운 점은 단발적인 성능 개선이 아니라, 동시대의 논의와 합류하는 위치에 있다는 것이다. 2026년 7월 1일 투고된 포지션 논문 "Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents" (arXiv:2607.01120)는, 현재의 실전 에이전트들이 가중치도 프롬프트도 툴(tool)도 동결된 채 배포되고 있는 현상을 문제 삼으며, 경험을 통해 계속 진화하는 에이전트 시스템을 차세대 핵심 과제로 설정했다.

이러한 맥락에서 볼 때 SEED는 「경험 → 언어화된 기술 → 가중치 (Weights)」라는 변환 경로의 구체적인 구현 사례이다. 현재 에이전트 업계에서 경험의 축적은 주로 컨텍스트 측면(메모리 파일, 기술 라이브러리, CLAUDE.md와 같은 지시서)에서 이루어지고 있다. SEED의 어블레이션 (Ablation) 연구가 보여준 것은, 그러한 정적인 축적 방식에는 명확한 성능 상한이 존재하며, 축적물을 가중치로 환류(Feedback)시키는 루프를 닫았을 때 최대의 이득이 나온다는 사실이다.

이 방향이 실용화된다면, 배포된 에이전트의 매일의 궤적 로그는 그대로 다음 주의 증류 교재가 된다. 파인튜닝 (Fine-tuning)의 민주화와 온폴리시 (On-policy) 증류의 비용 저하가 이어진다면, 「자사의 워크플로우에서 자기 진화하는 에이전트」는 5~10년 스팬 내에 현실적인 운용 형태가 될 수 있다. 반면, 자기 증폭 편향 (Self-amplification bias)의 감사, 기술 오염 (Skill contamination, 잘못된 사후 지식의 혼입), 진화하는 에이전트의 동작 보증이라는, 정적 모델에는 존재하지 않았던 거버넌스(Governance) 문제가 동시에 대두된다. 희소한 보상 (Sparse reward)의 공백을 메우는 기술은 평가와 통제의 공백이라는 새로운 숙제를 가져온다.

• 에이전트 RL의 희소 보상 문제에 대해, SEED는 보상·라벨·교사 모델을 추가하지 않고, 자신의 궤적으로부터 생성된 사후 지식 기술의 자기 증류를 통해 밀집된 토큰 단위의 교사 신호 (Teacher signal)를 만든다.
• ALFWorld에서 GRPO 대비 +16.8pt (75.0% → 91.8%), WebShop 성공률 +15.6pt, 검색 QA +9.3pt를 3B 모델로 보고했다.
• 기술을 정적 라이브러리로 대체할 경우 -7.4pt를 기록하여, 공진화하는 동적 기술의 기여가 최대라는 결과는 기존의 기술 라이브러리 설계에 대한 반증이 된다.
• 소규모 벤치마크·소규모 모델·저자 보고치라는 전제 조건이 붙지만, 컨텍스트의 지견을 가중치로 환류시키는 노선의 유력한 실증 사례이다.

SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning (arXiv:2607.14777)

Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents (arXiv:2607.01120)

DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (GRPO 제안 논문)

Voyager: An Open-Ended Embodied Agent with Large Language Models