RL 포스트 트레이닝 (RL Post-training, GRPO, PPO 계열의 알고리즘으로 보상을 바탕으로 모델을 조정하는 기법)은 현재의 「추론 모델」 붐을 지탱하는 핵심 기술이다. 수십억 개의 파라미터(Parameter)를 가진 모델 전체를 그래디언트(Gradient), 옵티마이저 상태(Optimizer state), 참조 모델(Reference model)까지 포함하여 업데이트하는 것이 당연한 전제로 다뤄져 왔다.

2026년 7월 1일에 arXiv에 게시된 논문이 그 전제를 조용히 깨뜨렸다. 제목은 그대로 「1개의 층으로 충분한가?」. 답은 놀랍게도 「예」에 가깝다.

• RL 포스트 트레이닝의 효과는 모든 파라미터에 균등하게 분산되어 있지 않다.
  극단적으로 적은 수의 층, 많은 경우 "단 하나의 층"에 집중되어 있다 - 검증은
  7개 모델(Qwen3의 1.7B/4B/8B, Qwen2.5-Math-1.5B, Qwen2.5-Instruct의 1.5B/3B, DeepSeek-Distilled-Qwen-7B), 3종의 RL 알고리즘(GRPO, GiGPO, Dr. GRPO), 수학 추론·코딩·에이전트적 의사결정이라는 복수 도메인에서 일관되게 관측되었다. Qwen3-8B에서는 "최상의 1개 층만" 훈련한 모델이 69.11%의 정확도를 기록하여, 전체 파라미터 업데이트 베이스라인(66.43%)을 2.68포인트 상회했다
• 기여도가 높은 층은 네트워크 깊이의 40~60% 부근(=중간층)에 집중된다. 게다가 훈련 중의 가중치(Weight) 변화량 자체는 층마다 거의 균일함에도 불구하고, RL 효과에 대한 기여도는 층에 따라 크게 다르다.
• 기여도가 높은 층들끼리는 풀 수 있는 문제 세트의 중복이 적다 (Jaccard 유사도 34.1%). 즉, 각각의 층이 서로 다른 문제를 "담당"하고 있다는 뜻이다.
• 기여도가 높은 상위 10개 층만 훈련하면, 파라미터의 72%를 전혀 업데이트하지 않고도 전체 파라미터 훈련 베이스라인을 상회했다.

본 기사는 arXiv 논문 「Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training」(arXiv:2607.01232, 2026년 7월 1일 게시·7월 2일 개정, 저자: Zijian Zhang, Rizhen Hu, Athanasios Glentis, Dawei Li, Chung-Yiu Yau, Hongzhou Lin, Mingyi Hong) 및 이를 보도한 aiexpert.news·AI Weekly의 기사를 바탕으로 한 해설입니다. 게시된 지 2주 미만인 연구이며, 피어 리뷰(Peer review) 전의 프리프린트(Preprint)라는 점에 유의해 주십시오.

논문의 측정 방법은 심플하다. 전체 파라미터를 고정한 채, 단 1개의 층만 훈련 가능하게 하여 RL을 돌린다. 그때의 성능 향상을 전체 파라미터를 훈련했을 때의 성능 향상과 비교한다. 이 비율을 「layer contribution (층의 기여도)」라고 정의했다.

결과는 상당히 극단적이었다. 가장 기여도가 높은 층은 1.01~1.14 (즉, 전체 파라미터 훈련과 동등하거나 이를 상회함). 가장 기여도가 낮은 층은 0.17~0.42 (전체 파라미터 훈련 효과의 2~5할 정도). 동일한 모델, 동일한 RL 알고리즘이라도, 어느 층을 훈련하느냐에 따라 결과가 2배 이상 달라진다는 것이다.

고기여도 층의 위치에도 명확한 패턴이 있었다.

• Qwen3-1.7B: Layer 10 (기여도 1.14)
• Qwen3-8B: Layer 16 (기여도 1.07)
• 전체 경향:
  네트워크 깊이의 40~60%, 즉 중간층이 일관되게 가장 기여도가 높았다.

입력·출력에 가까운 층은 상대적으로 기여도가 낮았다.

이 부분이 논문에서 가장 흥미로운 대목이다. 전체 파라미터를 훈련했을 때의 가중치 변화량 자체를 층별로 측정하면 놀라울 정도로 균일했다. 즉, "많이 변화하는 층"과 "별로 변화하지 않는 층"이라는 단순한 차이로는 기여도의 차이를 설명할 수 없다.

논문은 이를, 층의 기여도는 파라미터가 변화한 양이 아니라, 해당 층의 파라미터 공간이 RL의 개선을 포착하는 "유효성"을 반영하고 있다고 해석하고 있다. 다시 말해, 중간층은 똑같이 움직이더라도 그 움직임이 출력으로 전달되는 "레버리지 (Leverage)"가 원래부터 큰 구조로 되어 있다는 뜻이다.

나아가 고기여도 층들을 비교하면 풀 수 있는 문제 세트의 중복이 작았다 (Jaccard 유사도 34.1%). 이는 각각의 층이 기능적으로 서로 다른 무언가를 담당하고 있음을 보여주는 결과다. "중간층의 어느 한 곳이 특별하다"기보다는, "중간층에는 여러 가지 서로 다른 "전문가"적인 부분 공간(Subspace)이 존재하며, RL은 그중 하나를 정확히 타격하면 큰 효과를 낼 수 있다"는 이미지에 가깝다.

실제로, 여러 개의 고기여 층(High-contribution layers)을 각각 개별적으로 훈련시킨 모델들을 **다수결 앙상블 (Majority Vote Ensemble)**에 적용했을 때, OlympiadBench의 정확도가 전체 파라미터 훈련 시의 26.9%에서 **33.6%**까지 향상되었다. 이는 단일 모델의 성능 향상뿐만 아니라, "층마다 서로 다른 전문성"을 한데 모으는 효과도 있음을 의미한다.

논문에서 "유효성을 검증했다"고 명시한 가이드형 훈련 전략(기여도가 높은 층을 선택하여 훈련하는 기법)은 주로 수학적 추론 태스크에서 검증되었다. 코딩 에이전트(Coding Agent) 태스크로의 확장은 저자 스스로도 "향후 과제"로 남겨두었다. 또한, "왜 중간층이 특히 RL 적응에 중요한가"라는 이론적인 설명은 논문 내에서도 명확한 답이 나오지 않은 미해결 문제로 다뤄지고 있다.

RL 포스트 트레이닝 (RL Post-training)이 고비용인 이유는 모델 본체뿐만 아니라, 그래디언트(Gradient)·옵티마이저 상태(Optimizer state)·경우에 따라서는 참조 모델(Reference model)까지 동시에 메모리 상에 유지해야 하기 때문이다. 모든 파라미터를 훈련 대상으로 삼으면, 이 메모리 비용은 파라미터 수에 비례하여 급증한다.

이 논문이 보여주는 것은, 파라미터의 72%를 완전히 동결(Freeze)한 상태에서도 전체 파라미터 훈련의 베이스라인을 상회할 수 있다는 결과다. 이는 단순한 속도 향상의 문제가 아니라, 정말로 RL로 구동할 필요가 있는 파라미터는 생각보다 훨씬 적다는, RL 포스트 트레이닝의 전제 자체에 대한 의구심을 던진다.

이 시리즈에서 지속 학습(Continual Learning)이나 아키텍처 이야기를 다룰 때, 항상 근저에 깔려 있는 질문은 "AI가 똑똑해지는 메커니즘이 지금의 전제 그대로 10년 후에도 통용될 것인가"이다. 이 논문이 시사하는 방향성은 적어도 세 가지가 있다.

RL 포스트 트레이닝의 민주화. 프런티어 연구소만이 보유한 대규모 클러스터가 아니더라도, 중간층만을 타겟팅하여 훈련할 수 있다면 대학 연구실이나 개인 개발자가 현실적인 예산으로 오픈 모델을 전문화할 수 있는 범위가 넓어진다.

"RL로 똑똑해진다"는 의미의 변화. RL을 통한 추론 능력의 향상은 모델 전체에 새로운 지식을 "쓰는(Write)" 것이라기보다, 이미 사전 학습(Pre-training) 단계에서 존재하던 기능적 부분 공간(Functional Subspace)을 정확하게 "불러일으키는(Invoke)" 것에 가까울지도 모른다. 이는 해석 가능성(Interpretability) 연구(서킷, 특징의 국지화)가 지향하는 방향과 일치한다.

"모델 전체를 재학습한다"에서 "특정 모듈만 교체한다"로. 마이크로 서비스의 일부만 업데이트하듯이, 모델의 중간층이라는 "부품"만을 지속적으로 조정해 나가는 발상이 차세대 파인튜닝(Fine-tuning) 및 지속적 적응(Continual Adaptation)의 표준이 될 가능성이 있다.

물론, 이는 하나의 프리프린트(Preprint) 논문이 보여준 결과이며 아직 동료 검토(Peer review)를 거치지 않았다. "왜 중간층인가"에 대한 이론적 설명은 아직 없으며, 가이드형 전략의 일반화도 제한적이다. 하지만 "RL 포스트 트레이닝은 당연히 모든 파라미터를 건드려야 한다"는, 지금까지 의심받지 않았던 전제에 구체적인 실험 데이터로 일침을 가했다는 점은 간과할 수 없다.

이 기사가 도움이 되었다면, 좋아요와 저장을 부탁드립니다!

"RL의 효과가 중간층에 집중된다"는 발견, 여러분의 직관과 일치했나요?

Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training - arXiv

Is One Layer Enough? (v2, full text) - arXiv

One Layer Matches Full RL Post-Training on Qwen Models - ai|expert

Arxiv Study: One Transformer Layer Rivals Full-Parameter RL - AI Weekly