최근 LLM 학습 논문에서 구조화된 피드백(Structured Feedback)이 등장하는 이유

최근 AI 학습 연구에서 놓치기 어려운 하나의 패턴이 나타나고 있습니다. 연구자들이 단일 숫자로 된 평면적인 피드백에서 벗어나 더 풍부한 학습 신호(training signals)로 이동하고 있다는 점입니다. 좋은 예로 Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation을 들 수 있는데, 이 논문은 다음과 같은 간단한 질문을 던집니다. 만약 모델이 단순히 점수만 받는 것이 아니라, 왜 하나의 답변이 다른 답변보다 더 나은지를 설명하는 루브릭(rubric, 평가 기준)을 받는다면 어떻게 될까?

이 아이디어가 중요한 이유는 많은 사후 학습(post-training) 파이프라인이 여전히 매우 작은 신호 안에 많은 유용한 정보를 압축해 버리기 때문입니다. 사고의 사슬 (Chain-of-Thought, CoT) 주석은 노이즈가 섞일 수 있습니다. 스칼라 보상 (scalar reward)은 응답이 좋았는지 나빴는지는 알려줄 수 있지만, 응답의 어느 부분이 개선되어야 하는지는 알려주지 못합니다. 이 논문은 루브릭이 피드백의 구조를 더 많이 보존하고 이를 토큰 수준의 가이드 (token-level guidance)로 전환할 수 있다고 주장합니다.

스칼라 피드백 (Scalar Feedback)이 병목 현상이 되는 이유

추론 모델 (reasoning models)에서 사후 학습은 보통 두 가지 익숙한 소스에서 옵니다. 바로 지도 증류 (supervised distillation)와 검증된 보상을 이용한 강화학습 (reinforcement learning)입니다. 둘 다 유용하지만, 둘 다 한계가 있습니다.

증류 (Distillation)는 종종 사고의 사슬 (chain-of-thought) 예시에 의존합니다. 이러한 예시들은 작성 비용이 많이 들며, 항상 깔끔한 것도 아닙니다. 동반된 근거(rationale)가 불완전하거나 약간 틀리더라도 최종 답변은 정답일 수 있습니다. 만약 모델이 그 불완전한 근거를 너무 문자 그대로 모방하도록 학습된다면, 학습 신호는 도움이 되지 않게 됩니다.

검증된 보상을 이용한 강화학습 (Reinforcement learning with verified rewards)은 정반대의 문제를 가지고 있습니다. 답변이 통과했는지 실패했는지에 대해서는 신뢰할 수 있지만, 종종 모든 세부 사항을 단 하나의 숫자로 붕괴시켜 버립니다. 이로 인해 모델에게 무엇을 개선해야 하는지 알려주기가 어려워집니다. 그 결과 신용 할당 (credit-assignment) 과정이 약해집니다. 즉, 학습 시스템은 결과는 알지만 구체적인 오류는 알지 못하게 됩니다.

이 논문의 핵심 주장은 루브릭(rubric)이 그 중간에 위치한다는 것입니다. 루브릭은 스칼라 보상 (scalar reward)보다는 더 구조화되어 있지만, 단일 참조 설명 (single reference explanation)보다는 덜 취약합니다.

루브릭 조건부 자기 증류 (rubric-conditioned self-distillation)가 실제로 하는 일

논문에서 제시하는 기본 아이디어는 두 단계로 나누어 보면 명확합니다.

첫째, 시스템은 작업 특화형 루브릭 (task-specific rubrics)을 생성하는 법을 배웁니다. 이 루브릭들은 강력한 응답이 기준 (criteria) 수준에서 무엇을 충족해야 하는지를 설명합니다. 과학적 추론 문제의 경우, 이는 가설을 점검하거나, 단위를 추적하거나, 결론이 증거로부터 도출되는지 확인하는 것을 의미할 수 있습니다.

둘째, 교사 모델 (teacher model)은 이러한 루브릭을 사용하여 학생 모델 (student model)이 스스로 샘플링한 궤적 (trajectories)을 가이드합니다. 논문은 이를 토큰 수준 가이드 (token-level guidance)라고 설명하는데, 이것이 중요한 부분입니다. 단순히 "이 출력은 좋다" 또는 "이 출력은 나쁘다"라고 말하는 대신, 루브릭은 학습자에게 응답에서 근거가 부족한 부분, 정당화 (justification)가 약한 부분, 또는 수정이 필요한 단계가 어디인지를 알려줍니다.

논문은 이 접근 방식을 루브릭 조건부 자기 증류 (rubric-conditioned self-distillation)라고 부릅니다. 실제로 이는 모델이 하나의 완벽한 참조 정답으로부터 배우는 것이 아님을 의미합니다. 대신 정답이 무엇을 달성해야 하는지에 대한 구조화된 설명으로부터 학습합니다.

이는 미묘한 변화이지만, 학습 역학 (learning dynamics)을 변화시킵니다. 루브릭은 고수준 평가 (high-level evaluation)와 저수준 토큰 업데이트 (low-level token updates) 사이의 가교 역할을 하게 됩니다.

이것이 추론 모델에 유용한 이유

이는 몇 가지 이유로 중요합니다.

첫째, 신용 할당 (credit assignment)을 개선합니다. 모델이 문제를 해결했지만 설명을 잘못했을 경우, 루브릭은 전체 궤적을 버리는 대신 취약한 단계를 지적할 수 있습니다.

둘째, 감독 (supervision)을 더 재사용 가능하게 만듭니다. 좋은 루브릭은 서로 다른 많은 샘플 응답에 적용될 수 있으므로, 모델이 모든 사례에 대해 하나의 완벽한 사고 사슬 (chain-of-thought) 예시를 가질 필요가 없습니다.

셋째, 더 복잡한 추론 (reasoning) 작업에서 더 잘 확장(scale)됩니다. 응답의 단계가 많아질수록, 이진(binary) 또는 스칼라 (scalar) 레이블은 중요한 무언가를 놓칠 가능성이 커집니다. 루브릭 (rubrics)은 그러한 구조의 일부를 온전하게 유지해 줍니다.

논문에 따르면, 이 방법은 다양한 과학 추론 제품군 (science reasoning suite)에서 평균 결과를 개선하여, GRPO를 평균 1.0포인트, OPSD를 평균 0.9포인트 앞질렀다고 보고합니다. 정확한 차이가 핵심은 아닙니다. 더 흥미로운 부분은 훈련 신호 (training signal) 자체가 단순한 보상 (reward)보다 더 서술적 (descriptive)이라는 점입니다.

더 넓은 트렌드: 구조화가 평탄화(flattening)를 이긴다

이 논문은 유일한 사례가 아닙니다. 최근의 연구들은 동일한 방향을 계속해서 가리키고 있습니다. 즉, 더 나은 동작을 원한다면 모든 정보를 너무 일찍 평탄화 (flatten)하지 마십시오.

관련된 예로 UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning이 있습니다. UBP2는 수기로 작성된 루브릭 (rubrics) 대신 쌍체 선호도 (pairwise preferences)에서 시작하지만, 그 동기는 유사합니다. 즉, 수동적인 스칼라 보상 (scalar reward)보다 더 풍부한 신호를 사용하고, 불확실성 (uncertainty)을 무시하는 대신 이를 고려하여 추론하는 것입니다. 이 논문은 다음에 어디를 탐색할지 결정할 때 보상 (reward), 역학 (dynamics), 가치 (value), 그리고 인식론적 불확실성 (epistemic uncertainty)을 명시적으로 균형 있게 다룹니다. 이는 훈련 루프 (training loop)가 더 많은 구조를 작동 상태로 유지해야 한다는 말을 다르게 표현한 것입니다.

해석 가능성 (interpretability)에 관한 평행한 연구 흐름도 존재합니다. Explaining Attention with Program Synthesis는 훈련과는 반대 방향을 취하지만, 그 직관은 연관되어 있습니다. 즉, 불투명한 동작을 더 구체적인 산출물 (artifact)로 대체하는 것입니다. 해당 논문에서는 어텐션 헤드 (attention heads)를 어텐션 패턴을 재현하는 실행 가능한 Python 프로그램으로 근사화합니다. 목표는 더 나은 보상 형성 (reward shaping)이 아니라, 더 읽기 쉬운 모델 구성 요소를 만드는 것입니다. 그럼에도 주제는 동일합니다. 연구자들은 숨겨진 동작을 더 명시적이고 다루기 쉬운 무언가로 전환할 방법을 찾고 있습니다.

종합해 보면, 이러한 논문들은 다음 단계의 발전이 차별화되지 않은 피드백의 양을 늘리는 것보다 더 잘 구조화된 신호 (signals)로부터 올 가능성이 높음을 시사합니다.

이것이 실무에서 의미하는 바

추론 시스템 (reasoning systems)을 구축하는 사람들에게 이 시사점은 실무적입니다.

만약 대상 작업 (target task)에 명확한 루브릭 (rubric)이 있다면, 최종 점수에만 의존하는 대신 해당 루브릭을 직접 인코딩 (encoding)하는 것이 가치가 있을 수 있습니다. 만약 작업이 선호도 (preferences)를 포함한다면, 불확실성 (uncertainty)은 단순히 평균화하여 제거해야 할 노이즈 (noise)가 아니라 신호의 일부가 될 수 있습니다. 만약 목표가 모델 구성 요소를 이해하는 것이라면, 모호한 설명 문자열 (explanation string)보다 실행 가능한 대리물 (executable surrogates)이 더 유용할 수 있습니다.

이러한 아이디어 중 그 어떤 것도 좋은 데이터나 신중한 평가의 필요성을 없애지는 않습니다. 루브릭 (rubrics)은 여전히 잘 작성되어야 합니다. 선호도 데이터 (preference data)는 여전히 수집되고 정제되어야 합니다. 프로그램 방식의 설명 (programmatic explanations)은 유용할 만큼 모델과 충분히 밀접하게 일치해야 합니다. 하지만 이 논문들은 공통된 방향을 보여줍니다. 즉, 원래의 구조를 더 많이 보존하는 산출물 (artifacts)을 사용하여 모델을 학습시키고 분석하는 것입니다.

이러한 방향은 특히 추론 모델 (reasoning models)에게 중요해 보입니다. 모델이 유창한 답변을 생성하는 능력이 좋아짐에 따라, 어려운 부분은 어떤 종류의 답변이 실제로 정답인지, 그리고 '왜' 그런지를 가르치는 쪽으로 이동합니다. 루브릭 (rubrics)은 그 문제에 대한 하나의 해답입니다.

더 넓은 교훈은 간단합니다. 만약 작업에 의미 있는 구조가 있다면, 가능한 한 오랫동안 그 구조를 루프 (loop) 안에 유지하십시오. Rethinking Reward Supervision, UBP2, 그리고 Explaining Attention with Program Synthesis와 같은 최근 논문들은 모두 각기 다른 각도에서 그 방향을 가리키고 있습니다.