검증 가능한 보상을 이용한 강화학습(Reinforcement learning with verifiable rewards, RLVR)은 풍부한 훈련 경험을 생성하지만, 결과 보상(outcome rewards)은 각 시도를 단일 숫자로 축소하여 이 정보의 대부분을 사용하지 못하게 합니다. 훈련 중 스캐폴드(scaffolds), 예를 들어 훈련 중에 프롬프트에 추가되는 전략이나 힌트는 이 정보를 가이드로 전환하는 자연스러운 방법을 제공하지만, 그 설계와 적응은 주로 인간에게 맡겨지며 특정 도메인에 맞게 조정됩니다.
우리는 AutoScaffold를 소개합니다. 이는 학생의 훈련 경험을 적응형 스캐폴드로 변환하는 통합적인 AI-for-AI 프레임워크로, 최소한의 도메인 특화 정보와 훈련 중 인간 개입이 필요 없습니다. 고정된 교사(frozen teacher)가 주기적으로 이 경험을 검토하고 병목 현상(bottlenecks)을 진단하며, 두 가지 형태의 스캐폴드를 설계합니다: (i) 작업 클래스 전반에 걸쳐 공유되는 전략과 (ii) 개별적인 어려운 작업을 위한 힌트입니다. 이는 학생이 학습함에 따라 지원의 내용과 양을 조정합니다. 이 스캐폴드는 평가 시 제거됩니다.
우리는 동일한 프레임워크를 ALFWorld, 검색 기반 QA(search-based QA), 수학적 추론(mathematical reasoning), 그리고 GPU 커널 생성(GPU kernel generation)에 적용했습니다. 스캐폴드 없이 평가했을 때, AutoScaffold로 훈련된 학생들은 네 가지 도메인 모두에서 해당 RL 기준선(RL baselines)으로 훈련된 학생들보다 우수한 성능을 보였으며, ALFWorld 성공률에서는 7.2점, 평균 QA 정확히 일치율(exact match)에서는 4.0점의 향상을 보였습니다. GPU 커널 생성의 경우, AutoScaffold는 PyTorch 참조보다 빠르게 실행되는 올바른 커널을 가진 작업 비율을 최대 5.0점까지 증가시켰습니다. 수학 분야에서 우리의 학생은 약 3분의 1에 해당하는 적은 학생 훈련 단계만으로 QuestA가 보고한 정확도를 능가했습니다.
분석 결과, 교사는 각 작업 클래스에서 다른 실패 지점을 식별하고, 학생이 개선됨에 따라 스캐폴드를 단계별 워크플로우(step-by-step workflows)에서 목표 지정 수정 사항(targeted fixes)으로 전환하며, 그 수정된 스캐폴드가 이전 스캐폴드를 유지하거나 아무 스캐폴드를 사용하지 않는 것보다 학생의 학습에 더 도움이 된다는 것을 보여주었습니다.