테스트 시간 강화학습(TTRL)에서의 다수결 투표 기반 유사 레이블의 신뢰성에 관하여

원문 발행 2026. 11. 07. 03:49원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

본 논문은 테스트 시간 강화학습(TTRL)에서 사용되는 다수결 기반 유사 레이블의 신뢰성 문제를 분석합니다. 연구진은 이 과정의 오류를 특정 편향으로 분해하고, 이를 완화하기 위해 Prompt-Conditional Distributionally Robust DPO (PC-Dr.DPO)라는 새로운 방법을 제안했습니다. PC-Dr.DPO는 다양한 벤치마크에서 높은 성능을 입증하며 TTRL 기준선에 근접하거나 능가하는 결과를 보였습니다.

핵심 포인트

TTRL의 유사 레이블 신뢰도 문제를 다루며, 오류를 모집단 편향 등으로 분석함.
PC-Dr.DPO는 인-프롬프트 강건 재가중치 부여로 업데이트 안정성을 높임.
캐시 기반 메커니즘을 추가하여 자기 지도 학습 망각 현상을 줄였음.
6가지 수학/지식 추론 벤치마크에서 강력한 성능을 입증함.

테스트 시간 강화학습 (Test-time reinforcement learning, TTRL)은 자체 생성된 유사 레이블을 사용하여 미표지 대상 도메인 데이터에 사전 학습된 언어 모델을 적응시키는데, 이 유사 레이블의 신뢰도는 여전히 제대로 이해되지 않고 있습니다. 우리는 온라인 Direct Preference Optimization (DPO)을 사용한 TTRL의 다수결 투표 기반 감독 방식을 분석하고, 그 오류를 모집단 다수점 편향(population-majority bias)과 프롬프트 의존적 유한 롤아웃 변동성(prompt-dependent finite-rollout variation)으로 분해합니다. 모집단 다수점 편향은 일반적으로 외부 감독 없이는 식별할 수 없기 때문에, 우리는 유한 롤아웃 변동성의 다운스트림 영향을 완화하는 데 중점을 둡니다. 이에 우리는 인-프롬프트 강건 재가중치 부여(in-prompt robust reweighting)를 관찰된 투표 신뢰도에 조건화하여, 샘플링에 민감한 프롬프트로부터의 업데이트를 더 보수적으로 만드는 Prompt-Conditional Distributionally Robust DPO (PC-Dr.DPO)를 제안합니다. 또한 온라인 적응 과정에서 발생하는 자기 지도 학습 망각을 줄이기 위해 캐시 기반 메커니즘을 추가로 도입했습니다. 6가지 수학 및 지식 집약적 추론 벤치마크와 5가지 모델 백본에 걸쳐, PC-Dr.DPO는 30개 설정 중 24개에서 가장 강력한 TTRL 기준선과 일치하거나 능가하는 성능을 보였습니다.

AI 자동 생성 콘텐츠

원문 바로가기

테스트 시간 강화학습(TTRL)에서의 다수결 투표 기반 유사 레이블의 신뢰성에 관하여

요약

핵심 포인트

댓글