전문가가 만든 태스크 기반 강화학습(RL)이 Nemotron 3.5 Super에게 부여하는 능력
요약
NVIDIA는 Nemotron 3.5 Super를 실세계 소프트웨어 엔지니어링, 복잡한 제약 조건 등 다섯 가지 전문가 태스크 데이터셋으로 강화학습(RL) 후처리 훈련했습니다. LoRA 어댑터를 활용하여 기본 모델 대비 다양한 벤치마크에서 높은 성능 향상(최대 +13.8 포인트)을 입증했으며, 각 전문 어댑터가 기본 모델이 놓쳤던 구체적인 문제 해결 능력을 보여주었습니다.
핵심 포인트
- Nemotron 3.5 Super에 RL 기반 태스크 데이터셋 적용으로 성능 향상 달성.
- LoRA 어댑터를 활용하여 SWE-bench Pro V2 등 주요 벤치마크에서 높은 점수 상승 기록.
- 도구 사용, 코딩, 제약 조건 등 전문 분야별 어댑터가 기본 모델의 한계를 보완함.
- 총 12개 벤치마크에서 성능 향상 폭이 최대 +13.8 포인트에 달함.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기