기술 네이티브 LLM을 향하여: 벤치마킹 및 장기 추론 학습을 위한 기술 엔트로피 (Skill Entropy)

원문 발행 2026. 08. 06. 02:57원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

LLM의 교차 기술 장기 추론 능력을 평가하기 위한 새로운 지표인 '기술 엔트로피(Skill Entropy)'와 벤치마크인 'Skill^2-Bench'를 제안합니다. 또한, 기술 전환 능력을 향상시키기 위해 기술 예측을 강화학습에 활용하는 'Skill-Entropy RL' 프레임워크를 소개합니다.

핵심 포인트

기술 간 전환 난이도를 측정하는 '기술 엔트로피' 지표 도입
558개 기술 기반의 교차 기술 장기 추론 벤치마크 Skill^2-Bench 제안
기술 예측을 보상에 활용하는 Skill-Entropy RL 프레임워크 개발
Qwen3 모델에서 Skill-Entropy RL 적용 시 성능 대폭 향상 확인

최근 LLM(Large Language Models)의 장기 추론 (Long-horizon reasoning)은 모델이 추론 체인 내에서 서로 다른 기술 (skills) 사이를 전환할 것을 요구합니다. 예를 들어, 먼저 수학적 유도를 수행한 다음, 그 결과를 사용하여 일정을 계획하는 것과 같습니다. 우리는 이러한 문제를 교차 기술 장기 추론 작업 (cross-skill long-horizon tasks)이라고 부릅니다. 즉, 단계별로 서로 다른 추론 기술이 필요하며 이전의 출력값에 의존하는 다단계 작업입니다. 기존의 벤치마크들은 종종 개별 기술만을 평가하며, 모델이 기술 간에 얼마나 잘 전환하는지를 측정하는 원칙적인 방법을 결여하고 있습니다. 우리는 평가와 학습 양측면에서 이 격차를 해결합니다. 우리는 한 기술에서 다른 기술로 전환하는 난이도를 측정하는 지표인 기술 엔트로피 (Skill Entropy)를 도입합니다. 그런 다음, 9개의 검증 가능하고 개방적인 도메인에 걸친 558개의 기술을 기반으로 구축된 교차 기술 장기 추론 작업 벤치마크인 Skill^2-Bench를 제안합니다. 각 작업에는 작업 수준의 기술 엔트로피 점수가 할당되며 세 가지 난이도 수준으로 그룹화됩니다. 8개의 프런티어 (frontier) 모델과 4개의 오픈 소스 모델을 Skill^2-Bench에서 평가한 결과, 기술 전환 격차 (skill-switching gap)가 드러났습니다. 즉, 엔트로피가 높은 작업일수록 정확도가 감소합니다. 그런 다음 우리는 기술 엔트로피를 벤치마크 척도에서 학습 신호 (training signal)로 전환합니다. 우리는 모델이 각 단계에서 정답뿐만 아니라 해당 정답을 도출하는 데 사용된 기술도 예측하는 RL (Reinforcement Learning, 강화학습) 프레임워크인 Skill-Entropy RL을 제안합니다. 보상 (reward)은 단계별 정확도와 모델이 예측한 기술 시퀀스(skill sequence)와 정답 기술 시퀀스 간의 일치도를 측정하는 기술 엔트로피 보상을 결합합니다. Qwen3-4B-Instruct 및 Qwen3-1.7B에서 Skill-Entropy RL은 Skill^2-Bench 점수를 각각 34.4%에서 68.4%로, 14.6%에서 40.1%로 향상시켜 경쟁력 있는 베이스라인들을 능가했습니다. 동일한 파이프라인을 OpenR1-Math와 같은 기성 학습 데이터에도 적용할 수 있으며, 이는 기술 엔트로피가 재사용 가능한 학습 신호임을 나타냅니다. 코드 사용 가능 위치: https://github.com/Gen-Verse/Skill-Entropy-RL

AI 자동 생성 콘텐츠

원문 바로가기

기술 네이티브 LLM을 향하여: 벤치마킹 및 장기 추론 학습을 위한 기술 엔트로피 (Skill Entropy)

요약

핵심 포인트

댓글