다양성의 착시 현상: 효과적 엔트로피를 이용한 LLM 탐색 정렬

요약

기존 LLM 정렬은 엔트로피 지표에 의존하지만, 이는 다양성과 추론 유효성 간의 괴리를 만듭니다. 본 연구는 '유효성 인지 엔트로피(Effective Entropy)' 개념을 도입하여, 유효한 부분 공간 내에서만 다양성을 측정합니다. 이를 기반으로 VEPO 방법론을 구현하여 LLM 탐색 정렬 성능을 향상시켰습니다.

핵심 포인트

• 기존의 '맹목적' 엔트로피는 다양성만 측정할 뿐, 추론 유효성을 구분하지 못함.
• 'Effective Entropy'를 도입하여 유효한 부분 공간 내에서만 다양성을 정량화함.
• VEPO 방법론은 적응형 인력 역학을 유도해 탐색되지 않은 유효 궤적의 확률을 높임.
• DeepSeek-R1 모델로 수학 추론 벤치마크(MATH500)에서 정확도 향상을 입증함.