대리 지표(Proxy Metrics)를 활용한 LLM의 다운스트림 성능 예측

요약

LLM 개발 과정에서 교차 엔트로피 손실이나 직접적인 다운스트림 평가의 한계를 극복하기 위해 전문가의 해법을 활용한 대리 지표(Proxy Metrics)를 제안합니다. 이 지표는 엔트로피, top-k 정확도, 전문가 토큰 순위 등의 토큰 수준 통계량을 사용하여 모델의 성능을 효율적으로 예측합니다. 실험 결과, 모델 선택, 데이터 선택, 학습 시간 예측 등 다양한 시나리오에서 기존 방식보다 훨씬 높은 정확도와 연산 효율성을 보여주었습니다.

핵심 포인트

• 교차 엔트로피 손실과 직접 평가의 한계(비용, 정보 부족, 낮은 상관관계)를 해결하는 새로운 대리 지표 제안
• 전문가가 작성한 해법의 다음 토큰 분포를 활용한 엔트로피, top-k 정확도, 전문가 토큰 순위 지표 구축
• 모델 패밀리 간 선택 시 기존 손실 기반 방식(Rho=0.36)보다 월등한 Spearman Rho=0.81 달성
• 사전 학습 데이터 선택 시 직접 평가 대비 약 10,000배 적은 연산량으로 신뢰성 있는 순위 산출 가능
• 학습 초기 단계에서도 다운스트림 정확도를 높은 정확도로 외삽하여 학습 시간 예측 가능