공정하고 효율적인 LLM 벤치마크 평가를 위한 소프트 프롬프트 튜닝 (Soft-Prompt Tuning)

벤치마크 점수는 종종 대규모 언어 모델(LLM)의 지식을 잘못 나타내곤 하는데, 이는 예를 들어 모델이 특정 형식 요구 사항을 따르는 능력에 의존하기 때문입니다. 이는 정답은 알고 있지만, 일반적으로 사후 학습(post-training)을 통해 도입되는 지시된 대로 구조화하는 능력이 부족할 수 있는 베이스 모델(base models)에 특히 불리하게 작용합니다. 이를 극복하기 위해, 우리는 효율적이고 공정하며 아키텍처에 구애받지 않는 모델 평가 방식인 소프트 프롬프트 튜닝(soft-prompt tuning)을 제안합니다. 짧은 튜닝 기간 동안 단 10개의 소프트 프롬프트 벡터(7B 모델 기준 파라미터의 약 0.0006%)만을 최적화함으로써, 우리는 모델을 특정 벤치마크 형식에 적응시켜 형식 준수(format-following)의 격차를 해소하고 기저 지식이 벤치마크 점수에 정확하게 반영되도록 합니다. 이를 통해 다양한 사전 학습(pre-training) 레시피로 학습된 서로 다른 베이스 모델들을 전체 사후 학습 없이도 벤치마크에서 공정하게 비교할 수 있습니다. 우리는 7개의 모델과 7개의 데이터셋에 대해 소프트 프롬프트 튜닝을 평가했습니다. 결과에 따르면 (a) 소프트 프롬프트 튜닝은 80단계(~640개 샘플) 이내에 형식 준수가 포화 상태에 도달하여 매우 효율적이며, (b) 소프트 프롬프트 튜닝은 제로샷(zero-shot) 및 퓨샷(few-shot) 프롬프팅보다 성능이 현저히 뛰어나 표준 프롬프팅이 놓치는 베이스 모델의 지식을 드러내고, (c) 사후 학습된 모델조차도 형식 준수를 극대화하기 위해 소프트 프롬프트의 이점을 얻을 수 있으며, (d) 소프트 프롬프트가 적용된 베이스 모델의 성능은 제로샷 및 퓨샷 베이스라인보다 사후 학습된 모델의 순위를 더 신뢰성 있게 예측하여, 다운스트림 모델 품질을 위한 저비용 프록시(proxy)를 제공한다는 것을 보여줍니다. 우리의 기여는 (1) 형식 준수와 지식 정확도를 분리하는 지표, (2) LLM 지식에 대한 더 공정한 벤치마킹 프로토콜, (3) LLM 개발 초기 단계에서 최적의 사전 학습 전략을 식별할 수 있는 비용 및 메모리 효율적인 레시피를 포함합니다.