벤치마크 점수는 종종 대규모 언어 모델(LLM)의 지식을 잘못 나타내곤 하는데, 이는 예를 들어 모델이 특정 형식 요구 사항을 따르는 능력에 의존하기 때문입니다. 이는 정답은 알고 있지만, 일반적으로 사후 학습(post-training)을 통해 도입되는 지시된 대로 구조화하는 능력이 부족할 수 있는 베이스 모델(base models)에 특히 불리하게 작용합니다. 이를 극복하기 위해, 우리는 효율적이고 공정하며 아키텍처에 구애받지 않는 모델 평가 방식인 소프트 프롬프트 튜닝(soft-prompt tuning)을 제안합니다. 짧은 튜닝 기간 동안 단 10개의 소프트 프롬프트 벡터(7B 모델 기준 파라미터의 약 0.0006%)만을 최적화함으로써, 우리는 모델을 특정 벤치마크 형식에 적응시켜 형식 준수(format-following)의 격차를 해소하고 기저 지식이 벤치마크 점수에 정확하게 반영되도록 합니다. 이를 통해 다양한 사전 학습(pre-training) 레시피로 학습된 서로 다른 베이스 모델들을 전체 사후 학습 없이도 벤치마크에서 공정하게 비교할 수 있습니다. 우리는 7개의 모델과 7개의 데이터셋에 대해 소프트 프롬프트 튜닝을 평가했습니다. 결과에 따르면 (a) 소프트 프롬프트 튜닝은 80단계(~640개 샘플) 이내에 형식 준수가 포화 상태에 도달하여 매우 효율적이며, (b) 소프트 프롬프트 튜닝은 제로샷(zero-shot) 및 퓨샷(few-shot) 프롬프팅보다 성능이 현저히 뛰어나 표준 프롬프팅이 놓치는 베이스 모델의 지식을 드러내고, (c) 사후 학습된 모델조차도 형식 준수를 극대화하기 위해 소프트 프롬프트의 이점을 얻을 수 있으며, (d) 소프트 프롬프트가 적용된 베이스 모델의 성능은 제로샷 및 퓨샷 베이스라인보다 사후 학습된 모델의 순위를 더 신뢰성 있게 예측하여, 다운스트림 모델 품질을 위한 저비용 프록시(proxy)를 제공한다는 것을 보여줍니다. 우리의 기여는 (1) 형식 준수와 지식 정확도를 분리하는 지표, (2) LLM 지식에 대한 더 공정한 벤치마킹 프로토콜, (3) LLM 개발 초기 단계에서 최적의 사전 학습 전략을 식별할 수 있는 비용 및 메모리 효율적인 레시피를 포함합니다.