다중 형식 학습을 통한 언어 모델의 교차 형식 강건성(Cross-Format Robustness) 향상

대규모 언어 모델(Large language models)은 답변 형식에 민감하게 반응하는 경우가 많습니다. 즉, 한 가지 형식으로 올바르게 해결된 질문이 의미론적으로 동일한 다른 형식에서는 실패할 수 있습니다. 이러한 격차를 연구하기 위해, 우리는 교차 형식 강건성(cross-format robustness)을 모델이 다양한 형식에 걸쳐 동일한 근본적 질문에 얼마나 일관되게 답변하는지의 정도로 정의합니다. 그런 다음, 전체 형식 학습(full-format training)과 FormatMix를 비교합니다. FormatMix는 무작위 또는 타겟팅된 선택을 사용하여 학습 항목의 일부만을 여러 개의 동등한 형식으로 확장합니다. GLM4 및 Llama-3.1 전반에 걸쳐, 다중 형식 지도 학습(multi-format supervision)은 작업 성능과 교차 형식 강건성을 모두 일관되게 향상시키는 반면, 객관식 질문(Multiple-choice question, MCQ) 전용 지도 학습만으로는 이득이 거의 없으며 심지어 강건성을 감소시킬 수도 있습니다. 우리는 더 나아가 학습 세트의 약 30%만을 여러 형식으로 확장하는 것만으로도 전체 형식 학습의 이득 대부분을 회복하는 경우가 많으며, 이러한 효과는 우리가 연구한 모델 제품군과 크기 전반에서 나타난다는 것을 발견했습니다. 이러한 결과는 단순한 추가 지도 학습보다는 형식의 다양성(format diversity)이 강건성의 핵심 동력임을 시사합니다. 따라서 경량화된 다중 형식 증강(multi-format augmentation)은 기본 모델을 변경하지 않고도 LLM을 답변 형식에 덜 민감하게 만드는 실용적인 방법입니다.