효율적인 미세 조정(Fine-Tuning)을 위한 선호도 인지 영향 함수 기반 데이터 선택 방법

LLM(Large Language Models)이 계속해서 확장됨에 따라, 훈련 효율성을 개선하는 것은 점점 더 데이터를 더 효과적으로 사용하는 것에 달려 있습니다. 데이터 선택(Data selection)은 제한된 훈련 예산을 목표 동작(target behavior)을 가장 잘 촉진하는 샘플에 할당함으로써 이 문제를 해결합니다. 기존 방법들은 대개 일련의 목표 예시(target examples)로 목표 동작을 나타내지만, 종종 이러한 예시들을 동일하게 중요한 것으로 취급합니다. 이는 목표 예시들이 현재 모델과의 관련성 측면에서 서로 다를 수 있기 때문에 비효율적일 수 있습니다. 즉, 모델의 현재 동작과 더 가까운 예시가 멀리 떨어진 예시보다 더 실행 가능한 가이드를 제공합니다. 우리는 현재 모델의 선호도(preference)를 사용하여 목표 예시에 가중치를 부여하고 선호도 인지 목표 표현(preference-aware target representation)을 구축하는 PRISM (PReference-aware Influence-function-based Data Selection Method for Efficient Fine-Tuning)을 제안합니다. 그런 다음 PRISM은 이 표현과의 정렬(alignment) 정도에 따라 후보 훈련 샘플의 점수를 매겨, 모델을 목표 동작으로 이동시킬 가능성이 더 높은 샘플에 데이터 예산을 집중시킵니다. 이론적 분석에 따르면, 이러한 선호도 가중치 부여는 목표 동작 선호도를 높이기 위한 더 효과적인 1차 방향(first-order direction)을 제공합니다. 다양한 모델 제품군과 규모에 걸친 실험을 통해 PRISM이 효율적인 미세 조정(fine-tuning)과 안전 지향적 SFT(Supervised Fine-Tuning) 복구 모두를 개선함을 보여주며, 이는 정밀한 목표 동작 특성화가 예산 효율적인 데이터 선택의 핵심임을 입증합니다.