Contrastive Decoding Diffing (CDD): 가중치 접근 없이 로짓(logits)만으로 파인튜닝(finetuning)된

요약

가중치나 활성화 값에 접근할 필요 없이 로짓(logits)만을 활용해 파인튜닝된 LLM의 원문 데이터를 복구하는 CDD 기법을 제안합니다. 기존의 화이트박스 방식보다 효율적이며, 다양한 모델 규모에서 높은 원문 복구 성능을 입증했습니다.

핵심 포인트

• 가중치 접근 없이 로짓 대조만으로 파인튜닝 데이터 복구 가능
• SDF 벤치마크의 다양한 모델 규모에서 높은 복구 점수 달성
• 기존 ADL 방식보다 높은 성능과 효율성 증명
• 합성 데이터 내 특정 페르소나 편향이 파인튜닝에 미치는 영향 발견