손실을 줄이는 고정 가중치: 망각에 대한 로짓 보정 (Logit Corrections)

요약

언어 모델은 지침 미세 조정 시 표준 웹 텍스트 예측 능력이 저하되는 '망각' 현상을 겪습니다. 연구진은 이 손실을 토큰 예측에 고정된 보너스나 페널티(바이어스)를 적용하여 복구할 수 있는지 실험했습니다. 그 결과, 바이어스와 온도를 결합했을 때 최대 36%까지의 성능 복구가 가능함을 확인했습니다.

핵심 포인트

• LLM은 미세 조정 시 표준 웹 텍스트 예측 능력이 저하되는 '망각' 현상을 보임.
• 고정 바이어스/페널티를 통해 손실을 조건화하여 복구할 수 있음.
• 바이어스와 온도를 결합하면 최대 36%까지 성능 복구가 가능함.
• 통제된 시뮬레이션 환경에서도 29%의 복구 효과가 입증됨.