MoRFI: 단조로운 희소 오토인코더를 활용한 특징 식별

요약

본 논문은 대형 언어 모델(LLMs)의 사후 학습 과정에서 발생하는 환각(hallucinations) 문제를 분석하고 해결책을 제시합니다. 연구진은 폐쇄형 QA 환경에서 새로운 지식 도입과 훈련 기간이 환각 증가에 기여함을 실험적으로 입증했습니다. 이를 바탕으로, 사전 학습된 희소 오토인코더(SAEs)를 활용하여 '단조로운 관계 특징 식별(MoRFI)'이라는 방법을 제안합니다. MoRFI는 모델의 잔류 스트림 활성화에서 목표 속성에 단조롭게 반응하는 잠재 변수를 포착함으로써, 미지의 사실에 의해 방해받은 지식 검색 능력을 회복시키는 것을 목표로 합니다.

핵심 포인트

• LLMs의 환각 현상은 사후 학습(post-training) 과정에서 새로운 지식이 도입되면서 악화된다.
• 새로운 지식을 점진적으로 도입하고 훈련 에포크를 늘릴수록 모델의 환각 경향이 증가하는 것이 확인되었다.
• 연구진은 SAEs와 'MoRFI' 기법을 사용하여, 미지의 사실에 의해 방해받는 핵심 지식 검색 방향성(latent directions)을 식별할 수 있음을 보였다.
• 제안된 MoRFI 파이프라인은 다양한 모델에서 신뢰성 있게 작동하며, 단일 잠재 변수 개입만으로 손상된 지식을 효과적으로 회복시킬 수 있다.