PASTA: LLM의 지식 업데이트를 위한 패러프레이징 및 셀프 트레이닝 접근 방식

사전 학습된 대규모 언어 모델 (LLMs)의 지식 업데이트 (Knowledge updating)는 여전히 중요한 과제로 남아 있습니다. 지속적 학습 (Continual training)이 지식 업데이트를 위한 잠재적인 방안을 제공하지만, 여전히 상당한 기술적 어려움을 안겨줍니다. 더욱이, LLMs는 뉴스 기사와 같은 특정 사실 정보에 관한 질문에 정확하게 답변하는 데 종종 어려움을 겪으며, 이는 연구 커뮤니티에서 널리 인식된 능력의 한계입니다. 본 논문은 뉴스 기사의 상세한 사실 정보를 새로운 지식으로서 LLMs에 통합하기 위한 단순하면서도 강력한 프레임워크인 PASTA를 제안합니다. 이 프레임워크의 주요 목표는 해당 지식에 대해 정확하게 답변하는 전문화된 모델을 구축하는 것입니다. 우리의 프레임워크는 데이터 증강 (Data augmentation), 질의응답 생성 (Question-answering generation), 그리고 지식 덮어쓰기 (Knowledge overwriting)와 환각 억제 (Hallucination suppression)를 동시에 가능하게 하는 새로운 셀프 러닝 DPO (Self-learning DPO) 프로세스를 결합합니다. 우리는 학습 파라미터와 데이터 구성에 대한 체계적인 분석을 통해 효과적인 지식 업데이트에 대한 통찰을 제공합니다. 베이스 모델의 지식 차단 시점 (Knowledge cutoff) 이후에 게시된 웹 기사를 사용한 실험적 평가에서, PASTA는 일반적인 언어 능력을 유지하면서도 정확도를 0.02에서 0.82로 놀랍게 향상시켰으며, 이는 도메인 특화 LLMs를 생성하는 데 있어 PASTA의 효과를 입증합니다.