Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 지식 업데이트 문제를 해결하기 위해 데이터 증강과 셀프 러닝 DPO를 결합한 PASTA 프레임워크를 제안합니다. 뉴스 기사의 새로운 정보를 효과적으로 통합하여 모델의 정확도를 크게 향상시키면서도 기존 언어 능력을 유지합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기사전 학습된 대규모 언어 모델 (LLMs)의 지식 업데이트 (Knowledge updating)는 여전히 중요한 과제로 남아 있습니다. 지속적 학습 (Continual training)이 지식 업데이트를 위한 잠재적인 방안을 제공하지만, 여전히 상당한 기술적 어려움을 안겨줍니다. 더욱이, LLMs는 뉴스 기사와 같은 특정 사실 정보에 관한 질문에 정확하게 답변하는 데 종종 어려움을 겪으며, 이는 연구 커뮤니티에서 널리 인식된 능력의 한계입니다. 본 논문은 뉴스 기사의 상세한 사실 정보를 새로운 지식으로서 LLMs에 통합하기 위한 단순하면서도 강력한 프레임워크인 PASTA를 제안합니다. 이 프레임워크의 주요 목표는 해당 지식에 대해 정확하게 답변하는 전문화된 모델을 구축하는 것입니다. 우리의 프레임워크는 데이터 증강 (Data augmentation), 질의응답 생성 (Question-answering generation), 그리고 지식 덮어쓰기 (Knowledge overwriting)와 환각 억제 (Hallucination suppression)를 동시에 가능하게 하는 새로운 셀프 러닝 DPO (Self-learning DPO) 프로세스를 결합합니다. 우리는 학습 파라미터와 데이터 구성에 대한 체계적인 분석을 통해 효과적인 지식 업데이트에 대한 통찰을 제공합니다. 베이스 모델의 지식 차단 시점 (Knowledge cutoff) 이후에 게시된 웹 기사를 사용한 실험적 평가에서, PASTA는 일반적인 언어 능력을 유지하면서도 정확도를 0.02에서 0.82로 놀랍게 향상시켰으며, 이는 도메인 특화 LLMs를 생성하는 데 있어 PASTA의 효과를 입증합니다.