기술 신조어: 기술 기반 지속 학습을 위한 방향

요약

본 기사는 LLM의 능력을 새로운 기술에 맞춰 확장하는 어려움을 다루며, 기존 파인튜닝 방식의 한계(재기억 위험)와 컨텍스트 기반 접근법의 제한성을 지적합니다. 이를 해결하기 위해 '기술 신조어(skill neologisms)'라는 개념을 제안하는데, 이는 모델 가중치 업데이트 없이 특정 기술 능력을 선택적으로 확장하는 방법입니다. 연구 결과, 이 신조어가 사전 학습된 LLM에 통합되어 다양한 기술과 조합 가능하며, 심지어 제로샷으로도 기능을 수행할 수 있음을 입증했습니다.

핵심 포인트

• LLM의 지속적인 능력 확장은 파인튜닝의 재기억 위험이나 컨텍스트 기반 접근법의 표현력 제한 등의 문제에 직면해 있습니다.
• '기술 신조어(skill neologisms)'는 모델 가중치 업데이트 없이 새로운 기술 능력을 선택적으로 확장하는 혁신적인 방법입니다.
• 이 신조어는 사전 학습된 LLM에 통합되어 다양한 기술과 조합 가능하며, 분포 밖(out-of-distribution)의 기술에도 적용될 수 있습니다.
• 기술 신조어를 통해 모델은 제로샷 방식으로 새로운 기술을 습득하고 지속적으로 능력을 확장할 수 있는 경로를 제공받습니다.