Doc-to-Atom: 메모리 원자(Memory Atoms)를 학습하고 구성하는 방법

요약

본 논문은 긴 문서를 효율적으로 처리하기 위해 Doc-to-Atom(Doc2Atom)이라는 구성적 파라미터 메모리 프레임워크를 제안합니다. 이 방법은 문서를 의미론적 지식 원자(knowledge atoms)로 분해하고, 각 원자를 독립적인 마이크로-LoRA 어댑터와 출처 검색 키로 컴파일합니다. 추론 시 쿼리 라우터를 통해 관련 원자만 선택하여 전용 어댑터를 구성함으로써 메모리 효율성과 성능을 동시에 개선했습니다.

핵심 포인트

• Doc2Atom은 문서를 지식 원자로 분해하는 프레임워크입니다.
• 각 원자는 독립적인 마이크로-LoRA와 검색 키로 컴파일됩니다.
• 쿼리 라우터가 관련 원자만 선택하여 전용 어댑터를 구성합니다.
• 기존 방식 대비 메모리 비용을 줄이고 성능을 향상시켰습니다.