대화 맥락 기반 증분 압축을 통한 다중 턴 대화 생성

요약

본 논문은 장기 다중 턴 대화에서 발생하는 누적된 비용과 정보 손실 문제를 해결하기 위해 Context-Driven Incremental Compression (C-DIC)을 제안합니다. C-DIC는 대화를 수정 가능한 맥락적 스레드로 간주하고, 경량의 검색-수정-쓰기 백 루프를 통해 메모리를 업데이트하여 장기 행동 안정성을 높입니다. 또한, TBPTT를 조정하여 턴 간 의존성 학습을 개선했습니다.

핵심 포인트

• C-DIC는 대화를 맥락적 스레드로 보고 수정 가능한 방식으로 압축합니다.
• 검색(retrieve), 수정(revise), 쓰기 백(write-back) 루프가 메모리 업데이트에 사용됩니다.
• 장문 대화 벤치마크에서 안정적인 추론 지연 시간과 낮은 퍼플렉서티를 입증했습니다.