대화 맥락 기반 증분 압축을 통한 다중 턴 대화 생성

현대의 대화 에이전트는 각 턴마다 점점 길어지는 대화 기록에 의존하며, 이는 대화 길이가 늘어남에 따라 증가하는 중복적인 어텐션 및 인코딩 비용을 초래합니다. 단순한 잘라내기(truncation)나 요약은 충실도(fidelity)를 저하시키고, 기존의 맥락 압축기는 턴 간 메모리 공유나 수정 기능이 부족하여 정보 손실과 장기 대화에서 누적되는 오류를 유발합니다. 우리는 대화 역학 하에서의 맥락 압축을 재검토하고 그 취약성을 경험적으로 제시합니다. 효율성과 견고성(robustness)을 모두 개선하기 위해, 우리는 Context-Driven Incremental Compression (C-DIC)을 도입했습니다. 이는 대화를 교차하는 맥락적 스레드(contextual threads)로 간주하고, 수정 가능한(revisable) 각 스레드의 압축 상태를 단일하고 간결한 대화 메모리에 저장합니다. 매 턴마다 경량의 검색(retrieve), 수정(revise), 쓰기 백(write-back) 루프가 턴 전반에 걸쳐 정보를 공유하고 오래된 기억을 업데이트하여, 장기 지평선 행동(long-horizon behavior)을 안정화합니다. 또한, 우리는 단축 역전파를 통한 시간(truncated backpropagation-through-time, TBPTT)을 다중 턴 설정에 맞게 조정하여, 전체 기록에 대한 역전파 없이도 턴 간 의존성을 학습하게 합니다. 장문 대화 벤치마크에서의 광범위한 실험은 C-DIC의 우수한 성능과 효율성을 입증했습니다. 특히, C-DIC는 수백 번의 대화 턴에 걸쳐 안정적인 추론 지연 시간(inference latency)과 퍼플렉서티(perplexity)를 보여주며, 고품질 대화 모델링을 위한 확장 가능한 경로를 지원합니다.