효율적인 긴 문맥 생성을 위한 문맥 암기 (Context Memorization)

원문 발행 2026. 05. 18. 20:12원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

긴 조건부 접두사를 사용하는 LLM 추론 시 발생하는 어텐션 계산량 증가와 영향력 약화 문제를 해결하기 위해 '어텐션 상태 메모리(Attention-state memory)' 방식을 제안합니다. 이 방식은 사전 계산된 어텐션 상태를 경량화된 조회 기반 메모리로 외재화하여, 추가 학습 없이도 정확도를 높이고 지연 시간을 단축합니다. 실험 결과 LLaMA-3.1-8B 모델에서 인컨텍스트 학습보다 높은 정확도와 향상된 추론 효율성을 입증했습니다.

핵심 포인트

접두사 증강 추론의 한계인 어텐션 계산량의 선형적 증가와 접두사 영향력 약화 문제를 해결
학습이 필요 없는 경량화된 조회 기반(Lookup-based) 어텐션 상태 메모리 방식 제안
LLaMA-3.1-8B 기준 8K 컨텍스트에서 어텐션 지연 시간을 1.36배 감소
NBA 벤치마크에서 메모리 사용량 20%만으로 Full-attention RAG 성능을 상회

최근의 대규모 언어 모델 (LLM) 애플리케이션은 추론 (Inference) 시점에 모델의 동작을 제어하기 위해 긴 조건부 접두사 (Long conditioning prefixes)에 점점 더 많이 의존하고 있습니다. 접두사 증강 추론 (Prefix-augmented inference)은 효과적이지만, 두 가지 구조적 한계를 가집니다: i) 생성이 진행됨에 따라 접두사의 영향력이 약해지며, ii) 접두사에 대한 어텐션 (Attention) 계산량이 접두사의 길이에 따라 선형적으로 증가합니다. 기존 방식들은 접두사를 압축하면서 어텐션 내에 유지하거나, 그래디언트 기반 학습 (Gradient-based training)을 통해 모델 파라미터 (Parameters) 내부로 내재화합니다. 전자의 경우 추론 시 여전히 접두사에 어텐션을 수행해야 하며, 후자의 경우 학습 집약적이고 접두사 업데이트에 부적합합니다. 이러한 문제를 해결하기 위해, 우리는 학습이 필요 없는 방식인 어텐션 상태 메모리 (Attention-state memory)를 제안합니다. 이는 접두사와 쿼리 (Query) 토큰 사이의 사전 계산된 어텐션 상태를 경량화된 조회 기반 (Lookup-based) 메모리로 외재화하는 방식입니다. LLaMA-3.1-8B를 사용한 ManyICLBench 실험에서, 우리의 방법은 1K-8K 메모리 예산 범위 내에서 인컨텍스트 학습 (In-context learning)보다 정확도를 향상시키는 동시에, 8K에서 어텐션 지연 시간 (Latency)을 1.36배 감소시켰습니다. 또한 NBA 벤치마크에서는 메모리 사용량의 20%만을 사용하여 전체 어텐션 RAG (Full-attention RAG) 성능을 능가했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

효율적인 긴 문맥 생성을 위한 문맥 암기 (Context Memorization)

요약

핵심 포인트

댓글