최근의 대규모 언어 모델 (LLM) 애플리케이션은 추론 (Inference) 시점에 모델의 동작을 제어하기 위해 긴 조건부 접두사 (Long conditioning prefixes)에 점점 더 많이 의존하고 있습니다. 접두사 증강 추론 (Prefix-augmented inference)은 효과적이지만, 두 가지 구조적 한계를 가집니다: i) 생성이 진행됨에 따라 접두사의 영향력이 약해지며, ii) 접두사에 대한 어텐션 (Attention) 계산량이 접두사의 길이에 따라 선형적으로 증가합니다. 기존 방식들은 접두사를 압축하면서 어텐션 내에 유지하거나, 그래디언트 기반 학습 (Gradient-based training)을 통해 모델 파라미터 (Parameters) 내부로 내재화합니다. 전자의 경우 추론 시 여전히 접두사에 어텐션을 수행해야 하며, 후자의 경우 학습 집약적이고 접두사 업데이트에 부적합합니다. 이러한 문제를 해결하기 위해, 우리는 학습이 필요 없는 방식인 어텐션 상태 메모리 (Attention-state memory)를 제안합니다. 이는 접두사와 쿼리 (Query) 토큰 사이의 사전 계산된 어텐션 상태를 경량화된 조회 기반 (Lookup-based) 메모리로 외재화하는 방식입니다. LLaMA-3.1-8B를 사용한 ManyICLBench 실험에서, 우리의 방법은 1K-8K 메모리 예산 범위 내에서 인컨텍스트 학습 (In-context learning)보다 정확도를 향상시키는 동시에, 8K에서 어텐션 지연 시간 (Latency)을 1.36배 감소시켰습니다. 또한 NBA 벤치마크에서는 메모리 사용량의 20%만을 사용하여 전체 어텐션 RAG (Full-attention RAG) 성능을 능가했습니다.