8 에이전트 × 250K 컨텍스트를 두 개의 3090에서 동시 처리 (총 ~600+ 토큰/초)

요약

본 글은 8개의 코딩 에이전트가 각각 250K 컨텍스트를 병렬 처리하는 시스템을 소개합니다. 기존의 토큰 가지치기 방식 대신, 전체 컨텍스트를 시스템 RAM에 유지하고 필요한 부분만 GPU로 가져오는 방식을 채택했습니다. 이를 통해 높은 속도와 안정성을 확보하며 코딩 에이전트의 성능을 극대화한 기술적 성과입니다.

핵심 포인트

• 8개 에이전트가 250K 컨텍스트를 동시 처리하여 총 약 600+ 토큰/초 달성.
• 전체 KV cache는 시스템 RAM에 유지하고, 필요한 스케치만 GPU로 전송하는 방식 채택.
• Triton 커널과 vLLM 패치를 적용하여 성능을 최적화했으며 CUDA-graph 안전성을 확보함.
• 후속 질문 시 재계산 없이 선택된 행(rows)만 가져와 빠른 속도를 유지함.