HBFlex: 미세한 LLM 상태와 거친 HBF 병렬 실행을 연결하는 유연 메모리 시스템

요약

본 논문은 LLM 서비스에 필요한 메모리 용량을 해결하기 위해 HBFlex라는 유연 메모리 시스템을 제안합니다. HBFlex는 KV 캐시의 읽기, 쓰기, 회수 과정에 최적화된 조정 기법을 적용하여 HBF의 평면 활용도를 개선했습니다. 이를 통해 기존 대비 높은 처리량 속도 향상을 달성하며 LLM 서비스 효율성을 높입니다.

핵심 포인트

• HBFlex는 KV 캐시 관리에 대한 조정 최적화를 적용한 메모리 시스템이다.
• 평면 활용도 개선을 위해 배치 및 어텐션 접근을 균형 있게 맞춘다.
• 쓰기-읽기 간섭을 줄여 전반적인 서비스 효율성을 높인다.
• FlashAccel 대비 최대 1.58배, H3 대비 3.30배의 처리량 향상을 보였다.