SAGA: GPU 클러스터에서의 AI 에이전트 추론을 위한 워크플로우 원자 스케줄링

요약

본 논문은 기존 GPU 스케줄러가 LLM 에이전트의 연쇄 호출(워크플로우)을 독립적으로 취급하여 발생하는 심각한 지연 시간 증가 문제를 해결하기 위해 'SAGA'라는 새로운 분산 스케줄러를 제안합니다. SAGA는 개별 추론 호출 대신 전체 에이전트 워크플로우 자체를 스케줄링 단위로 간주하는 프로그램 수준의 접근 방식을 채택했습니다. 이를 통해 KV 캐시 재사용을 최적화하고, 세션 친화적인 배치 및 공정한 자원 할당 메커니즘을 구현하여, 기존 시스템 대비 작업 완료 시간을 크게 단축시키고 GPU 메모리 활용도를 개선함을 입증했습니다.

핵심 포인트

• 기존 스케줄러는 LLM 에이전트의 복합 워크플로우를 독립적인 호출로 취급하여 지연 시간(latency)을 증가시키는 근본적인 문제를 안고 있다.
• SAGA는 전체 AI 에이전트 워크플로우를 하나의 '스케줄링 단위'로 간주하는 프로그램 수준의 접근 방식을 도입했다.
• 세 가지 핵심 메커니즘(작업 실행 그래프, 세션 친화성 배치/도둑기, 에이전트 공정한 공유)을 통해 효율성을 극대화한다.
• 실제 벤치마크에서 SAGA는 기존 시스템 대비 작업 완료 시간을 1.64배 단축하고 GPU 메모리 활용도를 1.22배 개선하는 뛰어난 성능을 보였다.