모델 변경 없는 동시성: LLM을 위한 미래 기반 비동기 함수 호출 (Future-based Asynchronous Function

요약

본 연구는 LLM 에이전트의 핵심 기능인 함수 호출(Function calling)의 지연 시간 문제를 해결하기 위해 AsyncFC라는 순수 실행 계층 프레임워크를 제안합니다. 기존에는 동기식 의미론으로 인해 각 함수 호출 완료 시까지 LLM 디코딩이 차단되어 전체 지연 시간이 길어졌습니다. AsyncFC는 모델 디코딩과 함수 실행을 분리하고, 의존성이 허용되는 경우 함수 간 병렬성을 가능하게 하여 작업 정확도를 유지하면서 엔드 투 엔드 처리 시간을 크게 단축합니다.

핵심 포인트

• AsyncFC는 LLM의 함수 호출 지연 시간 문제를 해결하는 순수 실행 계층 프레임워크입니다.
• 기존 동기식 의미론은 함수 호출 완료 시까지 LLM 디코딩을 차단하여 높은 지연 시간을 유발했습니다.
• AsyncFC는 모델 디코딩과 함수 실행을 분리하고, 함수 간 병렬성을 구현합니다.
• 이 접근 방식은 기존의 모델이나 함수 구현체 수정 없이 적용 가능하며, 성능 향상을 입증했습니다.