모델 변경 없는 동시성: LLM을 위한 미래 기반 비동기 함수 호출 (Future-based Asynchronous Function

도구 사용 (tool use)으로도 알려진 함수 호출 (Function calling)은 현대 LLM 에이전트의 핵심 역량이지만, 일반적으로 동기식 실행 의미론 (synchronous execution semantics)에 의해 제약됩니다. 이러한 의미론 하에서는 각 함수 호출이 완료될 때까지 LLM 디코딩 (decoding)이 차단되어, 결과적으로 엔드 투 엔드 지연 시간 (end-to-end latency)이 증가하게 됩니다. 본 연구에서는 LLM 디코딩을 함수 실행으로부터 분리하여, 모델 디코딩과 함수 실행 간의 중첩뿐만 아니라 의존성이 허용되는 경우 함수 간 병렬성 (inter-function parallelism)을 가능하게 하는 순수 실행 계층 프레임워크인 AsyncFC를 소개합니다. AsyncFC는 기존 모델과 수정되지 않은 함수 구현체 위에 계층화되어 작동하며, 미세 조정 (fine-tuning)이나 표준 동기식 함수 호출 프로토콜의 변경을 요구하지 않습니다. 표준 함수 호출 벤치마크 및 조정된 소프트웨어 공학 벤치마크 전반에 걸쳐, AsyncFC는 작업 정확도를 유지하면서 엔드 투 엔드 작업 완료 시간을 크게 단축합니다. 나아가, 이러한 결과는 LLM이 해결되지 않은 실행 결과를 나타내는 심볼릭 퓨처 (symbolic futures)를 추론할 수 있는 고유한 능력을 갖추고 있음을 보여주며, 이를 통해 모델-도구 상호작용을 위한 비동기 패러다임을 가능하게 합니다.