Ballad: 자동 휴리스틱 발견을 위한 밴딧 기반 LLM 라우팅

요약

본 기사는 자동 휴리스틱 발견(AHD) 시스템에서 대형 모델이 항상 우월하지 않다는 점을 지적하며, 이를 해결하기 위한 새로운 접근법을 제시합니다. 온라인 밴딧 알고리즘인 Ballad를 통해 여러 LLM 풀을 오케스트레이션하여 최적의 모델을 적응적으로 선택하는 방법을 제안했습니다. 이 방식은 개별 모델이나 기존 앙상블과 동등하거나 그 이상의 성능을 보이면서도 API 비용을 크게 절감할 수 있습니다.

핵심 포인트

• 대형 LLM이 항상 AHD에서 우월하다는 가정을 경험적으로 반박함.
• Ballad는 온라인 밴딧 알고리즘으로 여러 LLM 풀을 오케스트레이션하여 사용함.
• 비정상적인 보상 신호와 복잡한 의존성을 처리하는 것이 핵심임.
• 최강 모델만 사용하는 것 대비 최대 65.6%의 API 비용 절감 효과를 입증함.