Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 언어 모델과 에이전트의 추론 시간 성능 향상을 위해 컴퓨팅 자원 할당 문제를 다룹니다. 기존 방식들이 경험적 규칙에 의존했던 것과 달리, SPLIT이라는 새로운 프레임워크를 제안합니다. SPLIT은 정확한 확률 공식을 기반으로 예산을 계획하며, 다양한 작업 난이도와 검증기 특성을 고려하여 최적의 자원 할당을 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어 모델(language models)과 에이전트(agents)를 더 정확하게 만드는 일반적인 방법은 추론 시간(inference time)에 더 많은 컴퓨팅 자원을 사용하는 것입니다. 즉, 여러 후보 해답을 생성하고 검증기(verifier)가 선호하는 것을 제출하는 방식입니다. 성공하려면 몇몇 후보가 올바르고, 검증기가 그것을 선택해야 합니다. 첫 번째 방법은 샘플 수에 따라 예측 가능하게 증가하지만, 두 번째 방법은 그렇지 않습니다. 왜냐하면 실제 검증기들(단위 테스트, 다수결 투표, LLM 심사위원, 보상 모델)은 틀린 답을 받아들이고, 맞는 답을 거부하며, 상관관계가 있는 실수를 저지르기 때문입니다. 고정된 예산으로 실무자는 몇 개의 샘플을 가져올지, 어떤 모델에서 가져올지, 그리고 검증에 얼마나 많은 자원을 쓸지 결정해야 하는데, 오늘날 이러한 선택들은 경험적인 규칙(rules of thumb)에 의해 이루어집니다. 우리는 SPLIT을 소개하며, 이는 작게 라벨링된 파일럿 테스트를 통해 이들을 결정합니다. SPLIT은 수락/거부 및 최고 점수 선택 하에서 올바른 답을 제출할 확률에 대한 정확한 공식을 기반으로 하며, 이 공식은 다양한 작업 난이도, 모델 전반의 사각지대(blind spots), 그리고 상관관계가 있는 반복적인 검증기 호출을 고려합니다. SPLIT은 경험적 베이즈(empirical Bayes)를 통해 이 공식을 맞추고, 이를 사용하여 보지 못한 작업에 대한 예산을 계획하는 데 사용됩니다. 수학, 과학 QA, 코드 및 소프트웨어 엔지니어링 에이전트를 아우르는 7개의 벤치마크, 26개 모델, 175개 에이전트 시스템, 그리고 공용 공개판에서 나온 6가지 종류의 실제 검증기를 통해, SPLIT은 회고적으로(in hindsight) 가장 좋은 할당과 0.02~0.8 퍼센트 포인트 이내에 도달하는 반면, 우리가 테스트한 모든 고정 규칙들은 어떤 설정에서든 최소 2.5점 이상을 잃습니다. 후회(Regret)는 SPLIT이 구성을 얼마나 잘 순위를 매기느냐에만 달려 있으며, 컴퓨팅 자원, 가격, 지연 시간 비용 및 온라인 환경에서도 최적에 가깝게 유지됩니다. 이 공식은 또한 더 많은 LLM 심사위원을 요청하는 것이 정밀도(precision)를 어떻게 낮추는지 설명합니다. 파일럿 테스트를 훨씬 넘어선 예측기(forecaster)로서, SPLIT은 검증기가 성공을 제한할 때의 파워-로우 피팅(power-law fitting)보다 우수하며, 우리가 어느 지점에서 손해를 보는지도 보고합니다.