Sakana AI의 Fugu Orchestrator, Anthropic의 Fable 5를 사용하지 않고도 벤치마크 성능 대등하게 달성

Sakana AI의 Fugu orchestrator는 Anthropic의 모델을 사용하지 않고도 벤치마크에서 Fable 5와 대등한 성능을 보여주며, 수출 통제 상황 속에서 벤더 종속 (vendor lock-in)에 대한 헤지 수단을 제공합니다.

Sakana AI의 Fugu orchestrator는 Anthropic의 Fable 5를 사용하지 않고도 벤치마크에서 그와 대등한 성능을 보여줍니다. 도쿄에 본사를 둔 이 스타트업의 시스템은 여러 LLM (대규모 언어 모델)을 동적으로 조정하여, 벤더 종속 (vendor lock-in)을 줄이면서도 최고 수준의 폐쇄형 모델 (closed-source models)과 경쟁합니다.

주요 사실

• Fugu Ultra는 벤치마크에서 Anthropic Fable 5와 대등한 성능을 보입니다.
• Fable 5와 Mythos는 모두 Fugu의 에이전트 풀 (agent pool)에 포함되어 있지 않습니다.
• Sakana AI의 ALE-Agent는 코딩 경연 대회에서 21위를 기록했습니다.
• Fugu는 다양한 작업에 맞춰 base 및 Ultra 변형 모델을 제공합니다.
• Anthropic 모델에 대한 수출 통제가 Fugu 설계의 동기가 되었습니다.

도쿄 기반의 AI 스타트업 Sakana AI는 사용자에게는 마치 단일 모델처럼 보이고 느껴지는 멀티 LLM orchestrator인 Fugu를 공개했습니다. The Decoder에 따르면, Fugu는 교체 가능한 풀 (pool)에서 여러 언어 모델을 동적으로 조정하며, 하나의 API를 통해 단일 모델처럼 동작합니다. Sakana는 이미 코딩을 위한 orchestrator 설정에서 강력한 결과를 보여준 바 있습니다. 그들의 ALE-Agent는 코딩 경연 대회에서 1,000명의 인간 전문가 중 21위를 차지했습니다.

Fugu 자체도 하나의 언어 모델이며, 자신의 복사본을 포함한 에이전트 풀 (agent pool)에서 다른 LLM을 호출하도록 훈련되었습니다. 요청에 따라 스스로 작업을 처리하거나 전문화된 모델 팀을 구성합니다. 선택, 위임, 점검 및 합성이 모두 내부적으로 실행됩니다. 사용자는 단일 OpenAI 호환 API를 통해 모든 것에 접근할 수 있습니다.

두 가지 변형, 하나의 목표

Sakana AI는 두 가지 변형(variants)을 출시합니다. 기본 Fugu 모델은 코딩, 코드 리뷰(code review), 챗봇(chatbot) 사용 사례 전반에 걸쳐 낮은 지연 시간(low latency)과 탄탄한 일상적 성능을 목표로 합니다. 개인정보 보호 또는 컴플라이언스(compliance) 요구 사항이 있는 팀은 풀(pool)에서 특정 에이전트(agents)를 제외할 수 있습니다. Fugu Ultra는 복잡한 다단계 문제(multi-step problems)에 대해 최대의 답변 품질을 제공하도록 구축되었습니다. 초기 사용자들은 이를 AI 연구, 과학 논문 재현, 사이버 보안 분석, 그리고 특허 및 문헌 검색에 활용하고 있습니다.

Sakana AI가 발표한 벤치마크(benchmark) 결과에 따르면, Fugu Ultra는 코딩, 추론(reasoning), 과학, 에이전트(agent) 벤치마크 전반에서 Anthropic의 Fable 5 및 Mythos Preview와 대등한 성능을 보여줍니다. 다만, Anthropic의 두 모델은 공개적으로 사용 가능하지 않기 때문에 Fugu의 에이전트 풀(agent pool)에는 포함되어 있지 않습니다. 만약 해당 모델들이 포함된다면 Fugu의 점수는 훨씬 더 높아질 가능성이 큽니다. Sakana AI는 기준 비교 수치가 모델 제공업체 자체로부터 제공된 것이라고 밝혔습니다.

벤더 종속(Vendor Lock-In)에 대한 헤지로서의 오케스트레이션(Orchestration)

Sakana AI는 Fugu를 단일 제공업체 의존성에 대한 방어책으로 홍보하고 있습니다. 이 회사는 최근 Anthropic의 Fable 및 Mythos 모델에 대한 수출 통제를 구체적인 사례로 듭니다. [The Decoder 보도에 따르면] 규제 변화나 외교 정책 결정으로 인해 최상위 AI 시스템에 대한 접근이 하룻밤 사이에 사라질 수 있습니다. 조직이나 국가 차원에서 핵심 인프라, 금융 또는 거버넌스(governance)를 위해 단일 회사의 API에 의존하는 것은 중대한 취약점입니다. 교체 가능한 풀(swappable pool) 설계는 경쟁력 있는 성능을 유지하면서도 특정 AI 제공업체에 대한 의존도를 낮추는 것을 목표로 합니다.

주목해야 할 점

Sakana의 주장이 Anthropic Fable 5에 대해 대등한지 검증하는 제3자 벤치마크(benchmarks)와, 최근 Anthropic 모델에 대한 수출 통제 이후 기업의 도입이 가속화될지 주목해야 합니다. Sakana의 다음 펀딩 라운드는 거대 단일 모델(monolithic models)보다 오케스트레이션(orchestration)에 대한 투자자들의 신뢰를 나타내는 신호가 될 것입니다.

출처: the-decoder.com

원문 게시처: gentic.news