일본 Fugu의 벤치마크가 GPT를 능가한다는 소문이 자자하지만, 99%의 사람들이 이 모델의 진짜 놀라운 점을 이해하지 못하고 있다고

전 세계가 일본 Fugu의 벤치마크(benchmark) 점수가 GPT를 능가한다고 떠들고 있지만, 저는 99%의 사람들이 이것이 진정으로 판을 흔드는 지점을 이해하지 못하고 있다고 감히 말할 수 있습니다.

우선, 이것은 결코 거대한 단일 대규모 언어 모델 (LLM)이 아닙니다.

전체 파라미터 (parameter) 수가 0.6B에 불과하며, 본래의 역할은 사실상 AI 프로젝트 매니저 (project manager)에 가깝습니다.

간단한 작업은 스스로 처리하고, 복잡한 작업은 자동으로 분해하며, 전 세계 최정상급 모델 풀 (pool)에서 가장 적합한 선수를 골라 사고(thinking), 실행(execution), 검증(verification)이라는 세 가지 역할을 할당하여 다회차 협업을 통해 최종 답변을 합성합니다.

사용자가 이를 호출하는 방식은 일반적인 모델을 호출하는 것과 차이가 없습니다. API 한 줄이면 끝납니다.
하지만 그 이면의 오케스트레이션 (orchestration) 전략은 사람이 수동으로 프롬프트 (prompt)를 작성하거나 라우팅 (routing)을 조절해서 만든 것이 아니라, 훈련을 통해 만들어진 것입니다. 이는 인간이 전혀 생각지 못한 협업 패턴을 발굴해낼 수 있습니다.

제가 생각하기에 가장 무서운 점은 Claude나 GPT를 능가하는 벤치마크 점수가 아니라, Scaling Law (규모의 법칙)의 군비 경쟁을 정면으로 우회했다는 점입니다.

수조 개의 파라미터를 쌓을 필요도, 슈퍼컴퓨터 센터에 막대한 돈을 쏟아부을 필요도 없습니다. 더 똑똑한 협업 메커니즘을 통해 최첨단 모델의 한계치에 도달할 수 있습니다. AI 경쟁이 처음으로 파라미터 싸움에서 관리 (management) 싸움으로 변한 것입니다.

물론 만능 해결책 (silver bullet)은 아닙니다. 예를 들어 블랙박스 (black box)의 불투명성, 복잡한 작업에서의 더 높은 지연 시간 (latency), 간단한 문제에 사용할 경우 오히려 더 높은 비용 등이 문제입니다.

하지만 이 사건이 주는 신호적 의미는 벤치마크 숫자보다 백 배는 더 중요합니다. 이는 멀티 에이전트 오케스트레이션 (multi-agent orchestration)이 실험실의 장난감에서 공식적으로 사용 가능한 생산성 도구로 변모했음을 의미합니다.

Orchestration layer (오케스트레이션 계층)라는 이 새로운 트랙이 오늘 정식으로 시작되었습니다 🚀