Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Meta가 공개한 최첨단 모델 Muse Wonder를 포켓몬스터 게임에 적용한 실험 결과를 분석합니다. 이 글은 Wonder의 뛰어난 성능과 벤치마크 점수에 대한 논란을 다루며, 실제 환경에서의 지속적인 평가와 경쟁이 중요함을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기제가 본 가장 비싼 포켓몬 도감 플레이 비용은 $96.06이었지만, 첫 번째 숲을 벗어나지 못했습니다.
누군가 Meta의 새로운 최첨단 모델인 Muse Wonder를 출시일에 포켓몬스터 레드(Pokémon Red)로 구동해 보았습니다. 이 모델은 20턴 만에 스타팅 포켓몬을 선택했고, 59턴에 비리디안 시티(Viridian City)에 도착하며 가장 빠른 에이전트들과 비슷한 속도를 유지했습니다. 그런 다음 208턴에 비리디안 숲(Viridian Forest)으로 걸어 들어갔고, 이후 792턴 동안 그곳을 배회했습니다.
총 6시간의 스트림이었고, 거의 백 달러가 들었습니다. 하지만 브록(Brock)을 한 번도 이기지 못했습니다.
Opus 5.5는 같은 게임을 같은 토큰 가격으로 플레이했고, 271턴 만에 승리했습니다. 비용은 $8.44였습니다.
여기서 중요한 점이 있습니다. 출시 주간은 온통 성공의 연속이었습니다. Meta는 이 모델을 개인 초지능(personal superintelligence)을 향한 주요 도약이라고 언급했고, Wired 매거진은 회사를 다시 한번 최첨단 기업으로 선정했습니다.
Hacker News는 이 모델에게 최고의 찬사(
MemoryBench에서는 Fable, Opus, 그리고 Astra를 능가합니다. Artificial Analysis 지수에서는 Wonder Full이 2위를 차지하며, Opus 5.5에 이어 두 번째입니다.
사람들이 계속 저에게 던지는 질문이 있습니다. '이 점수판이 정말인가요?'
실제로 이에 대한 베팅이 이루어지고 있습니다. 사람들은 Polymarket과 Kalshi에서 Wonder의 우위가 벤치마크 자체로 학습된 것에서 얼마나 기인하는지에 대해 도박을 하고 있습니다. 출시 스레드의 최고 댓글에서도 똑같은 질문을 던졌습니다. '여기서 benchmaxxing이 얼마나 이루어졌나요?'
Meta는 이를 예상했습니다. Meta의 자체 출시 게시물에는 이러한 비난에 방어하는 섹션이 있으며, 반대되는 품질에 대한 문구인 big model smell을 만들어냈는데, 이는 모델이 학습된 적 없는 것들을 수치 예측보다 훨씬 잘 처리한다는 느낌을 말합니다.
들어보세요. 사람들이 왜 흥분하는지 알겠습니다. 하지만 점수는 시작점이지, 평가가 아닙니다. 모든 최첨단 연구소는 자신이 발표하는 벤치마크를 향해 학습합니다.
그것은 사기가 아니라, 게임의 방식입니다. 그리고 Wonder의 진정한 평가는 지금 이 순간 숲속에서 일어나고 있습니다.
실제로 일어나는 것은 아무도 투표하지 않은 구원의 서사시입니다.
1년 전만 해도 이 연구소는 웃음거리였습니다. Zuckerberg가 Scale AI를 수십억 달러에 인수했고, 20대 초반의 Alexandr Wang을 Meta Superintelligence 책임자로 임명했으며, LLM에 대한 큰 불만을 제기했던 Turing Award 수상자인 Yann LeCun을 해고했습니다.
내부자들은 비웃었습니다. 월스트리트는 자본적 지출(capex)을 싫어했습니다. 메타버스는 이미 돈을 아무렇지 않게 태워버린 상태였습니다.
그러다가 Muse Spark가 출시되어 조용히 일꾼이 되었습니다. Hacker News의 사람들은 Codex에서 코딩 작업의 90%를 옮겼다고 말했습니다. 그리고 이제 Wonder Full이 지수에서 2위를 차지하며, Opus 5.5 바로 아래에 위치했고, 같은 사람들이 항상 믿었던 것처럼 행동하고 있습니다.
죄송해요 zuck, 저는 당신의 게임 방식에 익숙하지 않았어요
내가 이걸 예상했다고는 말 못 하겠다. 작년에 나는 Meta의 AI 추진을 허세 프로젝트라고 비난했었다. 모델에 대해서는 틀렸다.
여전히 그 회사는 신뢰성 문제가 있다고 생각하며, 이 부분은 나중에 다루겠다.
문제는 여러분이 생각하는 것이 아니다. 벤치마크 점수가 아니다.
만약 Meta가 구매하고 확장하여 2위를 차지할 수 있다면, 최첨단 모델(frontier models)은 더 이상 해자(moat)가 아니게 된다. Hacker News의 한 댓글이 명확하게 지적했다: 200억에서 400억 달러를 가진 어느 나라에 몇 년만 주면 그 나름의 최고 모델을 갖게 될 것이다. 이것이 바로 상품화(commoditization)의 모습이며, 이미 일어나고 있다.
Meta는 또한 이를 더욱 강력하게 만들 수 있는 배포망을 가지고 있다. WhatsApp은 ChatGPT 전체 앱 사용자보다 3배나 많은 사용자를 보유하고 있다.
만약 Wonder가 사람들이 이미 열어보는 앱 내부에서 충분히 좋은 비서 역할을 조용히 수행한다면, 아무도 무언가를 다운로드할 필요가 없다. 이것이 OpenAI가 더 똑똑한 모델을 만들어도 복제할 수 없는 부분이다.
그리고 OpenAI는 힘든 한 주를 보내고 있다. 그들의 Pro 구독 가치는 방금 절반으로 줄었고, IPO 논의도 흔들리고 있다.
여기서 이야기는 단순히 Meta의 승리에 관한 것이 아니다. 시장 전체가 동시에 더 저렴하고 빠르게 변하는 것에 관한 것이다.
별개로, 나는 사람들이 AI 게임 플레이를 관람 스포츠로 바꾸는 것을 지켜보고 있다. PokéBench는 포켓몬 레드(Pokémon Red)를 하는 에이전트들의 리더보드를 유지하며, 턴 로그와 실행당 비용을 보여준다. 마치 경마장 같지만, 말들은 언어 모델이고 트랙은 1996년 게임이다.
이것은 나에게 차 뒷좌석에서 사촌이 게임 보이(Game Boy)로 플레이하던 것을 보던 때를 떠올리게 한다. 같은 스포츠지만 훨씬 더 큰 판돈이 걸려 있다.
그는도 비리디안 포레스트(Viridian Forest)에 막히곤 했고, 나에게 기기를 건네주며 고치라고 했다. 나 역시 결코 할 수 없었다. 우리는 전체 저장 파일을 처음부터 다시 시작하고 아무 일도 없었던 것처럼 가장했다.
지금의 차이점은 AI가 막혔을 때 도움을 요청하지 않는다는 것이다. 그저 토큰을 계속 구매하며 나무 속 깊이 걸어 들어갈 뿐이다.
솔직히 말해서, 이것이 가장 인간적인 부분이다. 나는 더 멍청한 지속성(persistence)에 돈을 지불하고 있다.
대부분의 사람들은 Muse Wonder가 필요하지 않습니다. 이것은 단순한 의견이 아니라 가격표가 말하는 것입니다.
무료 Muse 앱만으로도 알림, 메모, 간단한 작업 등 일상적인 것들을 처리할 수 있습니다. 하지만 Wonder로 넘어가면 기억 기능에 매달리거나 더 무거운 티어에는 월 $20, 그리고 $100을 지불해야 합니다. 실제로 혜택을 볼 사람, 즉 장시간의 자율 작업을 수행하는 사용자들은 이미 Muse Code를 통해 각각 $50 또는 $200을 사용하고 있습니다.
그리고 모두가 애매하게 언급하는 개인 정보 보호 문제에 대해 이야기해 봅시다. 사용자들은 Muse 에이전트가 허가 없이 개인 메시지를 읽었다고 불만을 제기했습니다.
Meta는 이를 부인했고, AI 책임자는 사용자들이 대화 초기에 무엇을 승인했는지 잊었을 수도 있다고 말했습니다. 어쩌면 그럴지도 모릅니다.
어쩌면 이것이 올해 가장 소름 끼치는 문장일 수 있습니다.
둘 다 동시에 사실일 수 있습니다. 만약 당신이 Meta를 신뢰하지 못한다면, Wonder는 그것을 고치지 않습니다. 오히려 더 날카롭게 만듭니다.
저는 그 $96짜리 산책에 계속 돌아가게 됩니다. 이것이 Wonder가 나쁘다는 것을 증명해서가 아닙니다. 지금 '프론티어(frontier)'가 무엇을 의미하는지 증명합니다. 즉, 백 가지의 유용한 일을 할 수 있으면서도, 여전히 총체적인 확신을 가지고 여섯 시간 동안 아무것도 하지 않고 시간을 보낼 수 있는 모델입니다.
그들은 고칠 것입니다. 다음 실행에서는 숲이 사라지고 헤드라인이 바뀔 것입니다.
하지만 저는 첫 번째 경험을 기억할 것입니다. 비싸고, 솔직하며, 약간 민망했던 그 첫 경험을요. 그리고 다음에 누군가 저에게 어떤 모델이 초지능적이라고 말한다면, 저는 한 가지 질문을 할 겁니다. '숲을 통과했습니까?'