Fable 5 대 GPT 5.6 Sol: 초기 결과 분석

Fable 5가 돌아왔지만, 예전보다 더 채팅을 종료하거나 약한 모델로 리라우트할 것입니다. OpenAI의 Fable에 해당하는 GPT 5.6 Sol이 출시되었지만, 소수의 고객에게만 제공되며 보고서 카드에서 불완전한 결과만을 보여주고 있습니다. Anthropic의 Claude Sonnet 5가 막판에 등장했지만, 이 모델 제작사는 미국 정부가 개입한다고 생각하는 사람들에게 Sonnet이 최첨단 기능에 얼마나 적게 기여하는지 보여주기 위해 경쟁하고 있다고 말할 수 있습니다. 그래서 AI 분야는 지난 며칠 동안 이상했습니다만, 제가 이 짧은 영상에서 강조하고 싶은 몇 가지 명확한 신호들이 있습니다. 바로 GPT Sol과 Fable 5 또는 Mythos 5 사이에서 우리가 할 수 있는 정량적인 비교들입니다. 직접적인 비교를 발견하는 것이 가능하며, 이를 통해 OpenAI가 미국 정부에 회사 지분을 제공한다는 소식, Sam Altman이 집중된 기업 권력에 대해 경고한 것 등 더 많은 내용을 다룰 수 있습니다. 하지만 먼저 Fable에 대한 신화와 오해, 그리고 이것이 일반 사용 가능 상태로 돌아온 시기에 대해 이야기하겠습니다. 네, 저 같은 비미국인에게도 그렇습니다. Anthropic에 따르면, Amazon이 플래그를 지정하여 Fable이 차단된 원인이었던 취약점은 GPT 5.5나 중국의 오픈 웨이트 모델인 Kimi K 2.5가 플래그를 지정하고 식별할 수 있는 것이었습니다. 그럼에도 불구하고 미국 정부가 그렇게 인정하는 것은 매우 어색할 것입니다. 그래서 Anthropic은 어떤 대응을 보여야 했고, 그 결과 안전 검사에서 무엇이 차단 가능한지에 대한 경계를 더욱 이동시켰습니다. 물론 더 많은 안전 마진이지만, 이 인용된 개선된 안전 분류기는 일상적인 코딩 및 디버깅 작업 중에도 무해한 요청들을 훨씬 더 자주 플래그 지정하게 만듭니다.

제가 Opus 4.8과 즐겁게 논의했던 비치 경로(beach route)에 대한 질문이 국제 테러리즘을 조장하고 지원하는 것으로 간주되어 플래그 지정된 첫 번째 희생자 중 하나였다고 말씀드리겠습니다. 아니, 농담입니다. 그건 아니지만 Fable 5에게는 너무 위험하다고 판단되어 Opus 4.8로 계속 진행해야 했습니다. 하지만 더 진지하게 말하자면, 안전 분류기가 코딩이나 디버깅 같은 일상적인 작업을 얼마나 자주 차단으로 표시하는지, 그리고 그것이 얼마나 짜증스러워질지는 앞으로 몇 주가 지나봐야 알 수 있을 겁니다. 아, 그리고 미국 정부가 가능하다고 생각했던 신화 속의 범용 탈옥(universal jailbreak)은 어떻습니까? 좁은 범위의 탈옥처럼 유해한 응답 하나를 추출하는 것이 아니라, 모델의 선하거나 악한 잠재력을 완전히 해제하는 범용적인 방식 말입니다. 음, Anthropic에 따르면 현재로서는 아무도 범용 탈옥을 찾아내지 못했다고 합니다. 물론 레드팀(red teaming)은 계속되고 있습니다. 다 좋은 일이지만, 더 큰 뉴스는 최근 GPT 5.6 Sol의 출시였다고 할 수 있습니다. 특히 Sol은 Fable 시리즈에 대한 OpenAI의 대응책입니다. OpenAI가 5.5나 03 같은 좀 구식으로 들리는 정량적 이름들에 지쳤는지 Anthropic의 감성적인 이름 방식(Sol, Terra, Luna)을 모방한 것 같습니다. 제가 궁금한 점은 Mythos가 Opus로 확장된 것을 고려할 때, 그들이 이름을 확장할 여지가 많지 않다는 것입니다. 태양이나 Sol보다 더 크게 이름을 붙일 수 있는 유일한 방법은 모델 이름을 Beetlejuice라고 짓는 것이 아닐까 싶습니다? 그것은 별(star)이지 사람이 아닙니다. 오늘날까지 Sol에 대해 공개된 하드 스탯은 가격과 몇 가지 선택적인 벤치마크를 제외하고는 거의 없습니다. 하지만 그 가격이 중요한 단서입니다. 왜냐하면 그들은 돈을 절약하려는 모든 사람들을 겨냥하고 있기 때문입니다. Claude와 비교했을 때, 심지어 5.6 Sol조차도 Fable 5의 API 가격의 절반에 불과합니다. 입력은 정확히 절반, 출력은 절반을 조금 넘는 정도입니다. 여러분 중 일부는 '나는 Claude의 Pro 또는 Max 플랜을 사용한다'고 생각할 수도 있습니다.

저는 API 비용을 지불하지 않지만, 7월 7일이 되면 주간 플랜에 포함되지 않을 것이므로 가격 책정이 정말 중요하다는 느낌을 받을 수도 있습니다. 하지만 이 모든 것은 주요 요점을 흐립니다. 수조 달러짜리 질문은 Sol이 Fable만큼 성능이 좋은가 하는 것입니다. 만약 그렇다면, 두 모델 간의 대규모 전환이 발생할 수 있다고 상상해 볼 수 있습니다. 음, 약간 문제가 있습니다. 우리는 5.6을 직접 테스트할 수 없는데, OpenAI가 미국 정부의 요청에 따라 소수의 신뢰받는 파트너를 대상으로 이 모델의 제한적 미리 보기(limited preview)를 시작하고 있기 때문입니다. 그들은 참여한 사람들의 목록이 미국 정부와 공유된다고 말합니다. 따라서 OpenAI는 자신이 어떤 파트너를 선택했고, 그중 어느 파트너에게 제공할 것인지 암시하는 것입니다. 하지만 정보에 유출된 메모가 제 눈에는 프레이밍을 약간 바꿉니다. 실제로 Altman은 직원들에게 정부가 미리 보기 기간 동안 고객별로 접근 권한을 승인할 것이라고 말했습니다. 어느 쪽이든, Altman은 앞으로 몇 주 안에 일반 출시(general release)가 있을 것이라고 희망합니다. 따라서 녹화 시점을 기준으로 다음 주나 그 다음 주라고 생각하시면 됩니다. 하지만 제가 앞서 암시했고 한 트위터 사용자가 언급한 위험은 이러한 단계적 출시(staggered releases)가 권력을 집중시킨다는 것입니다. 이는 OpenAI 스스로가 최근의 소동 이전에 제기했던 직접적인 위험이었습니다. 회사로서 그들의 목표 중 하나는 기업에 의한 부당한 권력 집중을 막는 것이었습니다. 단계적 출시는 대기업들이 최고의 모델에 훨씬 더 일찍 접근할 수 있다는 것을 의미합니다. Altman은 일반 사용 가능(general availability)까지 너무 오래 걸린다면, 네, 그렇게 될 수도 있다고 답했습니다. 하지만 만약 우리가 몇 주 안에 미리 보기 단계를 통과한다면, 아마 괜찮을 것이라고 합니다. 이제 여러분이 동의하는지 알려주세요. 하지만 저는 사실 겉보기에 관련 없어 보이는 이야기에서 발생할 수 있는 다른 각도가 있다고 생각합니다.

기본적으로 Anthropic은 중국의 최고 수준 모델 패밀리 개발을 감독하는 Alibaba가 Claude를 이용해 2,900만 건의 교환(exchange)을 사용하여 응답에서 학습 데이터를 얻어 자신들의 중국 모델인 Quen 시리즈를 훈련시켰다고 비난했습니다. 이는 물론 Anthropic의 서비스 약관에 위배되는 행위입니다. 이는 이와 같은 종류의 가장 큰 데이터 추출 캠페인이 될 것입니다. 전 세계는 즉각적으로 반응하여, 항상 어떤 저작권 자료 한 줄도 모델에 사용하지 않는 옹호자였던 Anthropic에게 동정심을 표했습니다. 비꼬기는 그만합시다. 하지만 잠깐, 이 이야기가 제가 방금 언급했던 기업 집중화 지점과 어떻게 연결될까요? 만약 중국 모델에 능력을 추출하기 위한 이러한 대규모 스크래핑이 점점 더 정교하고 성공적이 된다면, 연구소들의 인센티브가 바뀔 수 있다고 생각합니다. 그들에게는 어쩌면 최신 모델을 정부, 승인된 기업, 그리고 물론 자신들에게 먼저 제공하는 것이 더 좋을 수 있습니다. 예를 들어 3~4개월 동안 이러한 종류의 추출로부터 안전하게 지낸 다음, 내부적으로 더 나은 모델이 출시될 때만 '세속적인 대중'에게 이전하는 식입니다. 그리고 이 이론은 지정학적 문제에 도달하기 전 이야기입니다. Anthropic은 이것을 이렇게 표현했습니다. '추출 공격(distillation attacks)'은 수천억 달러의 미국 투자와 연구를 우리의 지정학적 경쟁자들에게 거대한 보조금으로 바꾼다고 말입니다. 어쨌든 그것이 제 이론이고, 이제 GPT 5.6 Sol의 테스트 결과로 넘어가고 싶습니다만, 모델 접근성이 훨씬 더 제한적으로 설정될 것이라는 이 개념에 대해 한 가지 더 말씀드리겠습니다. 그 추세가 OpenAI가 미국 정부에 회사 지분 5%를 제공하자는 아이디어를 제시한 이유를 설명할 수 있습니다. 이는 약 1년 전 Intel이 트럼프 행정부에 10%를 양도했던 것과 매우 유사합니다. 참고로, 이 초기 대화에는 다른 미국 AI 기업들에 대한 미국 정부의 지분 제공도 포함되었습니다. 저는 OpenAI가 왜 이런 제안을 하는지 궁금한데, 저에게는 몇 가지 이론이 있습니다. 첫 번째 이론은 이 제안이 미국 정부가 더 많은 것을 요구하는 것에 선제적으로 대응하려는 것이라는 것입니다.

두 번째 이론은 이것이 정부가 일반 공개(general release)를 신속하게 허용하도록 장려하기 위함일 수 있다는 것입니다. 왜냐하면 이러한 회사들의 증가하는 지분(equity)을 대중에게 배당금으로 지급하는 데 사용할 수 있다면, OpenAI가 원하는 것이 바로 그것인 것 같기 때문입니다. 이는 알래스카의 에너지와 비슷한 상황이며, 정부는 그러한 회사들의 시장 점유율을 늘리고 일반 공개를 더 일찍 허용할 인센티브를 갖게 될 것입니다. 좀 더 어두운 세 번째 이론은 OpenAI가 Anthropic이 이 제안에 동참하지 않을 것이라고 생각하고, 따라서 OpenAI가 그 합의 하에서 특혜(preferential treatment)를 얻을 것이라는 것입니다. 이 각도는 며칠 전 Anthropic의 몇몇 코멘트와 강화됩니다. 그들은 체계적인 규칙(systematic rules)을 희망하며, 그러한 규칙이 형성될 때 그것들이 성문화되어야 한다고 말합니다. 즉, 주관적인 해석에 열려 있지 않고 최첨단 모델 개발자들 모두에게 동등하게 적용되는 것이라는 것입니다. 물론 여러분의 생각을 알려주세요. 하지만 지금은 이론화는 충분하니, 다시 그 1조 달러짜리 질문인 Sol 대 Fable로 돌아가겠습니다. 우리가 가진 몇 안 되는 세부 정보에 따르면, Mythos의 안전이 확보된 버전인 Fable이 전반적으로 GPT 5.6 Sol보다 약간 더 나은 것 같습니다. 물론 그 기능은 Fable에서 차단되어 있지만, 5.6 Cyber보다는 훨씬 좋습니다. 하지만 이 모든 것을 감안할 때, Fable은 Sol보다 두 배 비쌉니다. 따라서 달러당 성능(performance per dollar)으로 볼 때, 출시될 GPT 5.6 Sol이 최고일 것입니다. 잠깐만요. 제가 알고 있는 헤드라인은 OpenAI가 저와 여러분에게 집중하기를 원하는 Terminal Bench 2.1입니다. 그것은 그들의 발표 맨 위에 있습니다.

거기 보세요, Anthropic에서 가져온 것 같은 이름의 GPT 5.6 Sol이 울트라 모드(ultra mode)로 거의 92%를 기록했고, Mythos 5는 88%입니다. 하지만 이건 Terminal Bench 2.1이라는 특정 벤치마크이며, 여러분 컴퓨터의 터미널을 사용해 모델과 상호작용하고 접근 가능한 도구들을 다루는 것과 관련된 영역이라 다소 니치(niche)합니다. 만약 오차 막대(error bars)까지 포함한다면 Mythos 5와 Sol이 동률일 수도 있고, 아니면 Sol ultra가 Fable 5보다 약간 우세할지도 모릅니다. 하지만 다행히도 우리가 의존할 수 있는 벤치마크가 이것만은 아닙니다. 아시다시피 저는 Mythos 논문을 수백 페이지에 걸쳐 깊이 파고들었고, 당연히 출시된 지 77페이지짜리 5.6 프리뷰 시스템 카드(system card)도 살펴보았습니다. 미국 정부에서 무슨 일이 일어나고 있는지 고려할 때 안전 보고서(safety report)의 크기가 이전보다 두 배로 늘어난 것을 발견했습니다. 그래서 제가 한 일은 5.6 Sol과 Mythos 또는 Fable 간의 비교를 역산(back solve)하는 것이었습니다. 어떻게 했을까요? 가끔 시스템 카드나 리포트 카드는 Opus나 5.5 같은 다른 모델과 자신들의 모델을 비교합니다. 따라서 이런 것들을 공통적인 비교 지점(common points of comparison)으로 사용할 수 있습니다. 이런 비교 지점이 많지는 않았지만, 사용하기 가장 쉬운 것은 Mythos 보고서 카드의 300페이지에 있는 Health Bench Professional이었습니다. 여기서 보시다시피 Mythos 5는 66.0%를 기록합니다. 이건 Mythos 5의 순수한 성능(raw horsepower)에 관한 것인데, Fable 5는 물론 건강에 대한 질문을 실제로 답변할 수 없기 때문입니다. 하지만 순수 성능만 놓고 보면 GPT 5.6 Sol은 60.5%로 이 동일한 벤치마크에서 기록했습니다. OpenAI는 그 벤치마크가 긴 답변에 보상을 주는 경향이 있다고 언급하지만, 길이 조정 점수(length adjusted score)를 고려하더라도 64%로 여전히 Mythos 5.0보다 낮습니다. 명백한 질문은 5.6 Sol이 실제로 건강에 대한 질문을 답변할 수 있을까 하는 것입니다. 시간이 말해줄 겁니다. 하지만 전반적인 느낌으로는 비슷한 수준이지만 Sol의 점수가 약간 더 낮은 정도입니다. 그다음은 Exploit Bench가 있습니다. 이건 발견하기가 좀 어려웠는데, Sol이 Mythos 5.0보다 아주 약간 낮은 것을 볼 수 있습니다. 아주 약간만요. 대략 76% 대 Mythos의 78%로 추정할 수 있습니다. 하지만 출력 토큰(output tokens)을 한번 보세요.

Sol은 약 120,000~130,000을 지출한 반면 Mythos Preview는 350,000을 지출했습니다. 그리고 솔의 토큰이 어차피 더 저렴하다는 점도 기억하세요. 따라서 달러당 성능(performance per dollar) 면에서 Sol이 압도적으로 우세합니다. 하지만 문제는 사소한 디테일에 있습니다. Exploit Bench가 정확히 무엇인지 아십니까? 예상하셨겠지만, 취약점(exploits)을 찾는 것에 관한 것입니다. 이것은 사이버 보안 벤치마크입니다. 네, 제가 확인해 보니 확실히 같은 질문들인 것 같습니다. Chrome에 동력을 공급하는 엔진인 V8 엔진의 최근 취약점 41가지입니다. 5.6 시스템 카드에서도 다시 등장했습니다. V8 취약점 41가지. 동일한 테스트입니다. 제어 흐름 하이재킹(control flow hijack)과 임의 코드 실행(arbitrary code execution)을 포함하여 16개의 기능 플래그가 동일합니다. 그리고 네, 이는 OpenAI가 Mythos 5가 78%를 얻었다고 말한 것과 일치합니다. 그렇다면 Mythos 5가 약간 더 좋지만 비용이 훨씬 많이 든다는 뜻일까요? 꼭 그렇지 않습니다. Mythos 시스템 카드에서 GPC 5.5가 34%를 받는 것으로 나와 있는 것을 주목하세요. OpenAI 차트에서는 제가 색맹이라 확신할 수는 없지만, GPC 5.5가 약 48%를 받는 것 같습니다. 이 불일치는 무엇 때문일까요? Anthropic은 평균을 내는 세 번의 시도(three trial approach)를 수행한 반면, 그들이 사용한 5.6 시스템 카드는 다섯 번의 시도를 사용했습니다. 그럼에도 불구하고 추세가 있다고 말할 수 있습니다. Mythos는 더 높은 최고점(higher peak)으로 더 안정적으로 도달하게 하지만 비용이 상당히 더 많이 듭니다. 아마도 바이러스학(Virology)에서 특정 객관식 벤치마크를 비교하는 것이 더 직접적일 것입니다. 이 테스트에서는 Mythos 5가 전문가 기준선보다 훨씬 높은 56%를 기록했고, GPC 5.6 Sol은 55.5%를 기록했습니다.