점수보다 작업당 비용을 봐야 함. Fable 5.1도 이미 다른 모델보다 상당히 비쌌는데, Fable 5.2는 가격 인하 후에도 비용이 두 배임.
작업당 출력 토큰이 5.1의 11만 8천 개에서 5.2의 27만 4천 개로 폭증함. 답변 토큰은 4만 6천→8만 1천 개, 추론 토큰은 7만 1천→19만 2천 개로 늘어남.
현재 모델 구조에서 기본 학습 데이터로 얻을 수 있는 성능을 다 끌어냈고, 추론 기반 강화학습으로 지능을 확장하는 것으로 보임. 특정 품질을 내려면 매 프롬프트에서 학습 때의 추론량에 비례하는 추론을 해야 함.
답변 토큰 비용이 고객의 지불 의사 한계에 다다르면서 수익 체감 구간에 들어선 셈임. 벽에 부딪힌 것으로 보임.
Opus 5.5가 이미 거의 모든 작업을 매우 효율적으로 처리하는데, 어떤 용도에서 Fable 5.2가 필요할지 궁금함.
5.5의 성능을 낮춰버린다면 필요한 용도가 아주 많아질 것임.
요즘은 출시 속도가 놀라울 정도로 빠름.
벤치마크를 돌릴 수 있도록 미리 접근 권한을 받는 게 분명함. 공개 출시 때 시작했다면 실행을 끝낼 시간조차 없었을 것임.
다른 글에서 Opus 4.6이면 충분해서 새 모델이 별로 필요하지 않다고 하길래, 4.6도 올해 2월에 나온 모델이라고 짚어줬음. 정상적인 세상이라면 4.6도 신형임. 이제는 나온 지 6개월 된 모델을 고대 유물 취급함!
저 가격으로는 수익을 내기 어려워 보임.
왜 이렇게 훨씬 비싼가?
이 페이지는 훨씬 비싼 Max 추론 설정을 보여줌. 성능을 마지막 한 방울까지 끌어내야 할 때가 아니라면 쓰지 않는 편이 좋음. 이미 추가 비용 대비 성능 향상이 크게 줄어드는 구간임.
작업을 완료하는 데 훨씬 많은 토큰을 사용하는 것으로 보임.
내게 Fable의 답변 거부는 책은 많이 읽었지만 잘난 체하는 학교 친구 같음. 어떤 질문은 대놓고 무시하고, 다른 질문에는 다른 사람에게 물어보라고 함. 분명 똑똑하고 천재일 수도 있지만, 답하는 것보다 내가 그 질문을 해도 되는지 판단하는 데 더 관심이 있어 보임.
표백제와 암모니아를 섞으면 안 되는 화학적 이유를 알고 싶은데 답변을 거부한다면, 세계 최고의 모델이라도 적어도 방향을 알려주려는 모델보다 낫다고 할 수 없음. 우려되는 주제라며 다른 사람에게 떠넘기고 사용 한도까지 차감하면, “화학 선생님한테 물어봐”라는 말에 청구서를 받는 기분임.
내 Samsung TV가 임시 무선망을 만들어 Samsung 클라우드로 데이터를 중계하는 것 같아서 펌웨어 역공학을 요청했는데, 내 삶부터 돌아보라는 식으로 굴고 거절 비용까지 청구하면 씁쓸함.
적어도 Anthropic은 거부한 답변에는 과금하지 말아야 함. 마지막으로 확인했을 때는 여전히 사용 한도에서 차감됐고, 질문했다가 뺨 맞고 소매치기까지 당하는 기분이라 몹시 불쾌함.
Fable은 자율성이 높은 모델이며, 이를 ‘대형 모델 특유의 느낌’이라고 부르기도 함. 지시를 무조건 따르는 모델을 원한다면 Sonnet을 쓰면 됨. 내가 전문성을 가진 좁은 분야를 제외하면 나보다 똑똑할 것으로 기대하기 때문에, 오히려 내 생각에 이의를 제기해주길 바람.
답변 거부 시 더 낮은 모델로 전환하지 않고 대화를 일시 중지하는 설정이 있음.
Opus에서도 비슷한 일을 겪었음. 홈랩의 접근 통제와 격리를 강화해 달라고 하니 그럴듯한 설계를 내놓았고, 진행하라고 했더니 중간에 스스로 접근을 차단해버린 뒤 나에게 root로 명령을 실행해 달라고 함.
컴퓨터 앞이 아니니 알아서 해결하거나 이미 가진 root 로그인을 쓰라고 했더니, 집에 돌아올 때까지 기다려도 된다고 함. 지금 해결하거나 root를 쓰라고 재차 요구하자 사이버 안전 관련 경고와 법률·이용 정책 안내를 띄우며 진행을 거부함.
이런 황당함도 OpenAI로 옮긴 이유 중 하나임. Sol은 조금 덜 똑똑해 보여도 이런 일로 훈계하지 않음. 일을 해내거나 실패할 뿐 도덕적 설교는 하지 않으며, Claude가 멈춘 지점부터 이어받아 프로젝트를 끝내줬음.