성능은 최고 주고 해킹력은 죽였다
취약점은 귀신같이 찾아내는데, 그걸로 실제 해킹은 못 하게 일부러 묶어놨다더라. 어제 나온 클로드 오퍼스5 얘기다.
어젯밤(24일) 앤트로픽이 새 모델 오퍼스5를 냈다. 나도 평소에 클로드 코드로 이것저것 돌리는 입장이라 스펙표부터 훑어봤는데, 숫자가 좀 재밌게 나왔다.
일단 가격표부터 봤다. 100만 토큰당 5~25달러 — 이전 버전 오퍼스4.8이랑 똑같은 값이다. 근데 성능은 최상위 모델 '페이블5'에 거의 붙었다는데, 페이블5는 이 가격의 두 배다. 코딩 실력 재는 '프런티어-벤치'라는 지표에서 오퍼스5가 43.3%, 오픈AI GPT-5.6이 34.4%, 심지어 두 배 비싼 페이블5가 33.7% — 반값짜리가 제일 비싼 두 모델을 다 앞섰다. 사무직 업무 능력 재는 지표(GDPval)에서도, 자료 찾는 능력 재는 지표에서도 셋 중 제일 높게 나왔다.
근데 여기서 다 이긴 것도 아니었다. 실제 업무 환경 코딩 능력 재는 '딥SWE' 지표에서는 오퍼스5가 68.8%로 GPT-5.6(72.7%)한테 밀렸고, 어려운 문제 추론 능력 시험에서도 페이블5보다 0.2%p 낮았다. 이겼다 졌다 섞여 나온 거다. 오히려 이 부분 보고 좀 믿음이 갔다. 죄다 1등이면 그게 더 의심스럽거든.
내가 진짜 눈길 간 대목은 따로 있다. 사이버 보안 쪽 얘기다. 앤트로픽이 오퍼스5를 보안 과제로 일부러 훈련시키지도 않았는데, 취약점 찾아내는 능력은 자기네 최상위 비공개 모델('미토스5')이랑 비슷한 수준까지 올라왔다더라. 근데 그 취약점을 실제 공격으로 바꾸는 능력 — 찾았으니 이제 뚫자로 넘어가는 그 단계 — 은 미토스5보다 상당히 낮게 눌러놨다고 앤트로픽이 직접 밝혔다. 실력은 다 붙었는데 위험한 스위치만 일부러 낮춰놓은 셈이다.
이거 나 같은 사람이 실제로 어디다 쓸까 생각해봤다. 주말에 혼자 사이드 코드 짜는 입장에서 두 가지다. 하나, 오퍼스4.8 쓰던 자리는 그냥 오퍼스5로 바꾸면 된다. 가격은 그대론데 코딩 벤치마크가 올랐으니 손해 볼 일이 없다. 둘, 보안 취약점 1차 점검용. 예전엔 이런 거 시키려면 제일 비싼 모델 아니면 못 미더웠는데, 이제 반값 모델한테 '내 사이드 프로젝트에 이상한 구멍 없나' 정도는 맡겨볼 만해졌다. 물론 진짜 침투테스트 대신은 아니고 딱 1차 스캔 용도로.
제일 센 모델을 반값에 판 게 아니라, 위험한 부분만 골라서 반값에 뺀 거였다.
클로드 코드 쓰는 사람들, 오퍼스4.8에서 5로 그냥 갈아탈 건가 아니면 좀 더 지켜볼 건가. 나는 가격 그대로라길래 바로 바꿀 생각인데.
출처: 연합뉴스 — 앤트로픽, '가성비' 앞세운 AI '오퍼스5' 출시…GPT-5.6 능가