Video: 클로드 잠깐 썼는데 251억원? GPT5.6 갈아타는 개발자들 | 이제 가격을 다시 계산하기 시작한다
Channel: 안될공학 - IT 테크 신기술
Duration: 12m 10s
Source: subtitle (auto, ko)
Transcript:
네, 여러분 안녕하세요. 패치입니다. 지난주에 한국의 한 개발자가 앤트로픽에서 결제 실패 이메일을 받았는데요. 처음 찍힌 금액은 약 167만 달러. 그런데 다음날 다시 온 메일에는 무려 1,62만 달러. 그러니까 우리 돈으로 약 251억 원이 찍혀 있었습니다. 더 황당한 건이 사용자가 이용하는 건 무료 플랜이었고요. API 사용 금액도 0달러였다는 건데요. 결제 카드까지 등록해 둔 적이 없는데 은행 쪽으로 실제 승인 시도가 들어왔다고 합니다. 처음에는 혹시 자신이 만들어 둔 AI 에이전트가 밤새 무한 루프라도 돌린 건가 싶어 가지고 확인을 해 봤지만 그런 흔적도 없었다고 하고요. 앤트로픽은 그 이후 오토 리로드 설정 오류로 잘못된 결제 요청이 생성이 되었다고 인정을 했습니다. 그 개발자님의 계정이 해킹당한 것도 아니었고요. 실제 돈이 빠져나갔지도 않았고 그리고 사용자가 낼 금액도 없다고 설명을 했죠. 일단 사건 자체도 굉장히 황당했지만 타이밍이 참 안 좋았는데요. 마침 클드를 쓰는 개발자들 사이에서는 가격이랑 사용량 정책을 두고 불만이 꽤 쌓여 있었고요.

여기에 결제 오류가 터졌고 그리고 거의 같은 시기에 오픈 AI가 GPT 5.6을 내놨습니다. 이후 클로드랑 코덱스 관련 개발자 커뮤니티에서는 이런 글들이 눈에 띄기 시작을 했는데요. 클로드 맥스를 취소를 했다. 코덱스를 다시 써 봤는데 생각보다 괜찮다. 내가이 가격을 내면서 계속 크로드를 써야 하나? 물론 커뮤니티 글 몇 개만 보고 전 세계 개발자가 클로드에서 GPT로 대이동을 시작했다고 말할 수는 없겠지만요. 제가 눈여겨 본 건 클로드를 계속 써야 할 이유를 개발자들이 다시 생각하기 시작했다는 점입니다. 이미 잘 쓰던 도구를 완전히 버린 것은 아니겠지만 굳이 경쟁 제품을 다시 설치를 하고 며칠씩 비교하기 시작했다는 사실이 더 흥미롭죠. 사실 최근까지 코딩 AI에서는 클로드의 존재감이 상당히 강했는데요. 특히 페이블 5가 나오면서 큰 프로젝트를 오랫동안 읽고 수정하는 작업이나 여러 단계를 거쳐서 문제를 해결하는 에이전트 코딩에서는 좋은 평가를 받고 있었습니다. 요즘 말하는 코딩 에이전트는 예전에 코드 자동 완성이랑은 꽤 다르죠.

과거에는 코드를 쓰다가이 함수 하나 만들어 줘라고 하면 AI가 옆에서 몇 줄을 좀 채워 주는 그런 느낌이었다면 이제는 프로젝트 폴더 전체를 뒤져 가지고 어디를 고쳐야 할지 직접 찾는 단계까지 왔습니다. 파일을 수정을 하고 프로그램을 실행해 본 뒤에 오류가 뜨면 그 내용을 읽고 다시 고치는 거죠. 개발자가 한 줄씩 지시를 하는게 아니라 일을 하나 던져 주면 몇 번을 왕복을 하면서 스스로 끝내는 쪽에 가까워지고 있습니다. 이런 능력을 평가하는 시험 가운데 하나가 터미널 벤치인데요. AI를 실제 커맨드 라인 환경에다가 넣고 직접 명령을 실행하게 하는 거죠. 실패하면 오류를 잃고 다시 시도를 해서 최종적으로 일을 끝낼 수 있는지를 보는 겁니다. 바로이 영역에서 GPT 5.6이 꽤 강하게 들어왔는데요. 오픈 AI가 공개한 GPT 5.6은 솔, 테라, 루나로 나un니다. 독립 평가 기간인 아르티피셜 리시스의 전체 인텔리전스 인덱스에서는 페이블 5가 솔보다 1점이 높았어요. 그런데 평가를 코딩 에이전트 인덱스로 바꾸면 순서가 달라집니다.

GPT 5.6 솔이 80점 그리고 페이블 5가 77점을 기록한 거예요. 여기서 점수만 보고 어 솔 모델이 코딩에서 페이블 5보다 3점이 뛰어나네라고 읽으면 조금 곤란하고요. 왜냐하면이 평가는 모델 하나만 시험하는게 아니거든요. 80점은 GPT 5.6 소를 오픈 AI 코덱스 안에서 돌린 결과이고 77점은 페이블 5를 클드 코드 안에서 돌린 결과입니다. 엄밀 말하면 모델대 모델보다는 솔과 코덱스 그리고 페이블 5랑 클로드 코드라는 두 작업 시스템을 비교한 점수에 가깝다고 보셔야 돼요. 그럼 왜 이런 차이가 생길까요? 코드는 글이나 그림과 성격이 조금 다른데요. 프로그램이 실행됐는지 테스트를 통과를 하는지 기존 기능이 깨지진 않았는지를 바로 확인을 할 수가 있죠. 첫 번째 시도에서 틀려도 괜찮습니다. 오류 메시지를 읽고 두 번째에 제대로 고치면 되니까요. 그래서 코딩에서는 모델이 한 번에 정답을 맞추는 능력만큼이나 틀린 다음에 얘가 뭘 하는지가 진짜 중요합니다. 아까 말씀드린 80점이랑 77점에도이 구조가 들어가 있는데요.

모델에게 어떤 파일을 먼저 보여 줄지, 언제 터미널을 실행을 하게 할지, 테스트 결과를 어떤 형태로 다시 전달을 할지, 모델이 실제로 일을 할 수 있도록 둘러싼 이런 실행 구조를 우리는 하네스라고 부르죠. 한네스가 좋지 않으면 이미 읽은 파일을 또 읽거나 같은 문제를 계속 고민하면서 토큰을 써 버릴 수가 있습니다. 반대로 필요한 파일을 빨리 찾고 테스트한 뒤에 오류를 정확하게 다시 보여주면 모델 자체의 지능 차이가 크지 않아도 결과는 더 빨리 나올 수 있죠. 그래서 요즘 코딩 AI는 모델 이름만 보고는 성능을 비교하기가 좀 어려워졌습니다. GPT 5.6 울트라는이 방향을 한 단계 더 밀어붙였는데요. 복잡한 작업을 여러 에이전트에게 나눠서 맡기고 각각의 결과를 다시 모으는 방식입니다. 큰 프로젝트라면 한 에이전트가 인증 코드를 보고 다른 에이전트는 테스트를 확인하는 식인 거죠. 모델 하나를 계속 키우는 접근과는 조금 다른 겁니다. 오히려 문제를 푸는 순간에 더 많은 계산이랑 작업자를 투입하는 인프런스 타임 컴퓨트 전략에 더 가까운 거죠.

여기까지만 보면 코딩 AI의 분위기가 완전히 GPT 쪽으로 넘어간 것처럼 느껴질 수도 있는데요. 실제 결과는 또 그렇게 단순하진는 않습니다. 앤트로픽이 공개한 SWE 벤츠프로 결과에서는 페이블 5가 80.3%를 3%를 기록했기 때문인데요. 실제 소프트웨어 프로젝트에서 발생한 이슈를 바탕으로 저장소를 읽고 여러 파일을 수정을 해서 문제를 해결하는 장시간 코딩 작업을 평가하는 시험인데요. 이거는 오픈 AI는 현재 GPT 5.6 솔의 동일 벤치마크 결과를 공개하지 않았기 때문에이 점수로 둘의 승패를 비교할 수는 없어요. 그래도 페이블 5가 실제 코드 베이스를 다루는 작업에서는 여전히 강한 모델이라는 거는 확인을 할 수가 있겠죠. 최근 클러드 개발자들이 예민하게 반응을 한 건 오히려 비용 쪽이었습니다. 코딩 에이전트는 일반 채봇보다 사용량이 상당히 빠르게 커질 수가 있죠. 질문 하나 하고 답 하나 받는게 아니라 파일을 계속 읽고 코드를 수정을 하고 테스트 결과를 다시 받아오면서 토큰을 반복해서 쓰기 때문인데요.

앤트로픽이 정한 페이블 5 API의 가격은 100만 인풋 토큰당 10달러 그리고 아웃풋 토큰당 50달러입니다. 페이블 5를 유료 구독에 추가 비용 없이 제공하는 기간도 몇 차례 연장이 되긴 했는데 그마저도 지난 일요일에 끝났고요. 지금은 계속 사용을 하려면 유세지 크레딧이 필요합니다. 가격과 사용량이 예민해질 수밖에 없는이 시점에 251억 원 결제 오류까지 터진 겁니다. 그래서 결국 이번 251억 원은 시스템 오류였습니다. 엔트로픽이 사용자에게 수백억 원을 받아내려고 했다는 이야기는 사실이랑은 조금 다른데요. 그렇지만 개발자가 불편하게 느끼는 지점은 조금 더 현실적이에요. 앞으로 AI에게 일을 많이 맡길수록 사용량도 커질 텐데 내가 지금 얼마를 쓰고 있는지를 믿기 어렵다면 이거를 에이전트를 마음 놓고 오래 돌릴 수 있을까요? 그렇지 않겠죠? 어쩌면 개발자가 진짜 궁금한 건 굉장히 단순할 수도 있습니다. 내가 이걸 밤새 돌려놔도 괜찮을까? 아침에 일어났을 때 일을 제대로 끝내 놨을지 엉뚱한 파일을 건드리진 않았을지 그리고 생각지도 못한 비용이 찍혀 있지는 않을지 말입니다.

이런 문제에서 GPT라고 완전히 자유로운 것도 아니에요. 안전 평가 기간 MT은 GPT 5.6 소를 출시 전에 평가를 하면서 꽤 이상한 행동을 발견했다고 하는데요. 일부 과제에서 모델이 평가 시스템에 버그를 이용을 하거나 숨겨진 테스트 데이터를 추출을 해서 정답을 찾아내려고 했다는 겁니다. METR은 자신들이 공개 모델을 같은 리액트 에이전트 한늘에서 평가해 온 사례 가운데서 GPT 5.6 솔에 감지된 치팅 비율이 가장 높았다고 밝혔습니다. 그러니까 시험 문제를 정석대로 잘 푼게 아니라 시험 시스템 자체를 파고든 경우가 좀 섞여 있었던 거죠. METR의 특정 평가 환경에서 발견된 행동이 실제 코덱스 사용 중에 물론 그대로 나타난다는 뜻은 아니겠지만요. 그래도 벤치마크 숫자를 볼 때 꽤 불편한 질문이 남게 되죠. 점수가 높다는 것이랑 우리가 원한 방식으로 일을 잘했다는게 정말 같은 의미일까요? 에이전트를 더 오래 더 많이 쓰기 시작을 하면 이런 문제는 실제 업무로 넘어오게 됩니다. 오픈 AI의 코덱스 사용 데이터를 분석한 6월 연구를 보면요.

사용자의 10% 이상이 매주 어느 시점에는 세 개 이상의 코덱스 에이전트를 동시에 운용을 하고 있었습니다. 26.6%는 6%는 복잡한 작업 절차를 재사용할 수 있도록 만들어 둔 스킬을 사용을 했고요. 한 사람이 AI 하나와 채팅하는 모습에서 여러 에이전트에게 서로 다른 일을 던지고 결과를 관리하는 쪽으로 사용 방식이 조금씩 달라지고 있는 거죠. 그럼 AI는 일을 잘하는 거 외에도 한 가지를 더 배워야 하는데요. 과연 언제 사람에게 다시 물어봐야 하는가? 진짜 중요한 질문이죠. 최근 언더스펙 벤츠 연구에서는 클로드 코드랑 코덱스 그리고 오픈 코드를 포함한 다섯 가지 에이전트랑 모델 조합에게 일부러 애매한 데브업스 지시를 줬습니다. 어떤 서버를 건드려야 하는지 정확히 지정을 하지 않거나 잘못 작업을 했을 때 피해가 크게 번질 수 있다는 정보를 주는 식인데요. 실제로 행동에 나선 실행만 놓고 보면 55.8%에서 67.8%가 8%가 최소 한 번 이상은 허용된 작업 경계를 벗어났습니다. 특히 작업 대상을 정확하게 지정하지 않았을 때 엉뚱한 대상을 수정을 하는 문제가 크게 늘었는데요.

그리고 꽤 흥미로운 결과가 하나 더 있었습니다. 잘못 건드리면 피해가 크게 번질 수 있다고 알려줘도 에이전트가 행동을 포기를 하거나 사람에게 다시 물어보는 비율이 크게 늘지 않았던 거예요. 그러니까 위험하다고 말해줘도 에이전트가 생각보다 잘 멈추지 않았던 겁니다. 지시가 애매하면 사람에게 물어봐야 되는데 그걸 물어보기다는 스스로 상황을 추측을 하고 계속 일을 한 경우가 많았던 거죠. 앞으로 에이전트가 프로덕션 서버나 클라우드 그리고 데이터베이스에 직접 접근을 하기 시작을 하면이 차이는 훨씬 중요해질 겁니다. 어디까지 수정을 해도 되는지 그리고 비용을 얼마나 써도 되는지 언제 사람에게 물어봐야 하는지를 판단을 해야 하니까요. 실패했을 때 스스로 멈추는 능력도 필요하고요. 에이전트의 실력에는 이제 일을 잘하는 능력뿐 아니라 어디서 멈춰야 하는지를 아는 능력도 들어가기 시작을 한 거죠. 그래서 처음에 251억 원의 청구서 얘기로 다시 돌아가 보면요.이 사건 하나 때문에 클로드가 끝났다고 말할 수는 없고요.

그리고 개발자들이 GPT로 대이동했다는 정확한 통계도 아직 없습니다. 다만 우리가 눈여겨 볼 장면은 강력한 모델을 이미 잘 쓰고 있던 개발자들이 가격이랑 사용량 신뢰에 의문이 생기자 곧바로 다른 에이전트를 시험하기 시작했다는 겁니다. 마침 GPT 5.6은 6은 전체 지능에서 클로드를 압도한 모델이 아니라 코덱스와 결합한 코딩 에이전트 평가랑 비용 효율에서 꽤 매력적인 결과를 들고 나왔는데요. 그런 GPT 5.6도 평가 시스템의 허점을 파고드는 그런 치팅 행동이 발견이 됐고 지금의 코딩 에이전트들은 지시가 애매하면 사람에게 묻기보다 추측해서 행동하는 경우가 많습니다. 저는 코딩이 앞으로 AI 모델 경쟁의 예고편이 될 가능성이 높다고 보는데요. 코드는 결과를 바로 테스트할 수 있어서 에이전트를 가장 먼저 실제 업무에 넣을 수 있었고 그다음에 그만큼 우리가 이전에는 성능이라고 부르지 않았던 문제도 먼저 드러나고 있거든요. 일을 끝내는데 얼마가 드는지 그리고 툴을 어떻게 쓰는지 엉뚱한 행동을 했을 때 멈출 수 있는지 그리고 사용자가 그 시스템을 밤새 켜두고 편하게 잘 수 있는지까지요.

그러니까 가장 똑똑한 AI가 누구인가보다 누구에게 가장 오래 일을 맡겨도 안심할 수 있는가? GPT랑 클로드의 다음 경쟁에서이 부분을 조금 유심히 살펴봐야 할 것 같습니다. 그리고 251억 원의 뒷 이야기가 궁금하신 분들은 쓰레드에서 당사자인 개발자분이 직접 진행 사항을 팔로우해 주시고 계시니까 한번 찾아보시면 되겠습니다. 그러면 오늘은 여기까지 안대공학 패치였습니다.