AI 신규 모델 대격돌 | 구글 카본 vs 클로드 페이블 5.2 | 새로 나온 두 AI의 코딩 실력과 실제 비용을 따져봤습니다

Video: AI 신규 모델 대격돌 | 구글 카본 vs 클로드 페이블 5.2 | 새로 나온 두 AI의 코딩 실력과 실제 비용을 따져봤습니다
Channel: 안될공학 - IT 테크 신기술
Duration: 8m 32s
Source: subtitle (auto, ko)
Transcript:
네, 여러분 안녕하세요. 패치입니다. 지금 보시는 두면에서는 뉴욕주 용커스라는 도시 전체가 거대한 로봇으로 일어나서 매네튼을 걷습니다. 개발자 사이먼 윌리슨이 두 AI한테 거의 같은 주문을 넣었어요. 실제지도 데이터로 이런 장면을 만들어 달라고요. 왼쪽에 제미나이 4 카보는 카메라를 거리까지 내려보냅니다. 로봇 발밑에서 올려다 볼 수도 있고요. 도로랑 건물을 따로 켤 수도 있어요. 오른쪽에 클로드 페이블 5.2는 이는 도시가 일어나는 모습을 손가락으로 돌려볼 수 있겠습니다. 화면 한쪽에는요. 해안선이랑 경계는 실제지도 기반이고 건물은 가상으로 생성했다라는 안내가 붙어 있습니다. 하루 차이로 공개된 두 모델 가운데 아르티피ci셜 애널리시스의 종합 지수에서 앞선 건 페이블이에요. 그런데 개발자들이 실제로 하던 코드 수정에서는 카본이 거의 같은 점수를 1도 안 되는 비용으로 만들어 냈습니다. 그 정도면 코딩을 할 때도 구글부터 켤 만한 걸까요? 개발자들 사이에서는 아직 의견이 좀 분분한데요. AI 리뷰어 매슈 범은 페이블에 기어서 서브어 같은 게임을 만들어 달라고 세주를 썼어요.

장시간 작업 모드로 며칠을 돌렸더니 엄폐물 뒤에 숨고 타이밍을 맞춰서 재장전하는 슈팅 게임이 나왔고요. 레디돼서 이거를 본 사람들이 물었습니다.이 세 줄이 얼마짜리냐고요? 범원이 직계한 사용량은 약 85억 토큰 공개 API 요금으로 환산을 하면요. 약 15,000달러였습니다. 같은 사람이 같은 모델로 만든 모션 그래픽 설명 영상은 약 25달러였고요. 여러분 사람은 단 세 주를 썼어도 AI는 그거를 며칠 동안 코드를 읽고 고치고 실행 결과를 다시 읽었죠. 토크는 그 과정에서 읽고 쓴 양을 세는 단위인데요. AI 코드 편집기 컬은 실제 사용자가 여러 파일을 고쳐 달라고 한 과제를 두 모델에 똑같이 바뀌었습니다. 각 모델이 가장 높은 점수를 낸 설정에서 둘 다 60% 정도였어요. 과제당 평균 비용은요. 카본이 약 9달러, 페이블이 약 33달러였고요. 여기에서 페이블의 출론 강도를 맥스에서 이제 하이로 낮추게 되면 비용이 바로 10달러 밑으로 내려옵니다. 근데 대신에 점수가 57% 정도로 떨어져요. 같은 페이블에서도 마지막 3% 포인트에 20달러 넘게 더 쓴 셈이죠.데 그렇다고 개발자들이 단골 도구까지 바로 바꿀까요?

카본 출시전인 올해 5월에서 7월 제프레임스가 조사한 직업 개발자들의 업무 사용률은 클로드 코드가 39% 그리고 코덱스 16% 구글 앤티그래티가 6%였습니다. 카은 출시 당일 해커 뉴스에서도 이미 클로드나 코덱스로 일하는 개발자가 재미나를 굳이 다시 시험해 보겠느냐 이런 반응이 나왔어요. 코딩을 할 때 제일 먼저 손이 가는 도구가 되려면 이거는 구글이 좀 넘어야 될 격차인 거죠. 게다가 어려운 코딩 가제로 가면 결과 자체가 뒤집히도 합니다. 플래시 메모리에 파일을 쓰던 중에 전원이 뚝 끊겨도 저장 구조가 망가지지 않게 만드는 과제가 있는데요. 검사 프로그램이 여러 순간에 전원을 끄는 상황을 흉내를 내고 다시 켰을 때 메모리에 남은 상태까지 들여다봐요. 이거를 다섯 번씩 돌린 평균 점수는 1점만점에 페이블이 거의 1점. 근데 카본은 0.12점이었습니다. 1 2점이었습니다. 그러니까 카본이 훨씬 싸게 끝냈어도 저장 장치를 만드는 팀이 그런 점수 차이를 그냥 가격만 보고 넘기기에는 어렵겠죠. 자, 그럼 아까 커서가 계산한 9달러랑 33달러에는 정확히 뭐가 들어 있을까요?

커서는 모델이 읽고 쓴 토큰에 각 회사의 공개 요금을 적용을 했습니다. 이미 읽은 내용을 캐시에서 다시 불러온 토큰에는 거기에 해당하는 요금을 붙였고요. 개발자가 낼 API 요금을 추산을 한 거죠. 뭐 구글의 전기료라든가 장비 원가는이 표로는 알 수가 없어요. 구글 쪽에서 보면 TPU를 얼마나 효율적으로 설계하고 돌리느냐가 원가의 영향을 줍니다. 답을 한 토큰씩 만들 때는 계산 장치가 아무리 빨라도 메모리에서 모델의 가중치를 읽어오느라 기다릴 수 있거든요. 그래서 메모리가 초당 얼마나 많은 데이터를 건네 줄 수 있는지가 중요한 거죠. 운영할 때도 여러 요청을 묶어서 한 번 읽은 가중치로 여러 사람의 다음 토큰을 계산하게 되면 같은 칩을 한시간 빌려도 그 안에 처리하는 양이 늘어날 수 있어요. 사용자 가격은 회사가 따로 정합니다. 구글은 카본 출시 단가를 11월 말까지 정규 단가의 절반으로 책정을 했고요. 어 물론 개발자가 바꿀 수 있는 쪽도 있어요. 바로 하네스인데요. 모델의 어떤 자료를 보여주고 어떤 도구를 실행시키고 또 실패하면 어디서부터 다시 시킬지 요거를 정하는 외부 프로그램이에요.

가령 테스트 하나가 실패를 했을 때 매번 전체 실행 기록을 모델한테 되돌려 줄 수도 있고요. 실패한 항목이랑 관련 코드만 골라서 다시 보여 줄 수도 있죠. 근데 반대로 검증을 한 번 더 돌리면 당장 요금은 늘어나도 잘못 만든 결과물을 처음부터 고치는 일은 줄일 수 있어요. 그런데 커사의 표만으로는 TPU가 몇 달러를 아꼈고 하네스가 몇 달러를 아꼈는지 이거는 나눠서 말할 수가 없습니다. 구글이 카본이랑 함께 개발도구 안티그래비티에 공개한 수원 프리뷰를 보면요. 하네스가 실제로 하는 일이 좀 보이는데요. 한 AI가 작업을 나누고 여러 AI가 각자의 코드 사본을 고치고 또 검증 담당은 합친 결과가 제대로 돌아가는지 이거를 확인을 해요. 어러 파일을 어떻게 바꿀지 설계하는 일이랑 마지막 검토에는 카본을 그리고 지시가 분명한 반복 수정에는 더 가벼운 모델을 붙일 수 있겠죠. 실행 중인 에이전트가 각자 모델을 부르는만큼 이거를 팀을 크게 꾸리게 되면 사용한도도 빨리 닮습니다. 엔트로픽은 페이블에 빈 폴더를 주고 노트북 운영 체제를 만들어 보라고 했어요.

페이블은 보조 에이전트를 1천000개 넘게 동원을 해서 8일 동안 코드를 짰고요. 그 운영 체제로 실제로 노트북을 부팅을 했습니다. 이게 키보드 입력도 되고 디스크에 파일도 남아요. 직접 짠 드라이버랑 운영 체제 핵심 코드가 실제 기계에서 맞물려서 돌아간 거죠. 그러면 예전 모델도 1천000개를 붙여 주면 되지 않을까요? 앤트로픽은 페르마의 마지막 정리로 그 비교를 해봤는데요. 이미 알려진 증명을 컴퓨터가 한 줄씩 검산할 수 있는 코드로 옮기는 과제예요. 연구진이 중간에 증명을 할 명제들을 줬고요. 페이블은 가장 어려운 한 대목에 에이전트 약 750개를 재배치했습니다. 페이블 초기 버전은 약 29시간 만에 최종 증명까지 검산을 통과를 했어요. 그런데 같은 조건에서 에이전트 1천000개를 받은 오퍼스 5.5는 18시간에 26%까지 갔고요. 12시간을 더 줘도 거의 나아가지를 못했습니다. 이게 모델마다 그냥 한 번씩만 진행한 산내 실험이라서 일반화하기는 좀 어려운데요. 그래도 같은 수의 에이전트를 투입을 해도 모델에 따라서 이게 최종 증명에 성공했는지 성공을 못 했는지가 갈렸습니다.

자, 그럼 실제 제품 개발에서도 끝까지 문제를 풀어내는 능력이 중요할까요? 전자 설계 회사인 다이오드는 예전 모델로 기판 배선을 한 95%쯤 끝내도 마지막 몇 가닥이 지나갈 길을 못 찾아서 기판을 못 쓰고는 했대요. 페이블 5.2도 음성비서 기판에서 배선이 엉켰는데요. 이번에는 앞에서 그린 선을 수십차례 걷어내고 다시 그렸습니다. 스피커폰 기판에서는 아예 칩에서 신호가 나오는 핀을 바꿨어요. 출발점을 옮기니까 서로 가로막던 선을 같은 층에 배치를 할 수가 있었거든요. 바이오드가 실제로 제작을 해서 돌입한 시제품 세 가지가 모두 회로 수정 없이 작동을 했습니다. 자, 그러면 기판을 주문하는 쪽이라면 모델이 검토에 몇 달러를 더 쓰는 것이랑 잘못 나온 시제품을 새로 주문하고 기다리는 거 이것 중에서 어떤 쪽이 비싼지 따져 볼 수밖에 없겠죠. 와튼 스쿨의 이산 몰릭 교수는 사전 체험 때 자기가 한 달에 20분만 써도 연 2만 달러를 벌을 만들어 달라고 했어요. 근데 페이블이 찾아낸 고객은 노리터 장비라던가 상하수도 설비를 파는 영업 담당자였습니다.

입찰 공고가 뜰 때쯤이면 어떤 장비를 살지는 이미 정해져 있을 수 있잖아요. 페이블은 신학 카운티 200한 곳에 공개 안건을 읽고요. 어느 공원에 예산이 잡혔고 설계는 어디까지 왔는지 정리를 한 첫 소식지를 만들었어요. 이걸 열어보면 사업별 원문이랑 영업용표까지 있어요. 몰릭은 고객을 받기 직전에 실험을 멈췄습니다. 그래서 확인되는 성과는 첫를 발행할 수준의 견본까지예요. 일본의 한 만화 제작자는 이거보다는 좀 좁은 범위에서 콘티 담당만 오퍼스에서 페이블로 바꿨어요. 초안에서 표정이랑 구도가 분명해지니까 최종 그림을 맡은 다른 AI한테 원하는 장면을 더욱 정확히 전달할 수가 있었다고 합니다. 구글도 대부분의 개발 작업에는 아르고 앤트로픽도 평소 코딩에는 오퍼스를 먼저 거해요. 두 회사 모두 자기의 최상인 모델이 저 콘티 담당처럼 아주 꼭 필요한 자리에 들어가길 바라는 거죠. 저였다면 매주 반복하는 코드 수정은 카본부터 돌려 볼 것 같아요. 전원이 꺼졌을 때도 데이터가 살아남아야 하거나 아니면 한 번 틀리면 기판을 다 다시 찍어야 하는 그런 일들한테는 페이블도 같은 시험대에 올려보고요.

구글이 코딩에서 더 인정받을 수 있는 계기도 거기에 있다고 봅니다. 지난번에 며칠를 쓰고도 못 풀었던 문제를 카본이 해결을 해 준다면 다음에는 막혔을 때 카본부터 열어 볼 수도 있겠죠. 그럼 오늘은 여기까지 패치였습니다.