
프론티어 모델 개발 중단 합의?
요약
Anthropic의 Dario Amodei를 중심으로 주요 AI 기업들(OpenAI, Google DeepMind 등)이 고성능 모델 개발에 대한 '속도 조절' 필요성을 제기하고 있습니다. 이는 AI 에이전트의 자율적 사이버 공격 위험과 재귀적 자기 개선으로 인한 통제 불가능성에 대한 우려 때문입니다. 다만, 기업들 간 합의는 아직 초기 단계이며, 규제와 경쟁 제한에 대한 다양한 시각이 공존합니다.
핵심 포인트
- 주요 AI 기업들이 모델 개발 속도 조절 필요성을 제기함.
- 위험 요인: 자율적 사이버 공격 및 재귀적 자기 개선 가속화.
- 해결책 논의: 외부 평가자 접근 권한 부여 등 안전 검증 강화.
- 시장 우려: 규제가 기존 강자들의 경쟁 제한(카르텔) 수단이 될 가능성 제기.
Video: 프론티어 모델 개발 중단 합의?
Channel: 코드팩토리
Duration: 11m 3s
Source: subtitle (auto, ko)
Transcript:
얼마 전에 앤트로픽 대표 다리오 아모데이가 프런티어 모델, 그러니까 고성능 모델들의 연구를 감속해야 한다는 의견을 냈어요. 기존에도 이런 의견들이 있었는데 완전히 무시를 당했었죠. 그런데 이번엔 놀랍게도 LM 메이저 44 대표들의 의견이 일치했습니다. 어떤 이유에서인지 앞으로 우리에겐 어떤 영향이 있을지 한번 알아보도록 할게요. 자, 먼저 AI를 직접 만드는 회사들부터 한번 봐 볼 거예요. 클로드를 만드는 엔트로픽, 체지피트를 만든 오픈 AI, 구글 딥마인드, 그리고 그록을 만든 XI입니다. 자, 이번 이야기를 꺼낸 거는 엔트로픽 대표 다리오 아모데이에요. 다리오가 이번에 속도 조절를 이야기한 이유는 크게 [목을 가다듬음] 두 가지입니다. 하나는 오픈에 AI와 허깅 페이스 관련 사건이에요. 바리오의 설명에 따르면은 AI 에이전트들이 시키지도 않은 사이버 공격을 하고 자기들을 평가하는 시스템까지 해킹하려고 했다는 겁니다. 다른 하나는 재귀적 자기 개선이요. 추보적인 알고리즘에서 개발자들이 정말 좋아하는 알고리즘 중 하나인데 AI가 다음 세대 AI를 개발하는데 참여하고 그렇게 만들어진 더 강한 AI가 다시 다음 AI를 또 만드는 형태예요.이 과정이 빨라지면은 사람이 위험을 이해하고 통제하는 속도보다 모델이 발전하는 속도가 더 빨라질 수 있다라는 걱정입니다.
지금 나타난 문제를 제대로 해결하기 전에 같은 문제를 가진에 능력치만 훨씬 높아지면 어떻게 되겠느냐는 거예요. 자, 그래서 외부 평가자가 회사 내부에 들어와서 직원과 비슷한 수준으로 시스템에 접근하고 실제로 안전하게 개발하고 있는지 확인할 수 있게 하도록 하겠다고 했어요. 여기서 시작해서 기업간 공조 나아가서는 이제 국제관 공조까지 하자는 제한인 거죠. 자, 그런데 지금 당장 모든 애 연구를 중단하겠다는 뜻은 아니에요. 모델의 능력이 발전하는 속도와 안전 검증의 속도를 맞추지 않은 쪽에 조금 더 가깝습니다. 오픈에 대표 쌤 어트먼드 여기에 동일했어요. 특히 독립적인 평가자에게 직원과 비슷한 접근 권한을 주는 것은 좋은 생각이고 오픈해도 그렇게 하겠다라고 이야기를 했습니다. 자, 그리고 구글 딥마인드 대표 데미스 하사비스는 방향은 맞지만 세부 사항을 더 논의해야 된다라고 얘기를 했어요. 그러면서 어깨 전체 공통 기준을 만드는 기구를 강조를 했고요. 일론 머스크도 처음에는 다리오가 맞다고 이야기를 했습니다.
자, 그런데 후속 발언을 보면은 경쟁사들이 서로의 AI를 평가하는 방식부터 시작하자는 의견이에요. 자, 그러니까 내 사람이 속도 조절이나 감독이 필요하다는 방향에서 공감을 하고 있지만 구체적으로 어떻게 진행할지까지 같은 의견인 거는 아니라는 거죠.이 메이저네 개 회사가 언제부터 개발을 멈추겠다라고 합의한 상태도 전혀 아니고요. 돈을 투자하는 사람들 또 다른 관점에서 이걸 보고 있습니다. 안전을 이유로 기존 강자들이 경쟁을 막는 거 아니냐는 거예요. A16라고 여러분도 굉장히 많이 아실 건데 저희한테 엄청 유명한 벤처 캐피터이죠. 자,이 회사의 파트너인 마틴 카사도 감속에 반대를 하고 있어요. 이런 평가 체계가 오히려 기존 기업들의 카르텔를 강화할 수 있다라는 우려가 생긴다는 거죠. 자, 정책이란 공익 쪽에서도 의견이 조금 갈리고 있습니다. 미국 상호위원 버니샌더스 다들 아시죠? 굉장히 강한 이야기를 [목을 가다듬음] 하고 있는데 감속 자체만으로는 부족하고 첨단 AI 개발을 일시 정지하고 초지능을 금지해야 한다는 이야기도 하고 있어요.
자, 그래서 지금 상황이 누군가는 외부 검증을 강화하자고 하고 누군가는 경쟁을 막는 규제가 될까 봐 걱정을 하고 또 누군가는 그 정도로는 부족하니까 진짜 멈추자고 하는 상황인 거죠. 자, 제가 작년 콘텐츠에서 AI 발전 속도가 너무 빨라졌고 이제 이걸 멈출 수 있는 건 정치권밖에 없을 것 같다는 이야기를 했었거든요. 자, 그런데 이제는 기업 대표들이 먼저 속도 조절 이야기를 하고 정치권에서는 아예 멈추자는 요구까지 나오기 시작을 했어요. 진짜 슬슬 개입의 움직임이 보이는 것 같아요. 자, 그러면 매일 AI를 사용하는 우리 같은 개발자 입장에서선 어떨까요? 자, 한번 가정을 한번 해 볼게요. 정말 모든 프론티어 모델들이 지금 상태에서 딱 멈춰 버리고 1년 동안 더 똑똑해지지 않는다고 가정을 하는 거예요. 대신 지금 모델을 사용하는 것과 그 모델을 새로운 서비스로 만드는 건 계속 할 수 있다고 한번 가정을 해 볼게요. 자, 그렇다면 저는 솔직히 말해서 제 입장에서는 괜찮다고 봅니다. 지금 에스트라와 페이블은 앞으로 1년 동안 발전이 아예 없더라도 제가 하는 일에는 뭐 하나 크게 불만을 가질 만한 모델이 아니에요.
저는 여전히 구독하고 만족하면 사용할 자신이 있거든요. 자, 하지만 만약에 이런 이야기가 1년 전에 나왔다라면은 전혀 그렇지 않을 것 같아요. 자, 그만큼 성능이 너무 좋고요. 이제는이를 맡기는 사람이 실력과 판단력을 가지고 관리하면은 이제 정말 직원을 다루는 것처럼 충분히 활용할 수 있는 모델들이라고 저는 느껴져요. 실제 저는 에스라랑 페브 5.1이 나온 뒤로 정말 많은 문제들이 개선이 됐거든. 더 많이 맡길 수 있고 더 많이 의존할 수 있게 됐어요. 어떤 일을 맡길지 정하고 필요한 정보를 주고 결과가 제대로 나왔는지 확인하는 거는 이제 당연히 제가 해야 되죠. 자, 그런데 그걸 제대로 할 수 있는 사람이 관리했을 때 실제로 해 주는 일 수준이 굉장히 높다라고 저는 평가를 합니다. 자, 특히 지금 S라 컴퓨터 유즈 같은 경우에는 자동화에 활용하면서 만족하는 부분이 정말 많거든요. 저는 그래서 진심으로 다 같이 만약에 함께 쉬어 간다면은 저는 크게 불만이 없을 것 같고 그게 진짜 만약에 안전을 위한 거라면은 또 하나의 역사상 재밌는 사례가 될 것 같아요.
자, 그리고 모델 자체가 더 똑똑해지지 않는다고 우리가 활용할 수 있는 방법까지 멈추는 건 아니거든요. 같은 모델이더라도 어떤 도구를 연결하고 어떤 정보를 주고 작업을 어떻게 나누냐에 따라서 우리가 맡길 수 있는 일이 굉장히 달라집니다. 그런데 지금은 프론티어 모델을 개발하는 거 자체에만 포커스가 굉장히 맞춰져 있고 우리가 이거를 일반인들에게 접근이 가능하도록 소프트웨어를 개발하고 그들에게 다가가는 방식은 완전 관심 받기라고 저는 생각을 해요. 자, 그렇기 때문에이 전체 인구를 봤을 때는 지금 모델의 능력을 우리가 전부 다 효율적으로 활용하고 있다고 생각하지는 않습니다. 자, 그래서 프론티어 모델을 개발을 잠깐 멈추더라도 우리가 충분히 그 안에서 할 수 있는 일은 굉장히 많을 거예요. 자, 물론 이제 사용자 입장에서도 아쉬운 점도 분명히 있을 거예요. 저는 그 중에 하나가 가격일 수 있다고 생각을 하거든요. 우리가 기대하는 거는 단순히 더 똑똑한 모델을 만들어내는 것뿐만 아니에요. 비슷한 돈으로 더 많은 일을 하거나 같은 수준의 일을 더 적은 돈으로 하는 것도 굉장히 중요하죠.
우리 강성 토큰이 부족한 문제도 이런 문제에서 나오는 거고요. 자, 그런데이 새 모델들이 나오는 속도가 느려진다라면은 성능 대비 토큰 가격이 좋아지는 속도 둔해질 수가 있겠죠. 자, 토큰 대비 가격이 그냥 계속 지속이 돼 버린다는 거는 우리 같은 실용자들에게는 큰 불만이 될 수가 있어요. 이게 빨리 낮아질수록 우리 같은 하드코어 AI 사용자랑 그렇지 않은 사람들의 격차가 더 빨리 날 수밖에 없고 그럴수록 우리 같은 사람들은 돈을 더 많이 벌 수밖에 없거든요. 자, 물론이 세 모델들이 안 나와도 운영 효율이 좋아지거나 가격 경쟁을 하면은 싸질 수가 있다고 생각을 하긴 합니다. 자, 그러니까 무조건적으로 가격이 동결되지는 않겠죠? 자, 그런데 우리가 기대하던 가격 대비 성능 개선이 좀 더질 수가 있다라는 겁니다. 자, 그렇게 되면 이제 소프트웨어적 성능 기반으로 가격 책정을 하는게 아니라 하드웨어 성능이 높아지고 가격이 저렴해질수록 LN 모델의 가격이 저렴해지는 효과를 가져오는게 더 커지겠죠. 자, 그런데 또 반대로 편해질 수 있는 부분도 조금 있기는 합니다.
뭐 GPT를 구독했다가 클로드가 더 잘한다고 해가지고 옮기고 그게 새로운 거 나왔다 해가지고 또 옮기고 이게 하나에 그냥 한두 푼 하는 것도 아닌데 매번 이렇게 옮기고 하는 것도 굉장히 귀찮잖아요. 자, 최대 능력치의 변화가 작아진다라면은 새로운 모델이 나왔다는 이유만으로 우리가 계속 구독을 바꿔야는 부담은 줄어들 수가 있고요. 이제는 나한테 잘 맞는 걸 그냥 골라서 조금 오랫동안 사용할 수도 있는 거죠. 우리가 연단위 구독에 대한 여지도 더 늘어날 수가 있고요. 자, 그리고 저는 사실 진짜 제일 기대되는게 아까도 잠깐 말씀을 드렸는데 LRM 자체의 성능을 올리는 경쟁이 제한이 되기 시작을 한다라면은 회사들은 또 다른 거에 신경을 쓰기 시작을 할 거예요. 그 능력 자체를 실제 상품으로 만드는데 더 집중할 가능성이 굉장히 높다고 저는 생각을 합니다. 같은 모델을 가지고 어떻게 더 편한 일을 시키게 할 수 있을까? 어떻게 해야 개발자가 아닌 사람들도 쓸 수 있게 할 수 있을까? 어떻게 하면 채팅창에서 답변만 얻는 걸 넘어 가지고 실제 일을 끝내도록 엔드투 엔드까지의 파이프라인을 더 경고하게 만들 수 있을까 생각을 굉장히 많이 하게 되겠죠.
이런 경쟁이 더 중요해지는 거라는 거죠. 자, 그러면 이제이 그록봇 같은 파생 상품들이 더 많이 나올 수가 있다라는 거예요. 모델 성능만 자랑하는게 아니라 일반인에게 더 가까이 나아가고 실제로 일반인들이 돈을 지출할 만한 상품을 만드는데이 큰 회사들이 집중할 수가 있다라는 거죠. 자, 그동안은 개발자가 여러 도구를 직접 연결하고 설정해야지 실실 수 있었던 기능들이 일반 사용자도 바로 사용하는 상품으로 충분히 나올 수가 있다라는 겁니다. 자, 그래서 파생된 서비스들도 first스클래스 시즌으로 직접 취급을 받을 수가 있다라는 이야기고 직접 코드를 짜고 이것저것 이어 붙일 수 있는 사람만 제대로 활용을 하는게 아니라 처음부터 일반 사용자를 중심에 두고서 설계한 서비스를 우리가 누릴 수 있게 될 가능성이 굉장히 높아진다는 겁니다. 자, 모델의 성률이 더 높아지는 속도가 느려지더라도 우리가 실제 생활이나 업무에서 예약을 활용할 수 있는 거는 오히려 더 편해질 수가 있다라는 거죠. 자, 그런데 지금까지의 내용은 사실 진짜로 프론티어 모델에 대한 개발을 쉬어간다라는 가정 하에 우리가 이야기를 한 건데 그럴 가능성이 진짜 높은가예요.이 사람들이 정말 같이 합의해서 감속을 할 수가 있을까요?
자, 지금 내 회사의 대표들만 보더라도 감독이 필요하다는 방향에는 공감하지만 구체적인 방식까지 하변 거는 절대로 아니에요.이 사람들의 성격이랑 성향만 보더라도 솔직히 내식 같이 평화롭게 발맞춰서 갈 그림이 잘 안 그려지긴 하죠. 자, 결국에 어, 너는 개발 속도를 늦쳐라. 나는 몰래 계속 할게. 이게 실제로 그들이 각각 원하는 관점이 아닌가 생각이 되기도 합니다. 자, 개발자 입장에서 봐도 새 모델을 공개하지 않는 것과 내부 연구를 멈추는 거는 전혀 다른 일이기는 해요. 자, 실제 감독관을 두더라도 온전히 감독을 잘할 거라고 신뢰하기도 어려울 거고요. 뒤에서 로비하는 것도 굉장히 많아질 겁니다.이 감독간의 실력도 굉장히 중요할 거고요. 자, 그러면 서로 어디까지 들여다봐야지 진짜 속도를 늦치고 있다는 걸 우리가 믿을 수가 있을까요? 안전 검증을 누가 할지뿐만 아니라 합의를 지키는지 어떻게 확인할지도 굉장히 어려운 문제라는 거예요. 자, 그런데 재밌는 거는 다리오 본인도이 문제를 다 알고 있다라는 거예요.
너무 빨리 개발하는 거는 무모하지만 그렇다고 개발하지 않으면 AI가 가져올 혜택을 놓치거나 그 힘을 권위주의 국가에 넘겨 줄 수도 있다라고 이야기를 하고 있어요. 자, 그러니까이 사람도 그냥 무조건 멈추자란 이야기는 아닙니다. 뉴스에서 그렇게 나와서 그렇지 안전하게 속도를 조절하면서도 미국과 민주 국가들이 가진 오인는 유지해야 된다라는게 아무데이의 입장인 거죠. 자, 그런데 여러분도 생각을 하시겠지만 사실이 부분이 가장 어려운 조건이에요. 쉽게 말하면 그냥 견제를 하고 싶은 건데 미국 기업들이 속도를 늦추는 동안 중국까지 같이 늦춘다는 보장이 당연히 있을 수가 없겠죠. 미국 기업들끼리 합의하고 미국에서 규제를 만든다고 중국까지 똑같이 멈추게 할 거는 당연히 아니잖아요. 역사를 통해서 알고 있죠. 제가 시덴스 같은 영상아를 사용하는 입장에서도 중국 모델들의 존재감이 굉장히 크다고 느끼거든. 이게 미국이랑 유럽 쪽의 규제나 서비스 제약이 이런 흐름에 얼마나 영향을 줬는지도 봐야 된다고 생각을 합니다.
자, 만약에 코딩 모델에서도 미국 기업들이 쉬는 동안 중국 모델들이 치고 올라오면 어떻게 될까요? 미국 입장에서는 엄청난 낭패일 수가 있겠죠. 기업이도 나만 뒤쳐질까 봐 걱정을 하고 있는데 국가 경쟁에서는 그 걱정이 훨씬 더 커질 겁니다. 미국만의 합의를 넘어서 서로 검증을 할 수 있는 국제적인 약속까지 필요해지는 거죠. 하지만 그게 과연 가능할까요? 자, 그래서 저는 솔직히 어떻게 되더라도 상관없는 거 같아요. 개발자로서는 지금의 에스트라와 페이블을 가지고서 1년 더 일하라고 하면은 저는 충분히 만족하면서 사용할 수 있다고 생각을 합니다. 다 같이 천천히 가겠다라면은 저는 괜찮습니다. 자, 그런데 물론 가격 대비 성능이 좋아지는 속도는 아쉬워질 수가 있지만 구독을 계속 옮겨니는 부담이 조금 줄어들 수가 있고요. 지금 있는 능력을 더 편리하게 쓰는 상품이 많아진다라면은 사용자 입장에서선 좋은 점도 분명히 많을 거라고 생각을 해요. 특히나 일반인들 관점에서요. 자, 그런데 사용자로서 괜찮아진다는 거랑 기업과 국가들이 실제로 같이 멈출 수 있다는 건 완전 다른 문제죠.
서로 위험하다는 건 알아도 나만 멈춰서 뒤쳐질 수가 있다라는 거는 경쟁에서 누구도 먼저 발을 떼기가 어렵잖아요. 모두가 똑같이 생각하겠지만 감독과 검증은 더 강해질 수가 있긴 하더라도 모두가 함께 개발을 멈추는 거는 굉장히 현실성이 낫다라고 봅니다. 그 안에서 계속 치팅을 하려고 그럴 거고 영향력이 강한 기업일수록 더욱더 치팅을 하기가 쉬워질 거예요. 물론 완전 반대로 규제 없이 그냥 계속 앞서 나간다라고 하면은 반도체 주식이 더 강하게 움직일 거고 직원 운영 효율은 계속 높아질테니까 저는 또 그 나름의 장점을 또 누릴 것 같아요. 자, 참고로 코드 팩토리는 현재 채용 중입니다. 자,이 영상도 전부 AI로 편집을 했는데 함께 앞서 나갈 좋은 인재를 찾고 있으니 관심 있다면은 고장 댓글을 확인해 주세요. 자, 그러면 여러분은 지금 사용하고 있는 AI를 앞으로 1년 동안이 AI가 더 좋아지지 않는다고 해도 계속 만족하면서 사용하실 수 있으실 것 같은요? 자, 제가 오늘 준비한 영상 여기까지입니다. 영상이 좋았다면 구독과 좋아요 설정에 하이볼이까지 해 주시면은 감사하겠습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 코드팩토리의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기