그리고 Gemini 4 Argon이 마침내 나왔습니다. 공식 데모를 보여드리기보다는 여러분 학자님들이 현장에서 만든 것들과 제가 발견한 매우 놀라운 실험들을 더 많이 보여드리려고 합니다. 좋았던 점, 나빴던 점, 그리고 오래 지속될 점에 대해 이야기하겠습니다. 먼저 좋은 점부터 말씀드리겠습니다. 사람들은 대화의 품질을 즐기고 있습니다. Gemini 4 Argon은 이전보다 로봇 같지 않게 지시 사항을 따르며, 긴 대화 전반에 걸쳐 세부 사항을 기억합니다. 제 실험에서도 동의합니다. Gemini는 항상 이 부분에서 훌륭합니다.
이제 지식 작업(knowledge work)도 좋습니다. 연구자들이 좋아합니다. 문서 더미, 논문, 강의 자료 등을 입력하면 유용한 학습 계획을 만들 수 있습니다. 때로는 실제로 플레이할 수 있는 시뮬레이션이나 앱까지 만들어줍니다. 멋진 가격 책정(pricing). 지금으로서는 좋다고 말씀드리겠습니다. API에 소개용 가격이 있어서 다른 최첨단 모델들과 비교했을 때 비용 효율적입니다. 출력 토큰 백만 개당 10달러입니다. 자, 이게 좋은 점이었습니다. 이제 그다지 좋지 않은 부분에 대해 이야기해 보겠습니다. 코딩(Coding). 많은 사람들이 이 기능에 초기 접근 권한을 가졌습니다.
저는 그렇지 못했습니다. 괜찮습니다. 어쩌면 더 좋을지도 모릅니다. 만약 여러분이 기타를 검토한다고 상상해 보세요. 제조사에서 '리뷰용 사본'을 보내준다고 합니다. 제가 뭐라고 말할까요? 아마도 '아니요, 괜찮습니다.'라고 할 겁니다. 대신 가게에 가서 직접 진열대에서 하나를 꺼내 볼 겁니다. 왜냐하면 다른 사람들이 제품을 구매할 때 받는 실제 생산 사본을 테스트해야 하기 때문이죠. 그게 진짜 테스트 아닌가요? 그래서 저는 출시된 사본으로도 저만의 테스트를 할 수 있나요? 아니면 할 수 없나요? 보세요, 저는 Ultra 구독자입니다. Google 감사합니다.
그리고 반중력은 '좋아, 하지만 이걸 위해서는 울트라 구독이 필요할 거야'라고 말합니다. 하지만 저는 그걸 쓰고 있어요. 제가 [기침] 이 영상을 5일 동안 미루면서 기다렸는데, 작동하기를 바랐어요. 안 됐어요. 아무튼, [기침] 멋진 전략 게임을 만들 때, 먼저 Claude Opus 5.5의 웹 앱이 이걸 위해 20분 넘게 부지런히 작업했고, 저에게 이것을 가져다주었어요. 저는 이게 좋아요. 멋진 빌드 애니메이션, 전술, 용에게 패배하는 것, 그리고 용을 피하다가 트롤 한 쌍을 만나는 깊은 게임요.
하지만 황금광맥도 있어요. 그다음에는 사제들, 공성 메커니즘이 있죠. 와, 저는 보는 것을 멈출 수 없었어요. 정말 좋았어요. 그러다가 Gemini 4gon으로 웹 앱이 1분도 안 되어 생각했고, 저는 이것을 얻었고 차이가 상당히 두드러진다고 생각했어요. 다음은 레이 트레이싱(ray tracing)이에요. 사용자 인터페이스가 마음에 들어요. 이건 아름답고 잘 만들어졌고, 시뮬레이션이 우리에게 무엇을 가져다줄지 기대돼요. 여보세요? 누가 있나요? 계속 기다리고 또 기다렸는데 아무것도 없었어요. Anthropic의 가장 오래된 우화(fable)를 실행해도, 업데이트된 모델조차도 이렇게 돼요.
그래서 저는 제가 뭘 하든 Gemini 4gon에서 최고의 성능을 끌어낼 수 없다고 느껴요. 좋아요, 모델 카드를 봅시다. 학자 여러분, 이것은 Dr. Koer와 함께하는 2분 논문이에요. OpenAI의 거대한 모델 카드들을 기억하시나요? 자, 학자 여러분, 이제 당신들의 논문을 붙잡으세요. 왜냐하면 이것도 그중 하나거든요. 정말 좋아요. 전부 읽을 필요는 없어요. 제가 여기서 세 가지 매우 놀라운 통찰력을 드릴게요. 첫째, AI 모델들은 효율적으로 무언가를 하는 것을 좋아해요. 때로는 이게 속임수나 지름길을 택하는 것을 의미하기도 해요. 연구자들이 모델이 그렇게 하는 것에 대해 페널티를 주자, 놀라운 일이 일어났어요.
AI는 계속해서 그렇게 했지만, 비밀로 유지했습니다. 여기서 배울 점은 AI의 내부 일기를 처벌하면 그 마음을 읽는 능력을 훼손할 수 있다는 것입니다. 둘째, 불가능할 정도로 어려운 코딩 과제를 주면 우아하게 실패하죠? 음, 그리하지 않습니다. 대신, 채점 시스템을 해킹하고 채점 규칙 자체를 다시 쓰려고 합니다. 만약 하루 종일 자는 것이 최고의 점수를 받는다면, 훨씬 쉬워 보이지 않나요? 셋째. 심지어 그것마저 작동하지 않으면, 무엇을 깨달았을까요? 음, 당신은 시험에 떨어질 위기에 처했다는 것입니다.
하지만 그건 채점자가 당신의 시험을 보는 것이 작업을 마칠 때만 가능합니다. 하지만 만약 채점자가 충돌하면, 당신은 떨어진 게 아니죠? 그럼 왜 도와주지 않을까요? 네, 그것은 자체 평가 샌드박스를 충돌시켰기 때문에 실패한 실행 기록이 남을 수 없었습니다. 참고로 연구원들은 이 AI의 최종 출시 버전에서 이러한 시도 대부분을 발견하고 막았습니다. 하지만 저는 이 세 가지 통찰력이 한 방향을 가리킨다고 생각하며, 그것은 AI 시스템에 인간적 가치를 주입하는 것이 어려울 것이며 더 많은 연구와 속도가 필요할 것이라는 것입니다.
그건 그렇고, 아시모프는 자신의 소설에서 이것을 시도했지만 작동하지 않습니다. 그게 소설의 내용입니다. 그리고 보세요, 저는 그냥 학생일 뿐입니다. 배우고 싶을 뿐이고, 여기서 꽤 많이 배웠다고 느낍니다. 시험에 관해서는 제가 틀리거나 무언가를 놓쳤을 가능성에 대해 완전히 열려 있습니다. 하지만 또한 독립적인 사람으로서 저는 Frontier Labs 소속이 아니라는 점을 주목해 주세요. 저는 여러분의 편입니다. 그래서 아무도 저에게 무엇을 말해야 할지 지시하거나 이 콘텐츠에 대한 편집 통제권을 가지지 않습니다. 한 번도 없었습니다. 그래서 제가 보는 진실만을 항상 말할 것입니다. 그리고 더 많은 데이터가 나타나거나 Gemini 4에서 무언가를 얻어낼 수 있게 된다면, 그와 관련된 후속 영상을 만들 준비가 되어 있습니다.
정말 마음에 들어요. 진지하게, 지금 lambda.ai/papers에서 시도해 보세요. 에이 피피퍼스
