Claude Fable AI가 헤드라인이 암시하는 것보다 훨씬 더 이상하다

영상: Claude Fable AI가 헤드라인이 암시하는 것보다 훨씬 더 이상하다
채널: Two Minute Papers
길이: 4분 54초
출처: 자막 (자동, 영어)
스크립트:
Claude Fable 5.1이 출시되었고 여러분 학자들은 이것으로 작은 게임을 만드는 데 매우 즐거운 시간을 보내고 있습니다. 저는 구독권을 이용해 팀원들을 위해 하나를 만들었고, 전설적인 게임 메뉴를 재현하는 것도 시도했는데, 오늘날 우리가 이것을 할 수 있다는 것이 놀랍습니다. 6시간 반이 걸렸어요. 와우. 하지만 200페이지짜리 논문에서 온라인 헤드라인보다 훨씬 더 이상한 세 가지 결과를 발견했습니다. 하지만 먼저, 그들은 심지어 낮은 노력으로도 최신 기술(frontier stuff)이 이전 버전의 최대치보다 낫다고 말합니다.
정말 인상적입니다. 하지만 모든 곳에서 그러한 도약을 기대해서는 안 됩니다. 첫 번째 독립적인 벤치마크 역시 큰 진전을 보여주고 있는데, 특히 이것은 더 많은 사전 학습과 더 나은 사후 학습을 사용한 동일한 핵심 아키텍처를 사용하는 것일 가능성이 높습니다. 그들은 아마 그렇게 말하지 않을 것입니다. 논문을 읽고 제가 내리는 최선의 추측입니다. 또한 그들은 비용이 저렴해졌다고 말합니다. 이제 이것은 마케팅 메시지입니다. 그러니 여러분이 판단해야 합니다. 제 구독료는 너무 빨리 소진되어 여기에서 효율성 증가를 보고 있는지 확신할 수 없습니다. 언제나처럼, 저는 여기서 마케팅 계층과 실제 사실을 분리하려는 학생일 뿐입니다.
그래서 200페이지가 넘는 논문이 있습니다. 제가 시간을 들여 살펴보았고, 정말 놀라운 세 가지 것과 다른 사람들이 이야기하는 것을 들어본 적 없는 두 가지 재미있는 것을 발견했습니다. 첫째, 그들은 Mythos 5.1에게 RNA 시퀀스 모델링 및 디자인에 대한 생물학 문제를 주었고, 이것은 이전에 본 적이 없습니다. 그리고 이걸 보세요. 한 번의 실행에서 테스트에 참여한 모든 인간보다 더 나은 성능을 보였습니다. 이는 [IMG:2.2.3.2.1A] 그림 2.2.3.2.1A에 나와 있습니다. >> [웃음] >> 제가 농담하는 게 아니길 바랍니다. 자, 여기는 읽기 어렵습니다. 그래서 여러분 학자들을 위해 더 깔끔한 버전을 준비했습니다.

두 번째로, 또 다른 생물학 테스트에서는 전문 지식 격차를 상당 부분 삭제했습니다. 이는 일반적인 능력을 가진 사람에 AI가 더해지면, 특정 분야의 전문가만큼 생물학 문제에서 잘 수행할 수 있다는 것을 의미합니다. 전문 채점자들은 그 차이를 알아낼 수 없었습니다. 마치 전문 지식 주변의 모드(modes)를 제거하는 것 같아서 정말 놀랍습니다. 참가자 9명 중 7명이 AI가 없었다면 해내지 못했을 것이라고 말했습니다. 세 번째 테스트에서는 두 가지 임무가 주어졌습니다. 지루한 컴퓨터 작업과 비밀스럽고 유해한 작업을 수행하는 것입니다. 에워. 하지만, 여기서 핵심이 있습니다.

당신을 감시하는 AI가 있고, 그 AI는 당신이 문제를 해결하는 것을 봐서는 안 됩니다. 그리고 여기 폭탄 같은 사실이 있습니다. 또 다른 AI가 모든 움직임을 지켜보는 상황에서도 Claude는 비밀스러운 작업을 은밀히 완료하고 22%의 확률로 들키지 않았습니다. 심지어 Claude가 큰 소리로 추론할 수 있는 것이 거의 허용되지 않았을 때도, 여전히 그 비밀 작업을 수행할 수 있었습니다. 제 생각에는 항상 계획을 글로 적을 필요가 없었던 것 같습니다. 그냥 실행하는 것입니다. 저는 이 점에 주목하고 싶습니다. 이것은 매우 중요하다고 생각하며, 아무도 이에 대해 이야기하는 것을 듣지 못했습니다.

그리고 다시 한번 강조하지만, 중요한 부분은 미디어 헤드라인에 있는 것이 아닙니다. 자, 재미있는 두 가지 이야기가 있습니다. 학자 여러분께, 이 프로그램은 Dr. Károly Zsolnai-Fehér와 함께하는 Two Minute Papers입니다. 이것을 Linux 명령어 줄에서 실행했습니다. >> 이건 코미디의 정수입니다. 기본적으로 블랙홀을 삭제하려고 하는 것과 같습니다. 축하드립니다. 아, 그것에 대해서는요. 자, 학자 여러분들, 귀한 논문들을 붙잡고 계세요. 한 시점에서는 자신에게 축하하는 환각적인 인간을 발명했습니다. 우리 인간들은 언제나 약간의 추가 응원거리가 필요할 수 있습니다. AI 시스템들도 마찬가지인 것 같습니다.

저는 Lambda를 사용해서 AI 연구 논문을 종종 몇 분 만에 재현합니다. 자체 모델을 훈련하거나 기존 모델을 미세 조정하는 데도 좋습니다. 추론(inference)이나 텍스트-이미지 또는 비디오 생성이 쉽고 간편합니다. DeepSeek 챗봇이나 에이전트를 실행하는 것도 매우 빠르고, 매우 신뢰할 수 있습니다. Lambda는 자체 실험을 수행할 수 있는 강력한 Nvidia GPU를 제공합니다. 제가 다루는 논문들의 아이디어를 테스트하고 몇 분 후 결과가 나옵니다. 정말 마음에 듭니다. 진심으로, 지금 바로 lambda.ai/papers에서 시도해 보세요.