영상: Claude AI가 650번 실패한 후 인간 기록을 경신하다
채널: Two Minute Papers
길이: 4분 29초
출처: 자막 (자동, 영어)
스크립트:
무슨 일이 일어나고 있을까요? 공개되지 않은 버전의 Claude에게 오랫동안 풀리지 않았던 수학적 문제인 리만 가설(Riemann hypothesis)을 해결하도록 요청했습니다. 간단히 말해 소수(prime numbers)의 분포에 관한 명제입니다. 지독하게 어렵습니다. 지금까지 인간은 아무도 이를 증명한 적이 없습니다. 과연 해결했을까요? 아닙니다. >> [웃음] >> 그렇다면 무엇을 했을까요? 사실, 인간 기록을 넘어서는 관련 경계값(bound) 개선에 성공했습니다. 인류를 한 단계 더 발전시켰다고 할 수 있습니다. 정말 놀랍습니다. 이제 수학적인 측면이 있습니다. 제가 들은 많은 수학자들은 결과에 대해 놀라움과 감명을 동시에 느끼는 것 같습니다.
어떤 사람들은 이것을 엄청난 도약이라고 부릅니다. 저도 직접 검증해 봤지만, 저는 배우고자 하는 학생일 뿐이라 이 수학적인 측면에 대해 더 말할 자격은 없습니다. 하지만 AI 쪽은 정말 놀랍습니다. 제가 매우 흥미롭다고 생각한 세 가지가 있습니다. 첫째, 분명히 정교한 수학적 프롬프팅(mathematical prompting)이 이루어졌죠? 아닙니다. 실제로는 그렇지 않았습니다. 무슨 일이 일어났는지 들어보세요. 먼저, 수학자가 아닌 사람이 이 AI에게 프롬프트를 제공했습니다. 와우. 좋습니다. 처음 650번의 시도는 실패로 끝났습니다. 자, 학자 여러분들, 주목하세요.
인용하자면,
제목: Claude의 놀라운 발견과 LLM 애플리케이션 개발 도구 소개
친애하는 학자 여러분, 이것은 Dr. Károly Zsolnai-Fehér와 함께하는 Two Minute Papers입니다. 전체 기술 논문은 이용 가능하지만, 물론 매우 어렵습니다. 너무 어려워서 AI에게 그 결과를 설명해 달라고 요청했습니다. 그래서 AI가 그렇게 했습니다. 한편으로는 증명의 형식화된 버전도 제공되는데, 이는 자동으로 검증할 수 있습니다. 지금 바로 직접 실행해 볼 수도 있습니다. 이제 제가 다른 곳에서는 자주 듣지 못한다고 생각하는 무언가가 있습니다. 저는 100페이지가 넘는 녹취록과 여정에서 나온 몇 가지 매우 멋진 단편들을 살펴보았습니다.
Claude는 일반적으로 인터넷에 접속할 수 있었지만, 핵심적인 돌파구 과정 중에는 그것을 사용할 필요가 없었습니다. Claude는 처음에는 많은 잘못된 길을 거쳤지만, 그 경험으로부터 학습하고 회복하는 것이 가능했습니다. 그러다가 약 37분간의 침묵 끝에 첫 번째 결정적인 결과가 나타났습니다. 얼마나 긴장되었을지 상상해 보세요. 그리고 갑자기! AI 자체도 이 결과가 의심스러울 정도로 좋다고 생각했습니다. 인용하며 "너무 강력해서 새롭기 어려워 보인다(Too strong to be new)."라고 말했죠. 정말 미친 일입니다. 게다가 Claude조차도 자신의 발견에 놀랐고 처음에는 회의적이었습니다.
사람들은 또한 "어쩌면 Claude 자신이 AI 발전 속도를 과소평가하고 있을지도 모른다"고 말합니다. 하지만, 놀라움을 느끼는 AI요? 물론 이것은 인간적인 놀라움과는 의미가 다릅니다. 이는 단순히 훈련 과정에서 우리로부터 학습한 패턴을 반영하는 것일 뿐입니다. 그럼에도 불구하고, 우리는 이제 문법적으로 말이 되지 않았던 문장들이 갑자기 의미를 갖게 되는 새로운 세상에 살고 있다는 느낌이 듭니다. 그리고 인간의 독창성으로 만들어진 이러한 AI 시스템들이 인류를 앞으로 나아가게 하는 세상 말입니다. 정말 살아있기 좋은 시대입니다. 우리는 LLM(대규모 언어 모델) 시대와 함께 필요한 새로운 도구들을 필요로 합니다. Weights & Biases는 LLM 애플리케이션을 자신 있게 반복적으로 개선할 수 있도록 가벼운 툴킷을 만들었습니다.
트레이스(traces)를 사용하여 앱의 각 단계에서 데이터가 어떻게 흐르는지 디버깅하고, 평가(evaluations)를 사용하여 진행 상황을 측정하세요. 이것이 최고입니다. 지금 wnb.me/papers에서 사용해 보세요. 또는 아래 설명란에 있는 링크를 클릭하세요.