Karpathy의 펠리컨
요약
AI 모델의 성능 평가 방식과 물리적 세계 이해 능력에 대한 비판적 시각을 다룹니다. 단순 이미지 생성을 넘어 공간 추론과 물리 법칙을 이해하는 새로운 평가 과제의 필요성을 강조하며, LLM의 코드 생성 능력이 실제 물리적 직관을 증명하는지 분석합니다.
핵심 포인트
- 기존 펠리컨 과제는 평가 지표로서 포화 상태에 도달함
- 단순 코드 생성을 넘어 공간 추론과 물리적 이해를 요구하는 과제가 필요함
- LLM의 three.js 생성 능력은 실제 물리적 지능을 완전히 대변하지 못함
- SVG와 애니메이션 생성을 통한 새로운 시각적 표현 가능성 제시
새 모델을 평가하는 방식 자체는 나쁘지 않지만, 자전거 타는 펠리컨 과제가 이미 소진됐다는 암시는 우려스러움
AI 콘텐츠에 수년간 노출되면서 속도와 생산량에 대한 기대는 크게 높아진 반면 품질 기준은 낮아졌고, 어설픈 펠리컨을 보고 문제가 해결됐다고 선언하는 듯함
펠리컨 시험만으로도 여전히 모델을 잘 평가할 수 있는데, 굳이 토큰을 낭비해 반지의 제왕을 렌더링할 이유가 없음
사람이 아무 도움 없이 원시 SVG로 자전거 타는 펠리컨을 한 번에 그리는 모습도 보고 싶음
결과물이 형편없다는 점이 오히려 핵심임
모델은 단순 이미지 생성을 넘어 물리 세계 이해를 더 잘 드러내는 새로운 평가 과제로 이동했고, 이런 과제를 통해 향후 발전을 주관적·정성적으로나마 측정할 수 있음
여전히 자전거 프레임의 작동 방식, 특히 조향 부분을 제대로 이해하지 못하는 것 아닌가 싶음
1년 전에는 대부분의 모델이 펠리컨 생성에 어려움을 겪어 좋은 결과가 뛰어난 모델의 신호였지만, 이제는 평가가 포화되어 흥미를 잃었음
좋은 새 평가 과제는 초기 성능이 형편없고 개선 여지가 커야 함. 이 과제는 기존 영상 생성 파이프라인이 아니라 공간 추론과 제1원리로 애니메이션을 구성해야 하도록 의도적으로 어렵게 설계됐으며, 1년 전 대부분의 모델에 SVG 생성이 분포 밖 과제였던 것과 비슷함
결국 생각 없는 설계로 아무도 원하지 않는 지극히 평범한 결과물을 얼마나 잘 대량 생성하는지 평가하는 또 하나의 척도일 뿐임
형편없기는커녕 매력적인 화풍이며, 책 전체가 이런 식으로 제작된다면 끝까지 볼 의향이 있음
문서 페이지의 대표 영역을 꾸미려고 LLM과 함께 영화 Back to the Future의 DeLorean 타임머신을 준 3D 애니메이션으로 제작했음
상당한 맞춤 조정이 필요했고 일부 동작을 바로잡기 위한 조정 화면도 만들었지만, 재미가 있어 어떤 영화 장면 설명이든 받을 수 있도록 일반화함. 상세 설명과 영화 스틸을 자동으로 찾고 사용자가 제공한 이미지도 받을 수 있음
시험 장면은 Apocalypto의 Gauntlet 장면이었으며, 정밀도는 낮아도 투창 등의 물리가 제법 그럴듯한 인상적인 시퀀스를 생성함. 수직 이륙과 시속 88마일 시간여행이 들어간 문서는 https://contextify.sh/docs에서 볼 수 있고, 관심이 있다면 Apocalypto 장면도 공유 가능함
애니메이션을 만든 제품이 macOS 전용인 점은 아쉬움. macOS 점유율보다 훨씬 폭넓게 통할 제품이니 쉽게 얻을 수 있는 기회를 놓치지 말아야 함
아버지가 자비 출판한 책이 스스로 제작되는 영화가 되는 날을 기다리고 있어 꼭 보고 싶음
SVG가 PNG·JPG뿐 아니라 영상까지 대체할 가능성을 보여줌
내 경험상 LLM에는 아직 SVG 생성이 너무 어려움
Fable에 JPEG를 주고 SVG로 그리게 하면서, 결과를 이미지로 렌더링해 스스로 검사하는 반복 과정까지 사용했지만 결과는 다섯 살 아이의 그림처럼 보였음
Anthropic 모델은 three.js 코드 생성을 잘하도록 특별히 훈련된 것이 꽤 분명해 보임
현재 AI 코드 생성 수준을 고려하면 three.js 모델과 애니메이션은 해당 코드를 작성하는 능력 외에는 별다른 지표가 되지 않음. Fable 출시 당일 Twitter 시연도 거의 전부 three.js였고 보기에는 좋지만, 에르되시 증명과 마찬가지로 LLM이 내 자동판매기를 구동할 수 있는지는 알려주지 못함
추상적이고 모호한 문학 문단 하나를 3D 애니메이션으로 바꾸려면 공간 관계·직관적 물리·일상 사물에 관한 막대한 암묵지와 3D 변환 및 컴퓨터 그래픽 수학이 필요함
이를 단순히 three.js 코딩 능력만 보여준다고 보는 것은 터무니없음
이번 주말 게임을 three.js에서 ogl.js로 옮겨 상호작용 가능 시점을 최적화했음
페이지 용량을 약 600KB에서 50KB로 줄였고, 4G 모바일에서 수 초 걸리던 로딩을 약 0.5초로 단축함. 주로 Claude Code의 Opus 5와 Sonnet 5를 사용했는데 WebGL, 페이지 로딩 시간, 렌더링 속도에 대한 이해가 분명했고 내장 브라우저로 변경 효과와 ogl.js 차이를 직접 측정할 수 있었음
게임(https://tinyslots.ooer.com)의 완성도가 낮은 것은 내 책임이지만, 브라우저 3D 제작과 페이지 속도 최적화에서 Claude 모델은 매우 인상적이었음
Anthropic이 데이터베이스 백엔드, 금융 서비스, 물류 시스템, 사용자 인터페이스처럼 경제적 가치가 있는 분야에서는 발전하지 않을 테니 걱정할 필요 없다는 식의 낙관은 위험함
이는 좋은 모델 평가 기준이 아니라 Twitter에서 관심을 끌기 위한 소재에 가까움. 영상과 3D 애니메이션이 소셜 미디어에서 가장 잘 먹히기 때문임
진짜 평가는 자체 실행 기록을 대상으로 평가를 돌리고 실제 작업 부하에 따른 모델별 비용·품질·속도 특성을 구축하는 것이지만, Twitter에 올릴 화려한 영상은 나오지 않음
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기