진지하게 SWE-bench-adversarial-pelican-gen을 제안함. SWE-bench와 비슷하지만 5번의 대화나 도구 호출마다 중단하고 임의의 동물 SVG를 만든 뒤 작업을 재개하게 하며, 도구 출력 곳곳에는 펠리컨 SVG 관련 주석도 끼워 넣는 방식임
문맥이 80만 토큰에 도달하면 다시 펠리컨 SVG를 만들게 하고, 펠리컨 품질과 원래 작업의 완성도·효율을 함께 평가하면 됨. SVG 펠리컨의 습격 속에서도 문제를 해결할 수 있어야 진짜 실력임

Codex로 돌리면 아마 5달러 정도일 텐데, 왜 아무도 실행해 보고 싶어 하지 않는지 생각해 볼 만함

Simon의 결론처럼 이 벤치마크의 주된 용도는 어느 모델이 더 낫다고 단정하는 게 아니라 품질·비용·속도의 관계를 살펴보는 데 있음. 최근 Opus, Fable, Kimi를 간단히 비교해 보니 Kimi가 5배 저렴하지만 2배 느렸음 https://9gpyw4uxr2.evvl.io/

가운데 세 결과는 프롬프트가 요구한 것보다 더 많은 것을 만들어 내는 전형적인 Gemini/Google식 실패로 봄. K2.6도 순수 SVG가 아니라 HTML+CSS+SVG를 사용했으므로 경계선상 실패에 가까움
웹사이트 오른쪽 위의 “Expires in 6 days”도 이상함. 고작 수 KB 데이터를 담은 페이지가 왜 만료되어야 하는지 알기 어려움

블로그와 포럼, GitHub에 자전거 타는 펠리컨이 수백 개나 있는데도 Simon이 이것들이 학습 데이터에 없다고 믿는 것이 놀라움. 우리 회사 블로그는 Simon 사이트보다 트래픽이 1,000배 적지만 게시물이 6개월 뒤면 LLM에 알려져 있음

기존 펠리컨 그림은 여전히 형편없음. 학습 데이터에 들어가도 더 나은 펠리컨 생성에는 도움이 안 되고, 오히려 성능을 떨어뜨릴 수 있음

Simon도 펠리컨이 학습 데이터에 포함됐을 가능성을 여러 번 인정했으며, 공개하지 않는 다른 테스트도 갖고 있음. 단지 펠리컨을 좋아할 뿐임

펠리컨과 자전거가 각각 학습 데이터에 있어도 이 특정 벤치마크를 학습했다는 뜻은 아님

자전거 타는 펠리컨 자체가 특별한 소재는 아님. 어떤 모델에든 지렁이와 울새의 권투처럼 아무 조합이나 SVG로 만들게 할 수 있고, 비전 모델 여부와 무관하게 더 똑똑한 모델일수록 결과가 좋아지는 강한 상관관계가 나타남
처음에는 이 평가를 보고 황당했지만, 학습 데이터에 절대 없을 법한 조합들을 시험한 뒤 유효성을 확인했음

Fable 5가 너무 오래 추론하다 그림을 끝내기도 전에 출력 예산을 소진했다는 대목이 웃김

모델마다 펠리컨을 한 번만 생성하는 게 계속 마음에 걸림. 같은 모델도 실행할 때마다 다른 결과가 나오므로 어떤 결과를 골랐는지가 “이 모델이 더 낫다”는 판단에 영향을 줄 수 있음
모델별로 8회 실행 결과를 나란히 보고 싶음. 비슷한 두 모델이라면 모델 간 차이만큼이나 개별 실행 간 편차도 클 것으로 봄

Gamers Nexus가 중국에서 직접 취재한 좋은 영상이 있음: https://www.youtube.com/watch?v=1H3xQaf7BFI
수출 제한 대상인 GB202 기반 5090과 RTX 6000 Pro Blackwell은 TSMC에서 제조된 뒤 중국에서 패키징·완성되므로 애초부터 허점이 큼. NVIDIA와 유통 파트너도 싱가포르 같은 국가에서는 별다른 확인 없이 판매하며, 개인 운반책이 직접 들고 들어가도 중국 세관은 중국 영토에서 미국 법을 집행할 이유가 없음

Huawei Ascend 칩은 4개월도 더 전에 DeepSeek v4 학습에 사용됐고, Huawei는 커널을 다른 중국 연구소들과 공유했음. 중국에는 자체 DDR5 파운드리도 있음

매개변수 수가 같다고 모델이 동일한 것은 아니므로, 그 수치가 품질이나 연산 요구량을 나타내는 지표로 보이지 않음. 좋은 모델을 만드는 데는 단순히 매개변수 수를 늘리는 것 이상이 필요함

중국이 아무도 몰랐던 막대한 석유 비축분을 방출해 세계 경제를 구했으니, 숨겨진 연산 자원이 많아도 놀랍지 않음

펠리컨 품질과 전반적인 모델 품질이 따로 움직이는 점이 흥미로움. 일반 능력은 사전 학습에서 형성되므로 고품질 사전 학습이 더 좋은 펠리컨을 만들고, 강화학습은 펠리컨 품질에 거의 영향을 주지 않을 것으로 예상했음
하지만 GLM 5.2가 GPT 5.6과 Claude Fable을 앞선 결과는 이 가설과 맞지 않음. GLM 5.2가 SVG 생성을 별도로 강화학습해 우수한 성능을 얻었을 가능성 정도만 떠오름