“솔직히 짚을 점 하나”, “오류도 없고 색상 변화도 없다” 같은 표현은 좋은 판별 기준임. 끝까지 읽기는 했지만 사람이 직접 쓴 글이었다면 더 좋았겠음

모든 사람을 합친 것보다 Anthropic에서 “Honestly”라는 말을 더 자주 듣는 듯함

LLM 특유의 새 언어를 다른 트랜스포머에 넣어 저 짜증 나는 문장들을 제거하면 안 되나? 어려울 것도 없고 모두에게 이득임

공들여 잘 만든 글인 건 인정하지만, 다음 같은 문단을 읽으면 글 전체에 정이 떨어짐
“질문마다 별도 표를 썼다. 이것은 빌드 작업이 아니라 표준 지연 시간 시험 도구다…”, “따라서 초당 토큰 수는 상한이며 실제 디코딩 속도는 아니다…”
이 두 문장을 자기 본래 말투로 직접 쓰는 게 정말 그렇게 어려웠을까?

이 특유의 문체가 어디서 나오는지 모르겠고, 없애기도 거의 불가능해서 몹시 거슬림

너무 티 나고 불쾌함. 평범한 사람처럼 자신이 하려는 말을 직접 써야 함
AI로 글을 만드는 건 게으를 뿐 아니라 밋밋하고 지겨우며, 독자의 시간을 존중하지 않는 행동임

논의를 위해 묻자면, 저게 정말 작성자의 자연스러운 말투라면 어떨까?

LLM이 나오기 훨씬 전부터 나도 가끔 저런 식으로 썼음. 이런 비난을 읽는 것도 이제 지긋지긋함

AI가 등장한 뒤 사람들이 너무 예민해졌음. 프로그래머가 자기 취향에 맞는 산문을 쓰지 않았다고 까다롭게 구는 셈임

내가 지나치게 통제하려는 성향일 수도 있지만, 에이전트에게 무작위 앱을 한 번에 완성시키는 방식은 실제 소프트웨어 엔지니어링에서 AI를 쓰는 방식과 전혀 다름

1인 창작자에게는 원샷 벤치마크가 꽤 유용함. 더 나은 최첨단 모델, 내 경우에는 Opus와 Fable이 명시하지 않은 부분에서도 더 나은 결정을 내리는지, 처음부터 더 좋은 제안을 주는지와 어느 정도 상관관계가 있기 때문임

LLM의 시간 척도로 보면 모델들은 꽤 오래전부터 신규 앱 생성을 잘해 왔음
신규 앱을 더 잘 만드는 방식도 흥미롭지만, 복잡하게 얽힌 기존 코드베이스의 어려운 문제를 어떻게 푸는지가 훨씬 궁금함

기본 앱을 한 번에 만든 뒤 기능 요청을 하나씩 추가하게 하면 아키텍처와 유지보수성을 평가하는 명백한 방법이 될 듯함

실제 사용 방식과는 다르지만, 그래야 Twitter/X에서 유명해질 수 있음

실제 사용과 같지는 않더라도, 감에만 의존하지 않고 이 영역에 조금이라도 객관적인 측정 기준을 도입하려는 시도임

마음먹으면 Arena에도 어느 정도 점수 맞춤 최적화가 가능함. 그곳의 프롬프트 분포는 일반 개발자의 실제 사용과 상당히 다르고, 특히 게임을 처음부터 한 번에 만들어 달라는 요청이 많음
불충분한 프롬프트로 재미있는 게임을 한 번에 만드는 데 특화해 미세조정하면, 일반 작업 능력보다 코딩 모델의 성능이 더 좋아 보일 수 있음. OpenAI에서 일하지만 우리는 점수를 부풀리려 하지 않으며, 그렇게 하면 모두에게 Arena가 더 나쁜 지표가 되기 때문임

특히 Facebook을 중심으로 Arena 점수 맞춤 최적화가 상당히 많지만, 그래도 실제 벤치마크 중 더 나은 편이라는 데는 동의함
고전 데모씬 효과를 재현시켜 보는 건 늘 재미있음. 음악 생성은 아직 형편없지만 Claude는 적어도 괜찮은 신시사이저를 만드는 듯함. Agenda Circling Forth의 유체·입자 효과를 구현 설명 글과 스크린샷까지 제공해 재현시키려 해도 여전히 잘 못함

아직 Grok 4.5가 목록에 없는 이유가 궁금함. 더 늦게 출시된 5.6은 이미 올라와 있음

이런 시각적 벤치마크는 추론 능력보다 지식, 즉 학습 데이터가 얼마나 포괄적이고 모델이 이를 얼마나 잘 꺼내 쓰는지를 더 크게 보여줄 가능성이 큼
큐브의 기하 구조와 애니메이션을 잠재 공간의 표현에 대응시키는 사고 과정(CoT)을, 상당한 사전 정보 없이 모델이 어떻게 구성할 수 있는지 모르겠음

LLM에 새로운 추론 능력이 실제로 존재한다는 증거가 있나? 아무리 해도 작동하게 만들지 못했고, 예전에 나온 Apple 논문도 그런 능력이 없다는 강한 증거였다고 봄
내 경험상 잠재 공간이 희소하면 추론은 완전히, 우스울 정도로 실패함

Anthropic은 Canva에서 확보한 데이터 덕분에 이런 시험에서 우위를 얻고 있을 가능성이 큼

우리도 모델 26개가 각각 앱 52개를 만든 모델 Arena에 오늘 GPT 5.6 Sol, Terra, Luna를 추가했음 https://arena.logic.inc/
세 모델의 앱을 나란히 비교하면 매우 흥미로움. 아직 UI에 통계를 추가해야 하지만, Terra의 실제 경과 시간은 Sol의 절반이었고 Luna는 오히려 Sol보다 약 23% 더 걸렸음
Luna가 훨씬 저렴하긴 해도 대부분의 용도에서는 Terra가 시간과 비용의 균형이 더 좋아 보임. Terra의 품질은 대체로 Sol과 거의 비슷하면서 훨씬 빠르고 저렴함. 다만 오디오 시퀀서 같은 Sol의 디자인 감각은 높이 평가함. 한동안 모든 모델의 시각 결과가 비슷해졌는데, 이 측면에서 오랜만에 뚜렷하게 차별화된 모델임

눈에 띈 수치는 GPT-5.6 Sol이 코드 1,264줄, 파일 35.5KB, gzip 10.0KB인 반면 GPT-5.6 Terra는 827줄, 20.0KB, gzip 6.7KB라는 것임

GLM 같은 모델은 벤치마크에 과도하게 최적화되어 있으며, 수치만 보고 생각하는 것만큼 최첨단 모델에 가깝지 않다는 비판을 뒷받침하는 결과로 보임

다른 벤치마크보다 이런 AI 평가 방법론이 훨씬 마음에 듦
현실 세계는 복잡하고, 다른 벤치마크들은 중국 공개 모델이 공략하기 쉬운 게 분명함. 글의 문체도 신경 쓰이지 않으며 충분히 읽을 만함