서론

Claude Fable 5가 출시된 이후, 타임라인은 벤치마크 이야기뿐입니다. 하지만 아무리 숫자를 봐도 "대단해 보이긴 하는데 얼마나 진화한 거지...?"라는 점이 이해하기 어렵습니다...

그렇다면 눈에 보이는 것을 만들게 하여 비교해 보자고 생각하여, Fable 5와 Opus 4.8을 대결시켜 보았습니다.

구체적인 내용으로는, 완전히 동일한 프롬프트를 단 한 번만 전달하여 Web 앱을 만들게 하고, 결과물 그 자체로 비교했습니다.

결과물

"내용은 됐으니 일단 어떻게 작동하는지 보고 싶다"는 분들도 계실 것이라 생각하여, Fable 5와 Opus 4.8이 작성한 Web 사이트를 아래에 정리해 두었습니다.

리포지토리는 아래와 같습니다.

대결 내용

Claude에게 평등한 대결 내용을 생각하게 하여, 아래의 두 가지 종목을 준비하고 Web 앱을 각각 작성하게 했습니다.

• 알려주면 안 되는 버튼 Web 앱: 자유로운 발상으로 어떻게 앱을 만드는지 확인
• Windows 95 스타일 데스크톱 Web 앱: 필수 기능이 14개 있으며, 얼마나 고품질의 결과물을 낼 수 있는지 확인

대결 1: 알려주면 안 되는 버튼 Web 앱

전달한 것은 이것뿐입니다.

"절대로 눌러서는 안 되는 버튼" Web 사이트를 만들어 주세요. 정적인 HTML/CSS/JS만 사용. 나머지는 맡기겠습니다. 재미있게 만들어 주세요.

각 모델을 2회씩 실행한 결과는 다음과 같습니다.

Fable 5는 매번 1,300행 이상으로 전력을 다합니다. Opus 4.8은 컴팩트하며, 비용은 Fable 5의 1/5~1/7 수준입니다.

숫자는 일단 제쳐두고, 실제 Web 앱의 이미지는 다음과 같습니다.

**- Fable 5 -

실제 화면:

Fable 5のボタン

Link: [Fable 5]절대로 눌러서는 안 되는 버튼

**- Opus 4.8 -

실제 화면:

Opus 4.8のボタン

Link: [Opus 4.8]절대로 눌러서는 안 되는 버튼

취향 차이겠지만, 10번 누른 후의 화면 동작이나 유머는 Fable 5 쪽이 퀄리티가 더 높다고 느꼈습니다.

세부 사항에 신경을 쓰고 있다는 느낌을 매우 쉽게 알 수 있었습니다.

대결 2: Windows 95 스타일 데스크톱

이번에는 짧은 지시문과 필수 기능을 적은 사양서(spec.md)를 전달했습니다.

이 리포지토리의 spec.md에 레트로 OS 데스크톱 요건이 있습니다. 요건을 모두 충족하는 "브라우저에서 동작하는 Windows 95 스타일 데스크톱"을 완성해 주세요. 정적인 HTML/CSS/JS만 사용·index.html을 열면 동작·CDN 가능. spec.md의 필수 기능을 모두 구현한 상태에서 연출·세부적인 완성도는 자유. 이것이 유일한 지시입니다.

윈도우 조작, 작업 표시줄, 페인트, 지뢰찾기, 메모장, 휴지통…… 필수 14개 항목을 전달하여, Win95 스타일 데스크톱을 만들게 했습니다.

여기서 사건이 발생했습니다...

설마 했던 Fable 5의 납품 사고...

첫 번째 Fable 5는 16분을 들여 2,327행을 작성하고 완료 보고를 했습니다. 하지만 열어보니, 무엇을 눌러도 실행되지 않습니다.

起動しないFable 5 run1

원인은 실행 처리 파일(shell.js)을 작성하지 않은 채 끝났기 때문이었습니다.

내용 자체는 Opus보다 야심 찼는데(부팅 시퀀스, 효과음, 스크린 세이버까지 설계) 말이죠...

(이런 실수까지 포함해서 현실적이라면 현실적이지만 말입니다...)

마음을 가다듬고 재도전

각 모델을 실행한 결과는 다음과 같습니다.

Fable 5의 첫 번째 시도가 실수였기에 그렇지만, 아까와 비슷한 수치이기도 하네요.

숫자는 일단 제쳐두고, 실제 Web 앱의 이미지는 다음과 같습니다.

**- Fable 5 -

실제 화면:

Fable 5 run2

Link: [Fable 5]Win95 스타일 데스크톱

**- Opus 4.8 -

실제 화면:

Opus 4.8でマインスイーパー

위의 영상으로는 전달하기 어렵지만, 세세한 부분에서 역시 Fable 5의 퀄리티가 더 높게 느껴졌습니다. "어서 오세요" 다이얼로그(Dialog)를 띄우는 등 세밀한 요소(Neta)들이 있으니 꼭 확인해 보시기 바랍니다.

결론

"Fable 5의 아웃풋(Output) 품질이 더 높아 보이지만, 2배의 금액을 지불할 것인가라고 묻는다면 음..." 이라는 것이 솔직한 감상이었습니다.

저의 검증이 다소 거칠긴 했지만, Opus 4.7이 나왔을 때와 같은 충격은 아직 그 정도로 느끼지 못했습니다. 혹시 재미있는 검증 방법이 있다면 꼭 알려주세요.

이 글이 조금이라도 도움이 되었기를 바랍니다.

Discussion