Haiku 5.5와 Sonnet에게 같은 보고서를 5회씩 작성하게 했더니, 더 저렴한 쪽이 5번 모두 정확했다

지난주 Claude Code에서 Haiku 5.5를 사용할 수 있게 된 날, Sonnet과 동일한 작업을 시켜보고 '더 저렴한 쪽이 정확했다'고 X에 글을 올렸습니다.

단 한 번의 이야기였기 때문에 조금 불편해서... 오늘 5회씩 다시 진행했습니다.

결과로 말씀드리자면, Sonnet은 5번 모두 같은 숫자를 틀렸고, Haiku는 5번 모두 맞았습니다.

솔직히 반대 결과가 나와서 '역시 기분 탓이었나 보다' 하고 끝날 줄 알았습니다.

시킨 일

부업으로 운영하는 X 계정의 기록 파일이 총 4개 있습니다. 게시물별 노출 수를 적은 CSV, 화제가 된 게시물을 본 기록, 팔로우한 상대 목록, 팔로우 후보 메모입니다. 이 자료들을 읽고 '오늘 아침 상황을 5줄로 보고해 달라'고 부탁하는 것입니다. 제가 매일 아침 하는 작업입니다.

이 작업을 Haiku 5.5와 Sonnet에게 동일한 지시로 각각 3회씩 진행했습니다.

그 후, 지시에 '200자 이내'라는 조건을 추가하여 1회씩 진행했습니다.

마지막으로, CSV 파일만 전달하며 '팔로워 추이와 가장 성장한 게시물은?'을 각각 1회씩 요청했습니다. 이 CSV는 빈칸이 많기 때문에 일부러 그렇게 전달했습니다.

도구는 파일 읽기에 한정하여 claude -p 명령어로 실행했습니다.

결과

원인은 CSV의 빈칸이었습니다. '프로필 클릭 수' 열에 채우지 않은 행이 있어서, 그 부분에서 열이 하나 어긋나 보여서 그런 것 같습니다.

CSV만 전달한 회에서는 Sonnet이 'followers_total 열이 모든 행에서 12로 되어 있어 기록상의 오류일 가능성이 높다'라며 오히려 저희 쪽의 잘못으로 돌렸습니다. 매우 자신감 넘치게 말했습니다.

Haiku는 같은 파일에서 열을 올바르게 읽었을 뿐만 아니라, 비고란에 적힌 '아침 줄 노출 9는 고정 게시물 값이었을 가능성'이라는 작은 메모까지 포착하여, '개별 게시물로는 계산하기 어렵다'라는 주석을 달았습니다. 이 부분은 조금 감탄했습니다.

속도에 대한 정정

지난주에는 'Haiku가 더 느리다'고 썼는데, 그것은 Haiku가 작성하는 양이 8배나 많았기 때문이었습니다. 이번에는 출력이 지난번의 절반 정도로 안정되어 시간이 거의 비슷합니다.

하지만 여전히 잘 써줍니다. '200자 이내'라고 지시해도 5줄 안에 맞춰주지만 문장은 길게 나옵니다. 짧게 하고 싶다면, 줄 수(行数)보다는 '문장 개수'로 지정하는 것이 좋을 것 같습니다.

결정한 것들

• 파일을 읽고 숫자를 추출하는 작업은 Haiku를 사용하기로 했습니다. 아침 숫자 정리도 스크립트로 Haiku 고정했습니다.
• CSV의 빈칸을 줄여야겠습니다. 빈칸이 Sonnet을 혼란스럽게 했다면, 다른 모델들도 혼란스러워할 것입니다.
• '큰 쪽이 안전하다'는 착각은 버려야 합니다. 작업 종류에 따라 선택해야 합니다.

쓰지 않은 것들

비용은 적지 않았습니다. 제가 가진 CLI가 오래되어 Haiku 5.5의 요금표를 가지고 있지 않아 표시되는 금액이 신뢰하기 어렵기 때문입니다. 공식 발표 값만 보면 Haiku 쪽이 저렴한 것은 확실하지만, 직접 측정하지 않은 숫자는 쓰지 않기로 했습니다.

그리고 5회는 '5회'일 뿐입니다. 10회를 하면 달라질 수도 있습니다. 하지만 매일 아침 작업에서 5회 연속으로 같은 실수를 하는 상대에게는 이제 부탁하지 말아야겠다는 정도의 이야기입니다.

Discussion