카페 글 17,613개를 작은 분류 모델에게 읽히니 8분 51센트 소요

최근 7일간의 네이버 카페 8곳 게시글 전체를 작은 분류 모델에 학습시켰더니 8분 51센트가 걸렸습니다.

이 글들을 다섯 가지 종류로 나누고 이슈 점수를 매기게 했습니다. 그 결과, 뉴스형 게시글은 2,257개, 이슈 점수가 높은 글은 1,781개였습니다. 사람은 이 1,781개만 읽으면 됩니다.

저는 Claude Code에게 같은 작업을 시켰습니다. 200개를 읽고 레이블링하는 데 몇 분이 걸렸으며, 17,000개라면 몇 시간이 걸릴 것입니다. 이 양의 토큰 비용은 수십 달러에 달할 것입니다.
두 모델은 답변의 80%에서 일치했습니다. 불일치를 살펴보니, 절반은 Claude가 단순히 대략 추측한 경우였습니다.

거대 모델(Big models)은 필요한 판단에만 사용해야 하며, 읽기 및 필터링 작업은 작은 모델(Jev, TypeSafe AI)에게 맡겨야 합니다.
이 영상은 그 8분이라는 시간을 20초로 압축한 화면 녹화본입니다.