Kimi K3가 Arena 코딩 리더보드에서 1위를 차지했습니다. 그 후 API 출력 가격이 100 CNY per million tokens(백만 토큰당 100 위안)로 급등했는데, 이는 이전 세대인 27 CNY의 3.5배에 달하는 수치입니다.

1인 개발자로서 저는 벤치마크 스위트 (benchmark suite)를 가지고 있지 않습니다. 저에게는 하나의 실제 작업과 예산이 있을 뿐입니다. 여기 K3가 제 워크플로 (workflow)에서 K2.6을 대체할지 결정하기 전에 제가 실행할 계획인 30분 테스트가 있습니다.

작업 (The task)

이번 주에 실제로 수행해야 하는 코딩 작업 하나를 선택하세요. 장난감 같은 벤치마크가 아니라, 5분 이내에 정답 여부를 확인할 수 있는 실제 풀 리퀘스트 (pull request), 버그 수정 (bug fix), 또는 기능 구현 (feature implementation)이어야 합니다.

K2.6과 K3 모두에서 작동하는 프롬프트 (prompt)로 작성하세요. 동일한 프롬프트, 동일한 컨텍스트 (context), 동일한 온도 (temperature)를 사용해야 합니다.

세 가지 측정 항목 (Three measurements)

두 모델 모두에 동일한 프롬프트를 실행합니다. 각 실행에 대해 다음을 기록하세요:

만약 K3가 첫 번째 시도에서 정답을 맞히고 K2.6이 맞히지 못한다면, 가격 차이만큼의 가치가 있을 수 있습니다. 만약 둘 다 정답을 맞힌다면, 당신은 동일한 결과에 대해 3.5배의 비용을 지불하고 있는 것입니다.

손익분기점 질문 (The break-even question)

K3는 토큰당 비용이 3.5배 더 비쌉니다. 하지만 K3가 문제를 더 잘 이해하거나, 재시도 (retries)가 적게 필요하거나, 더 깔끔한 코드를 생성하여 정답에 도달하기 위해 필요한 토큰 수가 3.5배 적다면, 완료된 작업당 총 비용은 동일하거나 더 낮을 수 있습니다.

이를 알 수 있는 유일한 방법은 토큰당 비용이 아니라, 작업당 총 비용을 측정하는 것입니다.

대조군으로서의 두 번째 작업 (A second task as a control)

두 번째의 다른 작업으로 동일한 테스트를 실행하세요. 두 작업 모두에서 결과가 일관되게 나타난다면 신호가 더 강력합니다. 만약 결과가 갈린다면, 조사할 가치가 있는 모델-작업 간의 상호작용 (model-task interaction)이 있는 것입니다.

이 테스트가 알려줄 수 없는 것 (What this test cannot tell you)

두 개의 작업은 벤치마크가 아닙니다. 이 테스트는 아직 시도하지 않은 작업이나 특성이 다른 코드베이스 (codebases)에 대한 K3의 전체적인 성능을 예측할 수 없습니다. 단지 당신이 측정한 특정 작업에 대해, 측정한 당일에 가격 인상이 정당화되는지 여부만을 알려줄 수 있습니다.

나의 계획 (My plan)

저는 아직 이 테스트를 실행하지 않았습니다. 현재 컴퓨팅 과부하(compute overload)로 인해 K3 구독이 일시 중단된 상태라, 접근 권한이 생기기를 기다리고 있습니다. 서비스가 재개되면, 현재 백로그(backlog)에 있는 두 가지 실제 작업을 대상으로 이 프로토콜을 실행하고 결과를 기록할 것입니다.

만약 토큰당 가격이 더 높음에도 불구하고, 정답 작업당 총비용이 K3에서 더 낮게 나온다면 저는 K3로 전환할 것입니다. 그렇지 않다면, 일상적인 업무에는 K2.6을 계속 사용하고 K2.6이 실패하는 작업에 대해서만 K3를 사용할 것입니다.

공개 사항: 저는 MonkeyCode 사용자로서 저의 개인적인 경험을 공유하는 것이며, 해당 프로젝트와는 관련이 없습니다. MonkeyCode는 오픈 소스 AI 코딩 플랫폼입니다: https://github.com/chaitin/MonkeyCode