지금까지 테스트한 모델 중 Opus에 근접한다는 모델은 하나도 그 수준에 미치지 못했음. Anthropic 모델에는 이런 벤치마크가 드러내지 못하는 무언가가 있음.
AA-Omniscience가 다른 벤치마크보다 실제 성능을 더 잘 반영한다는 얘기가 있음. 여기서는 K3.1이 최상위 모델보다 약 6개월, 새 DS 4.1-flash가 약 12개월 뒤처진 것으로 나옴. 적어도 까다로운 문제에서는 내 직감과도 대체로 맞아떨어짐. 여전히 인상적이지만 최첨단 수준은 아님. https://artificialanalysis.ai/evaluations/omniscience
다시 써봐야 할지도 모르지만, Opus 모델을 좋아한 적이 없음. 요청한 일을 하지 않는 문제가 반복되고, pi에서 도구도 제대로 호출하지 못함. 특정 실행 환경에 지나치게 맞춰 학습한 것 같아 답답함.
이런 모델 중 상당수는 기존 벤치마크 점수에 과도하게 최적화됐을 가능성이 있음. 일부는 의도치 않게 그렇게 됐을 수도 있음.
더 특화된 벤치마크를 살펴보면 도움이 됨. 내가 만든 벤치마크에서도 Kimi K3.1 Pro가 가중치 공개 모델 중 가장 뛰어나지만, 여전히 Opus 5/5.5에는 크게 못 미침. https://bench.killswitch-lang.org/
작업 종류와 사용 방식에 따라 크게 달라짐. 지난 두 달간 로컬 Qwen-3.8-Next 대신 회사의 유료 Opus 요금제를 쓴 이유는 속도뿐이었음. 토큰 한도에 도달하면 Qwen을 대안으로 쓰는데, 일상 업무에서는 두 모델의 출력 품질을 구별할 수 없었음.
비결은 의사소통에 있다고 봄. 모델이 내 의도를 이해하고 나도 모델을 이해할 수 있어, 함께 일하기 더 좋은 동료처럼 느껴짐. 벤치마크는 이를 측정하지 못함.
이 벤치마크들에는 분명 뭔가 잘못됐다는 느낌이 듦. 다만 최상위 모델은 Claude 외에 경험이 많지 않고, 입문급도 haiku/3.x flash/5.6+6 luna 정도만 써봤다는 점을 감안해야 함.
“이 비즈니스 로직을 어떻게 처리할까?”처럼 기계적이지 않은 작업의 접근법을 찾을 때는 Fable이 Opus 5.5보다 훨씬 똑똑하게 느껴짐. Opus도 충분히 쓸 만한 선택지를 내놓지만, Fable이 내가 기대하거나 받아들일 만한 선택지를 더 자주 제안함.
전체 선택지를 폭넓게 살펴볼 때는 차트의 로그 척도가 유용하지만, 비슷한 모델끼리 비교할 때는 선형 척도로 판단하길 권함. 실제 선택에는 비용을 선형 척도로 비교하는 편이 더 유용한 경우가 많음.
차트를 보니 DeepSeek 4.1 flash가 더욱 마음에 듦. 정말 저렴하고 빠르면서도 꽤 괜찮은 모델임.
어떤 용도에서 괜찮다는 건지 구체적으로 알려줄 수 있을까? 나도 좋아하고 싶고, 내 실행 환경에서 저렴한 조사용 모델로 쓰고 싶지만 실제 개발 작업은 도무지 해내지 못함. 자꾸 헤매고 불필요하게 복잡하게 만드는 반면, astra는 거침없이 진행하며 훌륭한 해결책을 내놓고 전체 소요 시간도 더 짧을 때가 많음.
함께 쓰는 모델 중 가중치 공개 모델이 있으면 좋겠어서 정말 잘 써보고 싶지만, 내가 잘못 쓰고 있는 건지도 모르겠음. 어떤 작업에 쓰고 있는지 궁금함.