친구들, 새로운 LLM 벤치마크에서 컨텍스트에 따른 품질 측정을 시작했습니다. 이를 위해 16k, 32k, 64k, 128k, 256k, 그리고 512k 컨텍스트 요청에서 모델들이 제공하는 응답의 정확도, 품질, 그리고 맥락 일관성을 평가하고 있습니다. 🎉

초기 테스트 결과가 매우 놀랍습니다. Opus, GPT Sol, Kimi 모델들을 준비하는 과정만으로 10분이 걸렸고 200달러를 지출했습니다. 이제 OpenAI가 왜 223k 컨텍스트에서 Codex Plan을 제공했는지, 그리고 주간 한도에 도달했는지 알게 되었습니다. 현재 Openrouter에서는 Opus가 더 많은 비용을 발생시키고 있습니다 🔥

이 테스트들에서 나타난 수치들은 매우 위험합니다. 64k 입력 컨텍스트를 넘어서면서 품질 저하가 심해지는 동시에 API 비용은 엄청나게 증가하고 있습니다. 기업에서 사용되는 Coding Agent의 경우, 컨텍스트가 최대 1M에 달하기 때문에, 저는 이것이 막대한 비용과 성공적인 결과물 도출 실패의 원인 중 하나라고 생각합니다.

제 미약한 조언은, 사내 사용 시 Coding 및 Workflow Agent의 최대 컨텍스트를 256k 또는 심지어 128k로 제한하면 비용을 줄이고 품질 출력을 상당히 높일 수 있다는 것입니다. 이번 주에 제 테스트 결과를 공유하겠습니다.❤️