작업 범위에 따라 다르지만 적정 지점은 500k 이하라고 봄. Claude에서는 50만 토큰이면 처음부터 현재까지의 모든 맥락을 유지하면서도 상당한 규모의 프로젝트를 구축할 수 있음

“256k면 누구에게나 충분해야 함”

그렇다면 모든 사용자는 컨텍스트가 256k에 도달할 때까지 Kimi를 갑자기 절반 가격으로 쓰게 되는 것인지 궁금함. 사실이라면 엄청난 변화임

별도 모델이므로 k3-256k를 쓰다가 256k에서 1M 모델로 전환하면 캐시가 무효화되어, 기존 256k 토큰도 1M 모델 가격으로 다시 지불할 것이라 생각했음
하지만 이는 틀렸으며, 컨텍스트 한도에 가까워졌을 때 캐시 무효화 없이 1M 모델로 전환할 수 있음. 현재 버전에서는 k3-256k에서 k3 (1M)으로 바꿔도 캐시에 영향을 주지 않음

그렇지는 않은 것으로 이해함. 컨텍스트 창이 작으면 시간이 지나며 누적되는 입력 토큰이 줄어 대체로 더 저렴하다는 의미로 보임

이 글이 올라온 지 38분 됐고, 20분 전부터 Anthropic의 여러 서비스가 대규모 장애 상태로 표시되고 있음. 관련은 없겠지만 조금 웃겼음

모델 자체는 같고 API 수준의 변경일 뿐인 것으로 보임

일정 컨텍스트 길이를 넘으면 가격 단계가 바뀌는 OpenAI의 방식과 기능적으로 비슷함. 기준도 약 272k, 즉 2^18 또는 256k 부근임
활성 컨텍스트가 커질수록 출력 토큰당 필요한 연산량과 읽어야 할 바이트가 늘어나므로 비용을 사용자에게 전가하는 건 합리적임. 다만 단계형 기준 대신 완만한 가격 곡선을 쓰지 않은 점은 의외임

최대 시퀀스 길이에 따라 두 가지 인프라 구성을 운용할 가능성이 높으므로 단계형 기준은 놀랍지 않음
짧은 컨텍스트 구성은 인스턴스당 프리필 전용 노드가 적고, 큰 KV 캐시를 지원할 필요가 없어 전체 노드 수도 줄일 수 있음. 분리형 추론을 사용하면 프리필과 디코딩에 배정할 연산 비율도 각각 조정 가능함

이번 변경으로 인프라 부담이 줄기를 바람. 최근 모델들이 모두 눈에 띄게 둔해졌는데 지원팀은 대응하지 않고 있음. 요청의 상당 부분을 양자화 모델로 처리하고 있는 게 아닌지 의심됨

근거 없는 음모론은 Reddit이면 몰라도 HN에 어울리지 않음

양자화한 모델이 아니라 단지 컨텍스트 창만 256k로 줄인 것인지 궁금함

256k 컨텍스트 창과 양자화 여부는 별개임. 외부에서 직접 확인하기 어려우므로 실제로 양자화됐을 가능성도 배제할 수 없음