모델 페이지에는 262K 컨텍스트라고 되어 있습니다. 하지만 소비자용 하드웨어에서는 실제 한계치에 도달하기 훨씬 전인 약 160K를 넘어서는 시점부터 생성 속도가 급격히 떨어진다는 점은 언급되어 있지 않습니다.

제가 이를 알게 된 이유는 단순히 크면 클수록 좋다고 생각하여 컨텍스트 윈도우(Context window)를 계속 높였는데, 왜 갑자기 세션 속도가 느려지는지 이유를 알 수 없었기 때문입니다. 알고 보니 마케팅된 최대 컨텍스트와 실제로 사용하기에 쾌적한 수준의 컨텍스트는 완전히 다른 숫자였으며, 아무도 두 번째 숫자를 제품 상자에 적어두지 않습니다.

약 150-160K 정도까지는 기본적으로 괜찮게 느껴집니다. 완전히 새로운 짧은 세션과 동일하지는 않지만, 시간을 직접 측정하지 않는 한 눈치채지 못할 정도로 충분히 가깝습니다. 하지만 그 지점을 넘어서면 곡선이 완만하게 변하는 것이 아니라 절벽처럼 떨어집니다. 로드하는 컨텍스트의 덩어리가 커질 때마다 처리하는 데 드는 시간이 불균형적으로 더 많이 들기 시작하며, 광고된 한계치에 가까워질 때쯤이면 응답 사이의 대기 시간이 너무 길어져서 채팅이 아니라 배치 작업(Batch job)처럼 느껴지기 시작합니다.
솔직히 좀 짜증 나네요.
submitted by /u/Mr-serial_killer
[link] [comments]