오늘 아침 @antirez의 ds4.c를 테스트해 보았습니다. 매우 인상적이며 성능을 제대로 보여줍니다.

요약

사용자가 @antirez의 ds4.c를 M3 max (128GB) 환경에서 테스트한 결과를 공유합니다. 62K 사전 채우기 상태의 코딩 대화에서 초당 14–15 토큰을 기록하며 높은 성능과 안정성을 보여주었습니다. 주요 제약 사항으로는 컨텍스트 압축 후 새로운 prefill 과정에 상당한 대기 시간(약 10k 컨텍스트당 1분)이 필요하다는 점을 언급했습니다.

핵심 포인트

• M3 max (128GB) 환경에서 ds4.c 테스트 결과, 코딩 대화 시 초당 14–15 토큰의 높은 성능 기록.
• 전체 100K 컨텍스트 윈도우 기준 디스크 캐시는 약 8GB로 효율적임.
• 컨텍스트 압축 후 새로운 prefill 과정에는 상당한 대기 시간 비용이 발생함 (약 10k 컨텍스트당 1분).
• 추론 서버의 전반적인 안정성은 높았으나, 순차적 추론과 병렬 다중 에이전트 성능은 추가 테스트가 필요함.