[DSV4-0731] 3x3090+DDR5 환경에서 1MM 손실 없는 컨텍스트(lossless ctx), 300PP, 15TG 달성

요약

3x3090 및 DDR5 환경에서 1MM 컨텍스트 손실 없이 300PP를 달성한 기술적 성과를 다룹니다. llama.cpp 커스텀 빌드와 MoE 전문가 오프로드 방식을 통해 대규모 컨텍스트 처리 성능을 최적화했습니다.

핵심 포인트

• 3x3090 환경에서 1MM 컨텍스트 손실 없는 구현
• llama.cpp 커스텀 빌드를 통한 DeepSeek4 아키텍처 지원
• MoE 전문가 오프로드 방식을 통한 메모리 효율화
• 64,000 토큰 기준 300PP 성능 달성