TIDE: I/O 인지형 전문가 오프로딩을 통한 효율적이고 손실 없는 MoE Diffusion LLM 추론

요약

TIDE는 Diffusion Large Language Models(dLLMs)와 MoE 아키텍처를 결합할 때 발생하는 I/O 오버헤드와 연산 병목 현상을 해결하기 위한 새로운 추론 시스템입니다. 디퓨전 과정 중 전문가 활성화의 시간적 안정성을 활용하여 간격 기반 전문가 갱신 전략을 도입하며, 모델 재학습 없이도 처리량을 크게 향상시킵니다. 실험 결과 LLaDA2.0 모델 시리즈에서 기존 대비 최대 1.5배의 처리량 향상을 달성했습니다.

핵심 포인트

• Diffusion LLM(dLLM)의 MoE 아키텍처 확장에 따른 자원 제한 장치 배포 문제 해결
• 전문가 활성화의 시간적 안정성을 활용한 I/O 인지형 간격 기반 전문가 갱신 전략 도입
• I/O 트래픽과 CPU 연산을 최소화하기 위해 추론 스케줄링을 수학적 프로그래밍으로 최적화
• 모델 학습이 필요 없는 손실 없는(lossless) 최적화 방식으로 높은 효율성 제공
• 단일 GPU-CPU 시스템에서 LLaDA2.0 모델 기준 최대 1.5배의 처리량 향상 입증