TIDE: 확산 대규모 언어 모델의 교차 아키텍처 지식 증류

요약

TIDE는 확산 대규모 언어 모델(dLLMs)의 교차 아키텍처 지식 증류를 위한 최초의 프레임워크입니다. 기존 방법들이 단일 아키텍처 내 추론 단계 감소에만 초점을 맞춘 것과 달리, TIDE는 아키텍처, 주의 메커니즘, 토큰라이저 등 여러 구성 요소에서 차이가 나는 교사(Teacher)와 학생(Student) 모델 간의 지식 전이를 다룹니다. 이 프레임워크는 TIDAL, CompDemo, Reverse CALM이라는 세 가지 모듈을 통해 작동하며, 8B/16B 규모의 Teacher 모델을 0.6B Student 모델로 증류할 때 기존 대비 높은 성능 향상을 보여주었습니다.

핵심 포인트

• TIDE는 dLLMs의 교차 아키텍처 지식 증류를 위한 최초 프레임워크입니다.
• 기존 방법론의 한계를 극복하고, 아키텍처, 주의 메커니즘, 토큰라이저 등 다중 구성 요소 간의 지식 전이를 수행합니다.
• TIDAL은 노이즈 의존적 신뢰도를 고려하여 증류 강도를 공동 조절하는 모듈입니다.
• CompDemo는 보완적 마스크 분할을 통해 Teacher 컨텍스트를 풍부하게 하여 예측 성능을 개선합니다.
• Reverse CALM은 교차 토큰라이저 목표로, 제한된 그래디언트와 이중 끝 노이즈 필터링을 제공하여 지식 전이를 강화합니다.