Coupled Knowledge Distillation (CKD)

Coupled Knowledge Distillation CKD는 서로 다른 모달리티의 공통 스타일을 추구하여 모달리티 갭(modality gap)을 해소하고 고성능 RGBT tracking을 달성하는 간단하고 효과적인 학습 프레임워크입니다. 중요하게도, CKD는 추론 과정에서 추가적인 계산 비용을 발생시키지 않습니다.

학습 (Train)

실제로 우리의 학습 과정은 두 단계로 나뉩니다. 만약 Multi-modal Candidate token Elimination (MCE) 모듈이 필요하지 않다면, 두 번째 단계는 무시해도 됩니다.

1. 우리는 OSTrack-RGBT를 기본 트래커로 채택합니다. 최고의 결과를 얻기 위해서는 DropMAE의 파라미터를 로드해야 합니다. 그런 다음 위 이미지와 같이 CKD로 학습을 진행합니다.

2. MCE 모듈은 추론 과정을 가속화할 수 있지만, 성능을 유지하기 위해 트래킹 헤드(tracking head)를 추가로 미세 조정(fine-tune)해야 합니다. 이 단계에서는 CKD를 채택하지 않으며 백본(backbone)을 고정(frozen)해야 한다는 점에 유의하십시오.

추론 (Inference)

추론 과정에서는 두 개의 학생 브랜치와 그들의 트래킹 헤드만 필요합니다. 따라서 기본 모델만큼 빠릅니다.

결과 및 모델 (Results and Models)

인용 (Citation)

연구에 도움이 된다면 본 논문을 다음과 같이 인용해 주십시오:

@inproceedings{
lu2024breaking,
title={Breaking Modality Gap in {RGBT} Tracking: Coupled Knowledge Distillation},
... 

문의: [email protected]