CANDLE: 경량 인코더를 이용한 문자 단위 아랍어 노이즈 중복 제거

요약

CANDLE은 CTC(Connectionist Temporal Classification)를 활용하여 아랍어 텍스트의 문자 중복 노이즈를 제거하는 경량 인코더 시스템입니다. 기존 방식보다 낮은 문장 오류율을 기록했으며, 지식 증류를 통해 추론 효율성을 높였습니다. 또한 LLM 토크나이저의 비옥도를 낮춰 추론 비용 절감 효과를 입증했습니다.

핵심 포인트

• CTC를 시퀀스 정렬 문제로 프레임화하여 문자 중복 제거 수행
• 지식 증류를 통해 모델 깊이를 3배 줄여 추론 오버헤드 감소
• LLM 토크나이저 비옥도를 최대 12.8% 감소시켜 컨텍스트 효율 개선
• 신문, 소셜 미디어 등 다양한 벤치마크에서 베이스라인 능가