대규모 언어 모델(LLM)을 활용한 수어 번역(SLT)용 타겟 측 패러프레이즈 증강

요약

본 연구는 데이터 부족 문제를 해결하기 위해 GPT-4o를 활용하여 수어 번역(SLT)의 타겟 문장을 패러프레이징하는 증강 기법을 제안합니다. Signformer 모델을 사용하여 사전 학습과 미세 조정을 수행하며, 실험 결과 PHOENIX14T 데이터셋에서 성능 향상을 확인했습니다.

핵심 포인트

• GPT-4o를 이용한 타겟 측 패러프레이즈 증강 기법 제안
• Signformer 기반의 2단계 학습(사전 학습 및 미세 조정) 적용
• PHOENIX14T 데이터셋에서 BLEU-4 점수 향상 입증
• LLM 생성 데이터와 LLM-as-a-Judge 평가를 SLT에 최초 적용