언어적 통찰에 기반한 베트남어 장면-텍스트 이미지 캡셔닝을 위한 다중모달 퓨전: 데이터셋, 그래프 프레임워크, 및 음운론적 주의

장면-텍스트 (scene-text) 이미지 캡셔닝은 이미지에 보이는 텍스트를 충실히 통합한 설명을 생성하기 위해 시각적 특징 (visual features), OCR 로 감지된 텍스트, 그리고 언어적 지식 (linguistic knowledge) 이라는 세 가지 정보 스트림을 퓨전해야 합니다. 기존 퓨전 접근법은 텍스트를 언어와 무관하게 취급하여 베트남어에 실패합니다. 베트남어는 성조어가므로 부호 (diacritics) 가 단어의 의미를 바꾸고, OCR 오류가 광범위하며, 단어 경계가 모호하기 때문입니다. 우리는 베트남어 장면-텍스트 캡셔닝이 extit{언어적 통찰에 기반한 다중모달 퓨전} (linguistically informed multimodal fusion) 을 필요로 한다고 주장합니다. 여기서 언어별 구조적 지식이 명시적으로 퓨전 메커니즘에 통합됩니다. 이러한 통찰에서 영감을 받아 우리는 학습된 공간 주의 편향 (learned spatial attention bias) 을 갖춘 범용 그래프 퓨전 프레임워크인 extbf{HSTFG} (Heterogeneous Scene-Text Fusion Graph) 를 제안하며, 위상 분석을 통해 교차모달 그래프 엣지가 장면-텍스트 퓨전에 해롭다는 것을 보여줍니다. 이 발견을 바탕으로 우리는 베트남어 언어적 추론을 위한 그래프 레벨 퓨전을 전문화하는 extbf{PhonoSTFG} (Phonological Scene-Text Fusion Graph) 를 설계했습니다. 평가를 지원하기 위해 우리는 첫 번째 대규모 베트남어 장면-텍스트 캡셔닝 데이터셋인 extbf{ViTextCaps} ( extbf{15,729} 개의 이미지와 extbf{74,970} 개의 캡션) 를 소개하며, 포괄적인 언어 분석을 통해 어휘의 52.8% 가 부호 충돌 (diacritic collision) 위험에 처해 있음을 보여줍니다.