IWSLT 2026 Instruction Following을 위한 FBK의 Long-form SpeechLLMs

본 논문은 IWSLT 2026 Instruction Following 공유 태스크(shared task)에 제출하는 우리의 연구를 설명합니다. SpeechLLMs는 제약된 환경 하에서 단문(short-form) 및 장문(long-form) 음성 지시 이행(speech instruction following)을 위해 개발되었습니다. 단문 트랙(short track)의 경우, MCIF에서 2.0708의 SIFS 점수를 기록하며 강력한 성능을 달성했습니다. 장문 트랙(long track)의 경우, 세 가지 음성 분할(speech segmentation) 방법을 탐색하였으며, 불안정한 장문 생성 문제를 고려하기 위해 HIFS 점수를 도입했습니다. 실험 결과, 고정된 30초 분할 방식이 가장 견고한 장문 성능을 제공하며 2.0663의 가장 높은 HIFS 점수를 달성함을 보여주었습니다. 추가 분석에 따르면, 환각(hallucination)은 주로 생성된 출력물에서의 반복적인 삽입 형태로 나타나 ASR 및 SSUM에 상당한 영향을 미치지만, 장문 확장 후에도 단문 능력은 대부분 유지됩니다.