수작업으로 몇 시간씩 걸리던 작업을 LLM을 사용하여 자동화하기

제 워크플로우에서 수동 프로세스를 자동화하기 위해 LLM (Large Language Model)을 사용한 구체적인 사례를 공유하고자 합니다. 챗봇 같은 이야기가 아닙니다. 사람이 두 개의 오디오 트랙을 붙잡고 몇 시간 동안 앉아 있어야 했던 실제 파이프라인 단계에 대한 이야기입니다.

문제는 제가 실시간 음성 대 음성 번역 (speech-to-speech translation) 시스템을 구축하고 있다는 점입니다. 지연 시간 (latency)을 측정하려면, 소스 오디오의 어떤 구절이 번역된 오디오의 어떤 구절에 대응하는지 알아야 하며, 그래야 그 사이의 시간 간격을 측정할 수 있습니다. 이 정렬 (alignment) 작업은 예전에 수작업으로 이루어졌습니다. 사람이 두 트랙을 모두 듣고, 구절을 맞춘 뒤, 타임스탬프 (timestamp)를 기록하는 방식이었습니다. 6분짜리 세션 하나를 처리하는 데 반나절의 작업 시간이 쉽게 소요되었습니다.

어려운 점은 수학이 아닙니다. 바로 정렬입니다. 언어는 순서를 재배치합니다. 독일어는 동사를 끝에 배치합니다. 아랍어는 문장 구조를 재구성합니다. 3번 위치의 스페인어 구절이 7번 위치의 영어 구절과 매핑될 수도 있습니다.

LLM이 쓰이는 곳
이것이 바로 LLM이 잘하는 종류의 작업입니다. LLM은 언어 간의 의미적 동등성 (semantic equivalence)을 이해하고 재배치를 자연스럽게 처리합니다. 그래서 저는 수동 단계를 LLM 호출로 대체했습니다:

1. 두 오디오 트랙을 강제 정렬 (Force-align) 하여 단어별 타임스탬프를 얻습니다 (자동화됨, LLM 불필요).
2. 두 전사 (transcript) 데이터의 모든 단어에 번호를 매겨 LLM에 보냅니다.
3. LLM은 단어 인덱스가 포함된 매칭된 구절 쌍을 반환합니다.
4. 1단계의 타임스탬프를 사용하여 각 쌍의 시간 간격을 계산합니다.

수 시간이 걸리던 작업이 이제 몇 분 만에 끝납니다. 인간의 개입 (human in the loop)이 없습니다.

일반적인 패턴
제가 이 사례를 공유하는 이유는 이 패턴이 일반화될 수 있기 때문입니다. 만약 사람이 두 가지를 읽고 그것들이 어떻게 대응하는지 파악해야 하는 워크플로우 단계가 있다면, LLM이 아마도 이를 수행할 수 있을 것입니다. 핵심은 제가 LLM에게 판단이나 창의적인 결과물을 요구하는 것이 아니라는 점입니다. 저는 LLM에게 구조화된 정렬 (structured alignment), 즉 신뢰할 수 있는 잘 제약된 (well-constrained) 작업을 요구하고 있습니다. LLM은 실제로 언어 이해가 필요한 단 하나의 단계만을 처리합니다. 그 외의 모든 것(강제 정렬, 타임스탬프 추출, 집계)은 일반적인 코드입니다.

전체 방법론: Ear-voice span 자동화
코드: VoiceFrom/live-s2st-eval