DD-GEPA: 작업 지침 및 발화 표현에 집중한 대화 분리(Dialogue Disentanglement)를 위한 프롬프트 최적화
요약
다자간 채팅에서 얽힌 대화를 분리하는 Dialogue Disentanglement 성능을 높이기 위한 자동 프롬프트 최적화 방법론인 DD-GEPA를 제안합니다. 프롬프트를 세 가지 구성 요소로 분해하고 GEPA를 통해 최적화하여 기존 수작업 프롬프트보다 높은 정확도를 달성했습니다.
핵심 포인트
- 다자간 채팅의 대화 분리 성능 향상을 위한 자동 프롬프트 최적화 제안
- 프롬프트를 작업, 발화, 출력 지침의 세 가지 요소로 구조화
- 복합 AI 시스템 최적화 방법인 GEPA를 활용한 성능 개선
- 수작업 프롬프트 대비 높은 대화 분리 정확도 입증
다자간 채팅(Multi-party chat)은 여러 참여자가 동시에 서로 다른 주제를 논의할 수 있기 때문에 대화가 서로 뒤섞여 있는 경우가 많습니다. 대화 분리(Dialogue disentanglement)는 얽혀 있는 발화 시퀀스를 일관된 대화들로 분리함으로써 이 문제를 해결합니다. 거대 언어 모델(LLMs)이 이 작업에 유망하긴 하지만, 여전히 대화 분리에 어려움을 겪고 있으며 낮은 정확도를 보입니다. 본 논문은 LLM 기반 대화 분리를 위한 자동 프롬프트 최적화(automatic prompt optimization)를 제안합니다. 우리는 프롬프트를 작업 지침(task instruction), 발화 표현(utterance representation), 출력 지침(output instruction)의 세 가지 구성 요소로 분해하고, 복합 AI 시스템(compound AI systems)을 위한 최적화 방법인 GEPA를 사용하여 이를 최적화합니다. 벤치마크 데이터셋에 대한 실험 결과, 최적화된 프롬프트가 기존 프롬프트보다 대화 분리 정확도를 향상시키며 수작업으로 제작된 프롬프트(hand crafted prompts)를 능가할 수 있음을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기