AI 회의 요약 평가를 위한 재사용 가능한 크로스 도메인 파이프라인

본 연구는 생성형 AI 애플리케이션 전반에 걸쳐 재사용 가능한 평가 파이프라인을 구축하고 이를 AI 회의 요약에 적용한 사례를 제시합니다. 이 시스템은 단순히 독립적인 주장 점수 계산기(standalone claim scorers)와 달리, 참값(Ground Truth)과 평가자 출력물 모두를 타입이 지정되고 영속적인 아티팩트(typed, persisted artifacts)로 취급하여 집계, 이슈 분석 및 통계적 테스트가 가능하도록 설계되었습니다.

파이프라인은 총 5단계로 구성됩니다: 소스 입력(source intake), 구조화된 참조 구축(structured reference construction), 후보 생성(candidate generation), 구조화된 점수 산출(structured scoring), 그리고 보고서 작성(reporting).

평가 프로토콜의 강점은 모든 출력을 체계적인 아티팩트로 관리한다는 점입니다. 이를 통해 단순히 '정확한지 아닌지'를 넘어, 어떤 종류의 오류가 발생했는지, 어느 도메인에서 취약점이 나타나는지를 깊이 있게 분석할 수 있습니다.

연구진은 city_council, private_data, whitehouse_press_briefings 등 세 가지 이질적인 도메인을 아우르는 114개 회의로 구성된 타입 지정 데이터셋을 사용하여 오프라인 루프(offline loop)를 벤치마킹했습니다. 총 340개의 회의-모델 쌍과 GPT-4.1-mini, GPT-5-mini, GPT-5.1 등 세 가지 모델에 대한 680회의 심사 실행(judge runs)을 수행했습니다.

주요 평가 결과는 다음과 같습니다:

1. 성능 비교: 통계적 분석 결과, 특정 정확도 우위를 가진 단일 모델은 발견되지 않았습니다. 하지만 각 모델의 강점이 도메인별로 다르게 나타났습니다. GPT-4.1-mini가 평균 정확도(mean accuracy)에서 가장 높은 점수(0.583)를 기록한 반면, GPT-5.1은 완성도(completeness, 0.886)와 커버리지(coverage, 0.942) 측면에서 우수한 성능을 보였습니다.
2. 평가 방식의 중요성: Typed DeepEval과 같은 대조적 기준선(contrastive baseline)은 유지율 순서(retention ordering)를 잘 보존했지만, 전반적인 정확도(holistic accuracy)에서는 더 높은 수치를 보고했습니다. 이는 참조 기반 점수 산출 방식이 주장 근거가 없는 세부 정보 오류(unsupported-specifics errors)를 놓칠 수 있음을 시사합니다.
3. 도메인 분석: Whitehouse Press Briefings 도메인은 정확도 측면에서 가장 도전적인 영역으로 식별되었으며, 이 도메인에서는 미지원 세부 정보가 자주 발생했습니다.

결론적으로, 본 파이프라인은 AI 요약의 성능을 다각적이고 체계적으로 평가할 수 있는 강력한 프레임워크를 제공합니다. 이는 단순히 최고 점수를 받은 모델을 찾는 것을 넘어, 어떤 유형의 오류가 어느 도메인에서 발생하는지 근본적인 원인을 분석하는 데 큰 가치를 지닙니다.

(참고: 본 시스템은 오프라인 루프와 문서화에 중점을 두었으며, 온라인 피드백-평가 경로(online feedback-to-evaluation path)는 정량적으로 평가하지 않았습니다.)