안녕하세요, 저자입니다 (Idiap Research Institute 소속이며 Logitech과 공동 작업했습니다). 저희가 최근 DialFork를 출시했는데, 이곳 분들께 흥미로울 것 같아 공유합니다. 이 벤치마크는 LLM 에이전트의 실패 모드 중 놓치기 쉬운 부분을 측정하기 위해 만들어졌습니다. 즉, 매 턴(turn)마다 유창하고 사실적이며, 도구 호출(tool calls)도 정확하지만, 에이전트가 주어진 절차를 따르지 않는 경우입니다. 예를 들어, 날씨를 물어보면 예보를 가져오기는 하지만 (정확한 도구 호출), 사용자에게 알려주지 않고 대신 서비스 평점을 매기라고 묻는 식입니다. 대화형 절차의 대부분 단계는 도구 호출이 아니라 에이전트가 말해야 하는 것들, 즉 질문하기, 확인하기, 결과를 전달하는 것입니다. 에이전트가 이러한 단계를 벗어날 때, 우리는 이를 '절차적 환각(procedural hallucination)'이라고 부르며, 이는 사실적 정확도와 올바른 도구 사용과 함께 간과되어 온 세 번째 축입니다. 저희가 아는 한, DialFork는 이 축, 즉 에이전트가 무엇을 말해야 하고 그 순서에 초점을 맞춘 최초의 벤치마크입니다.
어떻게 구축되었는지 설명드리자면, 우리는 에이전트가 워크플로우를 따르는 대화(24가지 작업, 12개 도메인)를 시뮬레이션한 다음, 이를 분기(fork)합니다. 각 대화를 재현하면서 특정 턴에서 에이전트가 여러 가지의 상호 보완적인 방식으로 이탈하도록 지시합니다. 이를 통해 우리는 각각 어떤 이탈이 시작되고 얼마나 멀리 진행되는지 알 수 있는 36k개가 넘는 대화 데이터를 확보했으며, 이는 30명의 인간 주석가와 그들을 기반으로 보정된 LLM 심사관을 통해 검증되었습니다. 세 가지 작업(Task)을 제시합니다. 턴 단위부터 전체 세트까지 측정할 수 있습니다.
- 턴 (Task 3): 대화 전체 또는 전개되는 과정에 따라 턴별로 주어졌을 때, 이탈이 시작된 턴을 찾거나 이탈이 없다고 판단하는 것입니다. 실시간 가드레일(live guardrail) 역할을 하는 데 유용합니다.
- 대화 (Task 2): 정확한 대화와 그 환각 버전들이 주어졌을 때, 각각의 버전이 얼마나 멀리 이탈했는지 측정하는 것입니다. 버전이 일찍 이탈할수록 더 큰 거리를 보여야 합니다.
대화와 그 자체의 환각적 버전들은 같은 주제에 대해 이야기하지만, 이들을 구별하는 것은 전개 방식입니다. 오늘날 대화를 비교한다는 것은 임베딩(embeddings)과 의미적 유사성(semantic similarity)을 통해 그 내용을 비교하는 것을 의미합니다. 이 작업은 '절차적 거리(procedural distance)'라는 새로운 차원을 열어줍니다.
이는 대화가 무엇에 관한 것인지뿐만 아니라 어떻게 전개되었는지에 따라 대화를 검색하거나 클러스터링하는 데 유용합니다. 세트(Set) (작업 1). 정확한 대화 세트와 환각적 대화 세트를 주어진 후, 개별 대화를 일대일로 매칭하는 대신 두 세트 전체를 분포로 비교하여 단일 절차적 거리를 출력합니다.
이는 에이전트를 모니터링하는 데 유용하며, 예를 들어 모델 업그레이드 후 드리프트(drift)가 발생했는지 여부 또는 사용자 시뮬레이터의 대화가 실제와 같은 방식으로 전개되는지 여부를 확인할 수 있습니다. 개방된 문제들, 그리고 이를 추적하기 위한 리더보드가 마련되어 있습니다.
논문에서는 임베딩 기반 거리 측정부터 스트리밍 탐지기(streaming detectors), 그리고 제로샷 LLM(zero-shot LLMs)에 이르기까지 세 가지 작업 모두에서 최초의 결과를 보고합니다. 이들은 여전히 많은 연구 공간을 남겨두고 있습니다.
진행 상황을 추적하기 위해 각 작업은 Hugging Face의 공개 리더보드에 자체 트랙을 가지고 있으며, 방법을 추가하는 것은 단일 CSV 파일의 예측값만 필요합니다. 모든 것이 공개되어 있습니다(데이터, 코드, 논문의 모든 예측값, 그리고 인간의 판단). 저희는 이것이 커뮤니티에 유용한 출발점이 되기를 바랍니다: 리더보드: https://huggingface.co/spaces/DialFork/leaderboard 코드: https://github.com/idiap/dialfork 논문: https://arxiv.org/abs/2610.21561 데이터셋: https://huggingface.co/datasets/DialFork/dialfork 질문에 답변할 준비가 되어 있으며, 피드백(비판적인 내용 포함)을 환영합니다. 제출자 /u/sergbur [링크] [댓글]