판정관들은 참조를 따른다: 도구 호출 인자 검증에서의 유도 격차
요약
본 연구는 LLM 에이전트가 제안하는 도구 호출 인자 값의 검증 과정에서 '유도 격차(derivation gap)'라는 현상을 발견했습니다. 이는 입력에 해당 값이 무엇인지 명시적인 참조 텍스트가 없을 때 판정관들이 올바른 값을 받아들이는 빈도가 떨어진다는 것을 의미합니다. 연구진은 DeRef라는 새로운 모델을 제안하여, 후보 값 없이 전체 기록을 읽어 판정관용 참조를 작성함으로써 이 격차를 해소하고 성능을 크게 향상시켰습니다.
핵심 포인트
- 도구 호출 인자 검증 시 '유도 격차'가 발생함.
- 참조 텍스트 부재는 LLM 에이전트의 성능 저하 원인임.
- DeRef 모델은 참조를 생성하여 판정관의 AUROC를 크게 개선함.
- 판정관들은 눈에 보이는 잘못된 값보다 출처를 따른다는 것을 입증함.
도구 호출 판정관(Tool-call judges)은 LLM 에이전트가 제안하는 인자 값들을 평가합니다. 우리는 입력에 해당 값에 대한 참조 텍스트, 즉 그 값이 무엇이어야 하는지 말하는 텍스트가 없을 때, 판정관들이 올바른 값을 받아들이는 빈도가 낮다는 것을 발견했습니다. 이는 사용자가 언급하지 않은 함수 스키마의 기본값(default value)이거나, 추론해야 하거나, 또는 해당 텍스트가 판정관 입력에서 잘려나간 경우에 발생합니다. 우리는 이러한 수용률 저하를 '유도 격차(derivation gap)'라고 부릅니다. 이 격차는 우리가 평가한 모든 일곱 개의 판정관, System One 모델인 CLM과 Jev를 포함하여 나타납니다. 이 격차는 단순한 잘림 아티팩트가 아닙니다. 올바른 기본값들이 잘림이 없는 벤치마크에서 가장 큰 격차를 보입니다. 통제된 출처 재배치 테스트(controlled source-relocation test)는 판정관들이 입력의 참조를 따른다는 것을 보여줍니다: 그들은 숨겨진 출처를 가진 올바른 값보다 눈에 보이는 잘못된 값을 선호합니다. 우리는 DeRef (Derived Reference): 후보 값을 보지 않고 전체 기록을 읽어 판정관을 위한 참조를 작성하는 별도의 모델을 소개합니다. 세 가지 벤치마크 전반에 걸쳐, DeRef는 테스트된 모든 판정관의 전반적인 인자 AUROC를 향상시킵니다. 통제된 테스트에서는 AUROC를 우연 수준 또는 그 이하에서 98.40과 99.59 사이로 끌어올립니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기