함수 호출(Function Calling)에서의 구조화된 출력 이득 귀속: 인터페이스 정렬(Interface Alignment) 대 절차적
요약
함수 호출(Function Calling) 시 발생하는 성능 향상이 모델의 기술적 능력인지, 단순한 인터페이스 준수 능력인지를 구분하기 위한 4단계 이득 귀속 프로토콜을 제안합니다. BFCL 등 다양한 벤치마크를 통해 구조화된 출력의 이득이 절차적 전이보다 인터페이스 정렬에 더 크게 기인함을 입증했습니다.
핵심 포인트
- 함수 호출 성능 향상의 원인을 분석하는 4단계 귀속 프로토콜 도입
- 구조화된 출력 이득이 인터페이스 정렬(Interface Alignment)에 더 기인함을 발견
- 형식 전용 프롬프트가 특정 벤치마크 셀에서 전체 기술과 유사한 성능을 보임
- 새로운 평가 지표인 BFCL-CANONICAL 공개
구조화된 출력(Structured-output) 벤치마크는 작업 결정(task decisions)과 인터페이스 준수(interface compliance) 모두에 보상을 부여하므로, 프롬프트로 유도된 함수 호출(function-calling) 이득은 전이 가능한 기술(transferable skill)로 해석되기 전에 귀속(attribution) 과정을 거쳐야 합니다. 우리는 정형화된 재점수화(canonicalized rescoring), 형식 전용 대조군(format-only controls), 수정/균형 잡힌 유도(repaired/balanced induction), 그리고 이식성 검사(portability checks)를 결합하여, 프롬프트 전치형 기술 주입(prompt-prepended skill injection)을 위한 4단계 이득 귀속 프로토콜을 도입합니다. Berkeley Function Calling Leaderboard (BFCL)에 적용하고 API-Bank, MATH-500, MultiHop-RAG를 통해 범위를 설정한 결과, 이 프로토콜은 몇몇 명백한 이득이 절차적 전이(procedural transfer)보다는 인터페이스 정렬(interface alignment)에 더 기인한다는 것을 보여줍니다. 즉, 형식 전용(format-only) 프롬프트가 주요 BFCL 셀에서 전체 기술과 일치하거나 이를 능가하며, 수정/균형 잡힌 유도(repaired/balanced induction)는 가장 큰 하위 프런티어(sub-frontier) 이득을 제거하고, API-Bank 타겟 네이티브(target-native) 이득은 길이 매칭된 일반적 절차적 프롬프트에 의해 0.5 퍼센트 포인트(pp) 이내로 일치됩니다. 이러한 발견은 형식 준수(format compliance)를 유용한 엔지니어링 능력으로 취급하는 동시에, 구조화된 출력 점수가 무엇을 인증하는지를 명확히 합니다. 우리는 BFCL-CANONICAL을 공개하며, 함수 호출 기술 이득 귀속을 위해 정형화된 지표(canonicalized metrics), 균형 잡힌 유도(balanced induction), 그리고 형식 전용 베이스라인(format-only baselines)을 권장합니다. 코드와 데이터는 https://github.com/couragec/skill-injection-attribution 에서 확인할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기