Open-Weight LLM에서의 제약 비용: 구조화된 출력 제약 하에서의 도구 호출 억제에 관한 실증적 연구

도구 호출 (Tool Calling)과 구조화된 출력 (Structured Output)은 현대 에이전트 (Agent) 시스템의 두 가지 핵심 역량이지만, 이들이 결합되어 배포되는 조건에서의 상호작용은 아직 충분히 이해되지 않았습니다. 본 논문은 실제 운영 중인 에이전트 시스템에서 관찰된 재현 가능한 현상을 보고합니다. 즉, 도구 호출 (Tool Calling)과 JSON 스키마 (JSON Schema) 제약이 동시에 활성화될 때, 여러 오픈 웨이트 (open-weight) 모델들이 높은 스키마 준수율을 유지함에도 불구하고 도구 호출을 중단하는 현상이 발생합니다. 우리는 이러한 동작을 도구 억제 (Tool Suppression)라고 명명합니다. 다양한 모델 제품군과 배포 설정에 걸친 통제된 실험을 통해, 우리는 도구 실행과 스키마 준수가 각각 독립적으로 평가될 때는 정상적으로 작동함에도 불구하고, 결합된 제약 조건 하에서는 도구 억제 현상이 일관되게 재현됨을 확인했습니다. 추가 분석 결과, JSON 스키마 제약이 문법 기반의 토큰 마스크 (grammar-based token masks)로 컴파일되어, 디코딩 (decoding) 과정에서 도구 호출 토큰에 접근할 수 없게 만든다는 점을 밝혀냈습니다. 이는 관찰된 동작에 대한 구현 수준의 설명을 제공합니다. 이 현상을 해석하기 위해, 우리는 제약 우선순위 역전 (Constraint Priority Inversion, CPI) 가설을 수립하였으며, 이는 여러 제약이 동시에 존재할 때 스키마 충족이 행동 선택 동작을 지배할 수 있음을 시사합니다. 우리는 CPI를 검증된 내부 메커니즘이라기보다 관찰된 증거와 일치하는 행동 가설로 제시합니다. 이 문제를 완화하기 위해, 우리는 도구 실행을 스키마 제약이 적용된 응답 생성으로부터 분리하는 추론 시점 전략인 투명한 2패스 실행 (Transparent Two-Pass Execution)을 제안합니다. 실험 결과, 이 접근 방식은 모델 재학습 없이도 구조화된 출력 보장을 유지하면서 도구 호출을 복구함을 보여줍니다. 이러한 발견은 도구 사용과 구조화된 출력을 분리하여 평가하는 것이 실제 운영 중인 에이전트 시스템의 중요한 신뢰성 문제를 간과할 수 있음을 시사합니다. 코드, 데이터 및 문서는 https://github.com/Fzsama/Constrain-Tax-26-06.git 에서 공개될 예정입니다.