Tool use는 LLM을 훈련 데이터 범위를 넘어 행동하는 에이전트로 변환시키며, 코드 기능을 갖춘 모델에게 있어 프로그래밍 방식 도구 호출(programmatic tool calling)은 경직된 JSON 호출을 자연스럽게 연결하고 병렬화하는 스크립트로 대체함으로써 이를 더욱 확장합니다. 하지만 현재 및 이전 세대의 모델들을 대상으로 실제 세계 과제 조건에서 확립된 벤치마크 위에서 코드로의 도구를 체계적으로 평가한 연구는 수행되지 않았습니다. 본 연구에서는 BFCL v4를 사용하여 14개의 언어 모델에 걸쳐 프로그래밍 방식 도구 호출(PTC)과 네이티브 JSON 도구 호출을 경험적으로 비교합니다. 프로그래밍 방식 도구 호출 패러다임에서는 도구가 타입 지정된 Python 스텁으로 노출되며, 모델은 이를 코드를 통해 호출하고 실행 및 결과는 단일 에이전트 턴에서 처리됩니다. 프로그램 방식 도구 호출은 BFCL v4의 14개 모델 중 11개에서 네이티브 JSON 도구 호출과 같거나 능가하는 성능을 보였으며, 특히 GPT-5.6 계열은 JSON 도구 호출 기준선 대비 10.6% 향상을 달성했습니다. 나아가, 병렬 팬아웃(parallel fan-out) 조건에서도 14개 모델 중 13개에서 같거나 우수한 성능을 보였고, 기준선이 평균 2.3% 저하되는 컨텍스트 로트(context rot) 조건에서도 안정성을 유지했습니다. 우리의 결과는 프로그래밍 방식 도구 호출이 JSON 도구 호출의 실행 가능하고 견고한 대안임을 입증하며, 성능이 출시 세대에 걸쳐 모델 역량에 따라 추적됨을 보여줍니다.