Gemma 4 채팅 템플릿 툴 관련 버그 발견 및 수정

요약 (TLDR): 일반적인 JSON 스키마 패턴 anyOf: [$ref, null] 을 사용하는 툴 파라미터가 프롬프트로 렌더링될 때 빈 type 필드로 변환됩니다. 이는 모델이 이를 볼 전까지 유용한 스키마 정보를 제거합니다.

---

상세 버전 (Long version):

Gemma 4 는 >3 개의 추론 엔진에서 내 커스텀 MCP 툴을 호출할 때 문제가 발생했습니다. 반면 Qwen3.5 와 gpt-oss-20b 는 정상적으로 작동했습니다.

저는 이것이 채팅 템플릿 문제이거나 추론 라이브러리의 에지 케이스 (edge case) 문제일 것이라고 추측하고, 많은 사람들이 Gemma 4 를 에이전트로 사용하길 좋아한다고 생각하여 시간이 해결될 것이라 믿었습니다.

하지만 최소 2 주가 지났고, 저는 스스로 조사할 수밖에 없었습니다.

내가 한 작업:

1. macbook pro 에서 Qwen3.5-27B-Q4_K_M 와 gemma-4-31B-it-Q4_K_S 를 동일한 프롬프트/툴로 실행하며 llama-server 를 통해 상세 로그 파일을 생성했습니다.
2. codex CLI 의 GPT-5.5-high 에 로그를 읽게 하여 문제를 진단하게 했습니다.
3. 몇 분 만에 문제를 찾았습니다: 기본 Gemma 채팅 템플릿은 툴 파라미터가 직접적인 type 필드를 가진다고 가정합니다. 이는 top-level type 이 없는 JSON 스키마 형태 (예: nullable refs) 와 호환되지 않습니다:

{"anyOf": [{"$ref": "#/$defs/SomeObject"}, {"type": "null"}]}

유용한 구조는 anyOf 와 $defs 내부에 있습니다. 템플릿은 anyOf, $ref, $defs 를 제거한 후 type: "" 로 렌더링합니다.

4. 채팅 템플릿 jinja 의 작은 변경으로 수정되었습니다. 이제 Gemma 는 내 툴을 완벽하게 호출합니다!

어쨌든 저는 HF 에 PR 을 만들었습니다. google/gemma-4-31B-it.

<업데이트>

제가 해결한 것은 직접적인 top-level type 을 통해 의미를 노출하지 않는 JSON 스키마 형태의 여러 문제 중 하나일 뿐입니다. 제가 jinja 를 업데이트하여 다음과 같은 문제를 해결했습니다:

이제 jinja 는 다음을 보존합니다:

• $ref
• anyOf
• oneOf
• allOf
• $defs
• enum
• const
• type: ["string", "null"]
• 배열 또는 객체를 포함하는 type 배열에 대한 items / properties
• null 값을 null 로

수정된 jinja:
https://pastebin.com/tBAHN6FV