질문

이것은 pydantic-ai를 사용하는 동안 가질 수 있는 가장 큰 단일 기술적 질문입니다:

pydantic-ai가 Ollama의 /v1/chat/completions를 통해 output_type을 깔끔하게 라운드 트립(round-trip) 방식으로 준수할까? 만약 그렇다면, 구조화된 출력 (structured output)을 신뢰할 수 있다.

만약 불가능하다면, 응답 이후에 애플리케이션에서 수동 검증 및 강제 적용 방식을 사용해야 합니다. 하지만 다행히도 그렇지 않습니다 😅.

스택

• llama3.2:1b
• Ollama 0.17.7
• Python: 3.12

결과

다음과 같은 상황을 가정해 봅시다:

from __future__ import annotations

from pydantic_ai import Agent
...

NativeOutput이 작동합니다: pydantic-ai는 response_format={"type": "json_schema", ...}를 전송하고, Ollama의 OpenAI 호환 (OpenAI Compatible) 레이어가 이를 준수합니다. 유효한 WordExplanation이 반환되었습니다.

검증에 사용한 스크립트

from __future__ import annotations

import asyncio
...

그리고 compose.yml:

services:
  ollama:
    build:
...

또한 ollama/Dockerfile을 생성해야 합니다:

# 개발자들이 모델을 반복해서 클론하지 않고도 작업할 수 있도록 여기에는 독립적으로 유지했습니다.

FROM ollama/ollama:0.17.7
...

그리고 ollama/healthcheck.sh:

#!/bin/sh
set -eu

...

마지막으로 ollama/prepull-model.sh:

#!/bin/sh
set -eu

...