요청은 세 가지 시점에 실패할 수 있습니다: 요청을 보내기 전, 실행되는 동안, 또는 반환된 후입니다. 서로 다른 도구와 습관은 각기 다른 시점을 다룹니다. 이 디렉토리는 각 도구가 수행하는 역할에 따라 그룹화되었습니다.

직접 적용하는 방법론 (Methods you apply yourself)

이 방법들은 비용 없이 적용할 수 있으며, 도구를 사용하기 전에 몇 가지 흔한 실패 사례를 배제해 줍니다.

• 요청에 적합한 모델을 선택하세요. 작고 빠른 모델은 단순한 호출을 처리하고, 더 큰 모델은 추론 (Reasoning)을 처리합니다. 모든 것에 하나의 모델을 사용하는 것은 쉬운 호출에서 예산을 낭비하고, 어려운 호출에서는 속도 제한 (Rate limits)에 더 빨리 도달하게 만듭니다.
• 모델을 전환하기 전에 호환성을 확인하세요. 동일한 API 하에서도 두 모델이 서로 교체 가능한 경우는 드뭅니다. 수용 가능한 파라미터 (Parameters), 도구 처리 (Tool handling), 컨텍스트 크기 (Context size)가 다르므로, 교체 전 빠른 확인이 배포 오류를 방지합니다.
• 이동하는 별칭 (Aliases) 대신 명시적인 버전을 고정하세요. 현재 모델을 가리키도록 재지정되는 별칭은 경고 없이 변경될 수 있지만, 고정된 버전은 동작을 안정적으로 유지합니다.

모델 참조 (Model references)

빠른 선택을 위해 컨텍스트 창 (Context window), 파라미터 (Parameters), 비용, 기능 등을 한곳에서 확인할 수 있는 모델 사양이 필요합니다.

• modelparams.dev는 모델 파라미터의 커뮤니티 카탈로그입니다. 10개의 문서 탭을 여는 대신 한눈에 모델을 비교할 수 있도록 저희가 관리하고 있습니다.

구조화된 출력 및 검증 (Structured outputs and validation)

요청 또는 응답의 형태를 제한하면 제공자 (Provider)에게 도달하기 전에 대부분의 형식 오류를 배제할 수 있습니다.

• Instructor는 사용자의 스키마 (Schema)를 사용하여 LLM으로부터 검증되고 타입이 지정된 객체를 반환하며, 자동 재시도 (Automatic retries) 기능을 제공합니다.
• Outlines는 사후 파싱 (Parsing) 대신 생성 과정 중에 스키마를 준수하는 출력을 보장합니다.
• Pydantic은 위의 두 도구가 기반으로 삼는 데이터 모델을 정의하고 검증합니다.

런타임 시의 복구 및 라우팅 (Repair and routing at runtime)

방지(prevention) 단계를 통과한 요청이라도 프로덕션 환경에서는 여전히 문제가 발생할 수 있습니다. 제공업체의 속도 제한(rate-limit)이 걸리거나, 모델이 단종(retired)되거나, 한 제공업체는 수용하는 스키마(schema)를 다른 제공업체는 거부하는 등의 상황이 발생합니다. 라우팅(Routing)과 복구(repair)는 이러한 상황에서도 앱이 계속 작동할 수 있도록 유지해 줍니다.

• Manifest를 사용하면 무료 모델을 기본(primary)으로 설정하고, 본인의 API 키 모델을 폴백(fallback)으로 설정할 수 있어, 무료 모델이 한도에 도달하면 트래픽이 자동으로 전환됩니다. 또한, 실패한 요청을 포착하여 패치(patch)한 뒤 수정된 버전을 다시 전송하는 Auto-fix 기능도 구축 중입니다. 현재 얼리 액세스(early access) 단계에 있습니다.

가드레일 (Guardrails)

콘텐츠 체크(Content checks)는 응답에서 안전성(safety) 또는 정책(policy) 문제를 포착합니다.

• Guardrails AI는 독성(toxicity), 개인정보(PII), 형식 준수(format compliance)와 같이 설정 가능한 규칙에 따라 입력과 출력을 검증합니다.
• NeMo Guardrails는 주제(topics), 안전성(safety), 대화 흐름(dialogue flow)을 위한 프로그래밍 가능한 레일(rails)을 추가합니다.

관측 가능성 및 트레이스 (Observability and traces)

트레이스(trace)는 모든 요청에서 발생한 일을 기록합니다. 무엇이 고장 났는지 확인하고, 위에서 언급한 런타임 도구들을 사용하여 이를 수정할 수 있습니다.

• Langfuse는 모든 LLM 호출, 도구 호출(tool invocation), 지연 시간(latency)을 타임라인에 기록하는 오픈 소스(open source) 도구입니다.
• Arize Phoenix는 RAG 및 다단계 에이전트(multi-step agents)에 대한 강력한 지원과 함께 오픈 소스 트레이싱(tracing) 및 평가(evaluation) 기능을 제공합니다.
• Datadog LLM Observability는 LLM 트레이스, 오류, 비용을 나머지 인프라와 동일한 플랫폼으로 가져옵니다.

평가 및 회귀 테스트 (Evaluation and regression testing)

모델과 프롬프트(prompt)의 변경은 품질의 드리프트(drift)를 유발합니다. 테스트 스위트(test suite)는 이러한 품질 저하가 프로덕션에 도달하기 전에 드러내 줍니다.

• Promptfoo는 설정 파일(config file)을 기반으로 프롬프트와 모델에 대해 일련의 테스트 케이스를 재실행하며, CI(지속적 통합)에 연결할 수 있습니다.
• Braintrust는 프롬프트와 모델의 변경 사항을 점수화(score)하며, 품질이 저하될 경우 배포(deploy)를 차단할 수 있습니다.

구성 요소들의 결합 방식 (How the pieces fit)

각 카테고리는 서로 다른 시점을 다룹니다. 방법론 (Methods)과 카탈로그 (Catalogs)는 실행을 보내기 전에 선택을 돕습니다. 구조화된 출력 (Structured outputs)은 형태를 제한합니다. 라우팅 (Routing)과 복구 (Repair)는 실행 과정에서 여전히 발생하는 오류를 잡아냅니다. 관찰성 (Observability)과 평가 (Evals)는 근본적인 원인에서 무엇을 수정해야 할지 알려줍니다. 각 시점에서의 커버리지 (Coverage)는 단일 제품만으로 충족되는 경우가 드뭅니다.