Agent Lab Journal

    Guides
...

      35분 읽기
      중급
      2026년 8월 1일 업데이트
...

      Function calling (함수 호출)은 모델이 호스트 애플리케이션에
      구조화된 인자(Arguments)를 사용하여 명명된 작업을 실행하도록
      요청하는 프로토콜입니다. 모델은 함수를 직접 실행하지 않습니다.
      모델은 ...

      핵심 규칙: 원시 요청(Raw requests)과 응답(Responses)을 기록하되,
      정규화된 표현(Normalized representation)에 대해 점수를 매기십시오.
      둘 다 없으면 제공업체의 구문(Syntax)이 비교를 왜곡할 수 있고,
      정규화 버그가 보이지 않을 수 있습니다.

      우리는 가상의 지원 워크플로우를 위한 세 가지 읽기 전용 도구를 테스트할 것입니다.
      실제 고객 데이터, 자격 증명 또는 측정된 제공업체 결과는 포함되지 않습니다.
      벤치마크는 사용자가 테스트하려는 모델에 대해 실행할 때 자체적인 증거를 생성합니다...

{
  "tools": [
    {
...

      이 도구 세트는 파괴적인 동작을 요구하지 않으면서도 다음과 같은 일반적인 문제들을 드러냅니다:
      중복되는 조회(lookup) 및 검색(search) 함수, 포맷팅된 식별자(identifiers), 열거형(enums), 제한된 정수(bounded integers), 선택적 기본값(optional defaults), 대문자 정규화(uppercase normalization), 그리고 반드시 형식을 갖춰야 하는 우편번호(postal codes) 등입니다.

      애플리케이션 전체에 걸쳐 특정 제공업체의 요청 객체(request object)를 복사하여 사용하는 것으로 시작하지 마십시오.
      작은 내부 표현(internal representation)을 정의한 다음, 각 LLM API의 경계(boundary)에서 이를 변환하십시오. 이렇게 하면 벤치마크에 단일 진실 공급원(source of truth)을 제공할 수 있습니다.

export type CanonicalTool = {
  name: string;
  description: string;
...

      파싱된 인자(arguments)는 검증(validation) 전까지 unknown 상태로 유지하십시오. 만약 어댑터(adapter)가 "750"을 750으로 캐스팅(cast)하거나, 예상치 못한 속성을 제거하거나, 점수를 매기기 전에 기본값을 제공한다면, 이는 모델의 실제 출력값을 숨기는 행위가 됩니다.

      제공업체들은 서로 다른 스키마 하위 집합(schema subsets)을 지원합니다. 주요 벤치마크는 다음과 같은 보수적인 구조로 시작하십시오:
      object, string, integer, number, boolean, array, properties, required, enum, 그리고 단순 범위(simple bounds). 고급 키워드(advanced keywords)는 별도로...

You are a support operations assistant.

Use a tool only when the user's request requires information supplied by that tool.
...

      이 텍스트를 버전이 관리되는 픽스처(fixture)에 저장하십시오. 공백(whitespace)의 변경, 추가적인 예시, 그리고 제공업체별 지침(provider-specific instructions)은 해롭지 않은 편집이 아니라 실험적인 변수(experimental variables)입니다.

      테스트 행(test row)에는 예상되는 함수 이름 이상의 정보가 필요합니다. 
      호출(call)이 예상되는지 여부, 허용 가능한 정확한 인자(arguments), 
      그리고 대안적인 동작이 왜 잘못되었는지를 명시해야 합니다.

{"id":"select-lookup-01","prompt":"Where is order ORD-104821?","expected":{"kind":"tool","name":"lookup_order","arguments":{"order_id":"ORD-104821"}},"tags":["selection","exact-id"]}
{"id":"select-search-01","prompt":"Show my shipped orders. My email is sam@example.test.","expected":{"kind":"tool","name":"search_orders","arguments":{"email":"sam@example.test","status":"shipped"}},"tags":["selection","enum"]}
{"id":"abstain-01","prompt":"Hello! What can you help me with?","expected":{"kind":"text"},"tags":["abstention"]}
...

      example.test와 같은 예약된 도메인(reserved domain) 및 합성 식별자(synthetic identifiers)를 사용하세요. 
      제안된 호출(proposed call) 단계 이후에 첫 번째 평가 단계가 중단되므로, 
      픽스처(fixture)에 실제 주문 데이터베이스가 있을 필요는 없습니다.

    
## 제공업체 요청 및 응답 정규화

  각 제공업체 어댑터(provider adapter)는 세 가지 책임을 가져야 합니다:

- 표준화된 도구(canonical tools)와 메시지를 제공업체 요청(provider request)으로 변환합니다.
    
- 텍스트, 거부(refusals), 오류, 그리고 제안된 모든 도구 호출(tool call)을 추출합니다.
    
- 진단을 위해 수정되지 않은 요청과 응답을 보존합니다.
    
    ```
      Runner의 나머지 부분을 제공업체에 독립적(provider-agnostic)으로 유지하십시오. 
      다음 인터페이스는 첫 번째 벤치마크를 수행하기에 충분합니다:
    ```
    

```typescript
export interface ModelAdapter {
  provider: string;
  model: string;
...

      'auto'라는 이름의 모드는 텍스트 또는 호출(call) 중 하나를 허용할 수 있습니다. 
      'required'라는 이름의 모드는 제공업체에 따라 모든 도구, 특정 도구, 
      또는 최소 하나 이상의 도구를 강제할 수 있습니다. 모든 항목 옆에 
      실제 의미론(semantics)을 문서화하십시오...

      OpenAI의 Function Calling 지원을 구현할 때, 현재의 요청 및 응답 변환 로직을 
      별도의 어댑터(adapter)로 격리하십시오. 표준 형식(canonical format)이 
      제공업체별 메시지 역할(message roles), 호출 ID(call IDs), 엄격함(strictness) 등에 
      의존하게 만들지 마십시오...

export function normalizeArguments(value: unknown): unknown {
  if (typeof value !== "string") return value;

...

      JSON 문자열을 파싱하는 것은 프로토콜 정규화(protocol normalization)입니다. 
      단위를 변환하거나, 열거형(enum) 철자를 수정하거나, 알 수 없는 키를 제거하거나, 
      타입을 변경하는 것은 의미론적 복구(semantic repair)입니다. 
      만약 운영 스택(production stack)에서 이러한 복구 작업을 수행한다면, 
      해당 복구 작업들에 대해 별도로 점수를 매기십시오.

      러너(runner)는 구성된 모든 모델에 대해 모든 케이스를 실행하고, 케이스를 반복하며, 
      추가 전용(append-only) 레코드를 작성합니다. 또한 선택 단계(selection stage) 동안에는 
      실제 비즈니스 도구를 절대 호출하지 않습니다.

type TestCase = {
  id: string;
  prompt: string;
...

      Temperature(온도)를 0으로 설정하면 변동성을 줄일 수 있지만, 이것이 결정론적 (deterministic) 동작을 보장하는 것은 아닙니다. 제공업체(Providers)는 서빙 인프라, 모델 버전, 또는 디코딩 내부 로직을 변경할 수 있습니다. 불안정성을 관찰할 수 있을 만큼 각 케이스를 충분히 반복하십시오.
...

function-benchmark/
├── fixtures/
│   ├── system.txt
...

mkdir function-benchmark
cd function-benchmark
npm init -y
...

      실제로 사용하는 어댑터에 대해서만 제공업체 SDK (provider SDKs)를 설치하고, lockfile에 해당 버전을 고정(pin)하십시오. 각 제공업체에 범위가 지정된 환경 변수 이름을 사용하는 것을 권장합니다. 
      Fixture, 결과 파일, 콘솔 스냅샷, 또는 버전 정보에 비밀 값을 절대 작성하지 마십시오.
...

{
  "datasetVersion": "1.0.0",
  "repeats": 5,
...

      동시성(concurrency)을 1로 시작하십시오. 그래야 속도 제한 (rate limits) 및 응답 순서를 진단하기가 더 쉽습니다. 베이스라인이 안정화된 후에만 동시성을 높이고, 이를 실험의 일부로 기록하십시오.

      단일 통과율 (pass rate)은 중요한 차이점을 숨깁니다. 어떤 모델은 올바른 도구 (tool)를 선택하지만 필요한 인자 (argument)를 임의로 만들어낼 수 있고, 다른 모델은 잘못된 작업에 대해 완벽한 인자를 생성할 수도 있습니다. 이들을 별개의 실패로 취급하십시오.

      LLM API가 요청을 수락했는지 여부를 기록합니다. 권장되는 카테고리는 다음과 같습니다:

      수정되지 않은 모델 인자 (model arguments)를 표준 스키마 (canonical schema)와 대조하여 검증하십시오. Ajv를 사용하는 방법은 다음과 같습니다:

import Ajv from "ajv";

const ajv = new Ajv({
...

      강제 형변환 (coercion), 기본값 삽입 (default insertion), 그리고 속성 제거 (property removal)를 비활성화한 것은 의도적인 설정입니다.
      이는 측정 전 검증기 (validator)가 출력을 임의로 개선하는 것을 방지하기 위함입니다.

      스키마 유효성 (Schema validity)은 필요조건이지만 충분조건은 아닙니다. 
      weight_grams: 1은 유효한 정수(integer)이지만, 사용자가 "1 kg"이라고 말했을 때는 틀린 값입니다. 
      검증 후에는 값을 테스트 케이스 (fixture)와 비교하십시오.

export function compareExpected(
  expected: Record<string, unknown>,
  actual: Record<string, unknown>,
...