Oracle AI Agent Studio | 시리즈: Agent Studio 도구 실습

단 하나의 작은 프롬프트(Prompt) 수정을 테스트하기 위해 전체 에이전트 흐름(Agent flow)을 처음부터 끝까지 실행하며 10분을 허비한 적이 있나요? 만약 그렇다면, 그 특유의 고통을 잘 알고 계실 겁니다. 좋은 소식은, Oracle AI Agent Studio의 Edit in Playground 기능이 바로 그러한 반복 작업에서 여러분을 구출하기 위해 만들어졌다는 점입니다.

이 포스트에서는 Playground가 무엇을 가능하게 하는지, 에이전트 개발에 왜 중요한지, 그리고 브라우저 탭을 떠나지 않고 LLM 성능을 비교하는 실습 예제를 살펴보겠습니다.

"Edit in Playground"란 무엇인가?

Edit in Playground를 사용하면 전체 에이전트 팀 흐름(Agent team flow)을 처음부터 끝까지 실행할 필요 없이, Oracle AI Agent Studio 내에서 개별 AI 에이전트나 LLM 노드(Node)를 직접 격리하여 테스트할 수 있습니다.

이를 정밀한 테스트 환경이라고 생각하면 됩니다. 시스템 프롬프트(System prompt)를 조정할 때마다 5개의 에이전트로 구성된 파이프라인(Pipeline)을 매번 다시 실행하는 대신, 특정 노드를 타겟팅하여 변경 사항을 적용하고 즉시 결과를 확인할 수 있습니다.

이는 특히 다음과 같은 두 가지 일반적인 시나리오에서 매우 유용합니다:

• 프롬프트 또는 지침(Instructions) 반복 개선 — 상위 노드(Upstream nodes)가 완료될 때까지 기다릴 필요 없는 긴밀한 피드백 루프
• 멀티 에이전트 팀 내 특정 에이전트 격리 — 전체 체인(Chain)을 실행하지 않고 하나의 에이전트를 독립적으로 테스트

요약하자면: 디버깅 시간은 줄이고, 구축 시간은 늘리는 것입니다.

편의성 그 이상의 중요성

Playground가 도입되기 전에는 테스트와 관찰 가능성(Observability)을 위해 여러 단계의 우회 과정이 필요했습니다. 변경 사항을 적용하고, 전체 에이전트 팀을 실행한 다음, Monitoring 또는 Evaluation 도구로 전환하여 어떤 일이 일어났는지 — 각 단계에 시간이 얼마나 걸렸는지, 지연 시간(Latency)이 어디서 급증했는지, 모델이 실제로 무엇을 반환했는지 — 추적해야 했습니다.

Playground는 그러한 워크플로우를 하나로 통합합니다. 실시간 실행 추적(real-time execution traces)을 인라인(inline)으로 제공하므로, 작업 중인 바로 그 자리에서 시간 세부 내역을 확인할 수 있습니다. 컨텍스트 스위칭(context switching)이나 별도의 대시보드가 필요 없습니다.

실습: LLM 성능 나란히 비교하기

Playground가 왜 일상적인 워크플로우에서 중요한 위치를 차지하는지 정확히 보여주는 실질적인 예시를 소개합니다.

시나리오: 간단한 인사 정책(HR policy) 문의에 대해, 서로 다른 LLM 선택이 에이전트의 성능(출력 품질 및 응답 지연 시간(latency) 모두 포함)에 어떤 영향을 미치는지 이해하고자 합니다.

질문: "유급 휴가(PTO) 정책은 무엇인가요?"

실행 1 — GPT5 Mini (프리미엄 모델)

LLM으로 GPT5 Mini를 사용했을 때, 에이전트는 명확하고 구조화된 답변을 반환했습니다:

ABC Corporation에서는 귀하의 유급 휴가(PTO) 권한이 근속 연수에 따라 달라집니다. 근속 연수가 02년인 경우 연간 15일의 PTO를 받게 됩니다. 근속 연수가 35년인 경우 PTO는 연간 20일로 증가합니다. 6년 이상 근속한 직원은 연간 25일의 PTO 권한을 가집니다. PTO 외에도 매년 10일의 회사 공휴일과 5일의 병가를 받게 됩니다. 정책에 대한 구체적인 질문이나 최신 업데이트 사항은 HR 복리후생 팀(HR Benefits Team)에 문의하는 것이 가장 좋습니다.

GPT5 Mini Human output

추적 결과: 총 실행 시간 — 11.53초

GPT5 Mini Trace output

실행 2 — GPT-OSS (무료 티어 모델)

다른 모든 변수(동일한 프롬프트, 동일한 에이전트 지침, 동일한 입력)를 동일하게 유지한 채, LLM만 GPT-OSS(무료 티어 모델)로 변경했습니다:

ABC Corporation의 유급 휴가 (PTO) 정책은 근속 연수에 따라 정규직 직원에게 연간 PTO 일수를 제공합니다: 근속 02년은 15일, 35년은 20일, 6년 이상은 25일입니다. 자격은 채용일 다음 달의 첫째 날부터 시작됩니다. PTO 외에도 직원은 매년 10일의 유급 회사 공휴일과 5일의 유급 병가를 받습니다. 파트타임 직원은 비례 배분된 (prorated) 혜택을 받을 수 있습니다. 이 정책은 사용하지 않은 PTO에 대한 이월 규칙을 명시하지 않으므로, 연말 잔여 일수에 대해 궁금한 점이 있다면 인사팀 (HR)에 확인하는 것이 가장 좋습니다. 구체적인 세부 사항이나 업데이트 사항은 인사 복지 팀 (HR Benefits Team)에 문의하는 것을 권장합니다.

Trace 결과: 총 실행 시간 — 10.02초

Side-by-Side 비교

핵심 요약 (The takeaway): 이러한 유형의 정책 조회 (policy lookup) 쿼리의 경우, GPT-OSS는 추가적인 모델 비용 없이 동등한 결과를 제공하며 속도 또한 약간 더 빠릅니다. Playground의 사이드 바이 사이드 (side-by-side) 트레이스 (trace) 기능이 없었다면, 이러한 결론에 도달하기 위해 별도의 전체 흐름 (full-flow) 실행, Monitoring 도구를 통한 수동 로그 검토, 그리고 상당한 양의 스프레드시트 작업이 필요했을 것입니다.

하지만 여기서는 단 몇 분밖에 걸리지 않았습니다.

주요 이점 요약

더 빠른 반복 (Faster iteration) — 전체 에이전트 팀을 실행할 필요 없이 단일 노드 (single node)를 테스트할 수 있습니다. 과거에는 여러 단계의 디버깅 루프 (debugging loop)가 필요했던 작업이 이제는 집중적이고 타겟팅된 테스트로 변합니다.

인라인 실행 트레이스 (Inline execution traces) — Monitoring 또는 Evaluation 도구로 전환할 필요 없이, Playground 내부에서 즉시 타이밍 분석 (timing breakdowns) 및 단계별 가시성 (step-level visibility)을 확보할 수 있습니다.

실용적인 모델 벤치마킹 (Model benchmarking made practical) — LLM을 교체하되 다른 모든 조건은 일정하게 유지하여 결과를 나란히 비교할 수 있습니다. 이를 통해 어떤 모델을 사용할지, 그리고 비용은 어느 정도일지에 대해 정보에 기반한 증거 중심의 의사결정을 내릴 수 있습니다.

멀티 에이전트 팀 내에서의 격리된 에이전트 테스트 (Isolated agent testing in multi-agent teams) — 여러 에이전트가 협업하는 환경에서 Playground를 사용하면 다른 에이전트들에게 영향을 주지 않고 특정 에이전트 하나만을 검증할 수 있습니다.

마치며

실시간 결과 및 모델 간 사이드 바이 사이드 (side-by-side) 비교와 함께 단일 에이전트 노드를 격리, 테스트 및 트레이스 (trace)할 수 있는 능력은 Oracle AI Agent Studio에서 에이전트 개발에 접근하는 방식을 근본적으로 변화시킵니다.

전체 파이프라인 (full-pipeline) 디버깅은 줄어들고, 더 타겟팅된 증거 기반의 개선이 가능해집니다. 이는 충분히 가치 있는 변화입니다.

질문이 있거나 여러분만의 Playground 실험 결과를 공유하고 싶으신가요? 아래에 댓글을 남겨주세요. 언제든 의견을 나누고 싶습니다.