「AI의 출력이 미묘한데... 그렇다고 몇 번씩이나 다시 수정하게 하는 건 번거롭고...」

이런 고민, 하고 계시지 않나요?

2026년 5월 6일, Anthropic이 Code with Claude 컨퍼런스에서 발표한 Outcomes 기능이 이 문제를 근본적으로 해결합니다.

Claude Outcomes는 "별도의 AI가 당신을 대신해 출력을 채점하고, 결과가 좋지 않으면 자동으로 수정하게 하는" 기능입니다.

사내 벤치마크 결과:

**태스크 성공률 +10포인트****Word 문서 품질 +8.4%**PowerPoint 품질 +10.1%

라는 충격적인 결과가 나왔습니다.

"출력을 체크해줘"라고 Claude 자신에게 부탁해 본 적 있으시죠?

이것은 거의 의미가 없습니다.

이유는 단순합니다. 자신의 추론 과정을 보면서 채점하기 때문에 관대해지기 때문입니다.

❌ 기존의 셀프 리뷰 (Self-review)
┌─────────────────────────────────────┐
│ Writer Claude │
...

Grader는 별도의 컨텍스트 윈도우 (Context Window)에서 동작하므로, Writer가 어떻게 생각해서 그 결론에 도달했는지 알지 못합니다.

이것이 '자기 채점(Self-grading)'을 방지하는 메커니즘입니다.

import anthropic
from dotenv import load_dotenv
BETAS = ["managed-agents-2026-04-01"]
...

writer = client.beta.agents.create(
name="Research Analyst",
model=MODEL,
...

session = client.beta.sessions.create(
agent={"type": "agent", "id": writer.id, "version": writer.version},
environment_id=env.id,
...

TASK = """
EV 급속 충전의 경제성에 대해 브리프를 작성해 주세요.
다음 내용을 포함할 것:
...

TERMINAL = {"satisfied", "max_iterations_reached", "failed", "interrupted"}
with client.beta.sessions.events.stream(session.id, betas=BETAS) as stream:
for ev in stream:
...

Outcomes의 위력은 루브릭 (Rubric)의 질에 의해 결정됩니다.

❌ 나쁜 예
"디맨드 차지(Demand Charge)에 대해 쓰여 있는지 확인"
✅ 좋은 예
...

# 나쁨: 모호함
"신뢰할 수 있는 정보원에서 인용할 것"
# 좋음: 구체적
...

실례: Grader가 "EVgo FY2024의 순손실" 인용을 거부한 경우

• Writer:
  sec.gov/Archives/edgar/.../R4.htm

(8-K Exhibit 99.1)를 인용 - Grader: "이것은 8-K 첨부된 보도자료입니다. 10-K 또는 10-Q를 인용해 주세요"

• Writer: EDGAR에서 10-K를 발견 → Pass 3에서 합격

이 구분이 루브릭에 명시되어 있었기에 기능했다!

❌ 나쁜 예
"web_fetch로 URL을 실행해 주세요"
✅ 좋은 예
...

RUBRIC += """
미러 사이트, 전재(reprint), 검색 스니펫을 통한 검증은 금지.
인용 URL 자체가 fetch 가능해야 함.
...

RUBRIC += """
【출력 포맷】
1행: Coverage N/7. Citations M/K verified.
...

RUBRIC += """
【채점 대상 외】
- 문체의 취향
...

시나리오	왜 Outcomes가 유효한가
리서치 리포트	인용 검증, 망라성 체크
법무 문서	조항 누락 방지
API 문서	엔드포인트 망라, 샘플 코드 검증
발표 자료	브랜드 가이드라인 준수, 데이터 정확성
코드 리뷰	테스트 커버리지, 보안 체크

Outcomes가 적합하지 않은 케이스

• 주관적인 톤(Tone)·스타일의 판단
• 인간의 최종 판단이 필요한 상황
• 단발성 검증 태스크

권장 설정

"max_iterations": 3 # 기본값. 대부분의 태스크에 적합

복잡한 리서치 태스크

...

튜닝 가이드라인:

• 동일한 문제에서 상한(Limit)에 도달할 경우 → 루브릭(Rubric)을 명확화
• 불필요한 수정이 계속될 경우 → 기준을 더욱 구체화

Outcomes는 Webhooks와 결합했을 때 진가를 발휘합니다.

# Console 설정
# Event types: session.status_idled, span.outcome_evaluation_end
# Webhook 수신 서버
...

Claude Outcomes의 핵심:

분리된 컨텍스트 (Separated Context) → 자기 채점(Self-grading) 방지 -
루브릭 주도 (Rubric-driven) → 모호함 제거 -
자동 수정 루프 (Automatic correction loop) → 인간의 개입 최소화 -
최대 +10%의 성공률 향상 → 실증됨

오늘부터 시도할 수 있는 3단계:

managed-agents-2026-04-01

베타 참여 - 기존 태스크를 루브릭 형식으로 재작성

max_iterations: 3

으로 실험 시작

이 글이 도움이 되었다면 「좋아요」 부탁드립니다!

Outcomes를 사용해 본 소감이나, 성공적이었던 루브릭 설계 노하우가 있다면 댓글로 알려주세요 👇

Outcomes: agents that verify their own work | Claude Cookbook

New in Claude Managed Agents: dreaming, outcomes, and multiagent orchestration | Claude

Code w/ Claude SF 2026: Building on the AI exponential | Claude