Molayo

© 2026 Molayo

Dev.to헤드라인2026. 05. 26. 18:00

내 Hermes Agent는 어떤 계약서가 법적 검토를 필요로 하는지 결정하지 못했다. 하나의 Planning Layer가 이를 해결했다. 📑🤖

요약

Hermes Agent를 활용하여 기업용 계약서 검토를 자동화하는 지능형 에이전트 구축 사례를 소개합니다. 초기 모델의 과도한 오탐 문제를 해결하기 위해 신뢰도 기반의 결정 레이어(Planning Layer)를 도입하여 실용적인 워크플로우를 구현했습니다.

핵심 포인트

  • Hermes Agent 기반의 기업용 계약 지능 에이전트 구축
  • 단순 텍스트 추출을 넘어 계획, 도구 호출, 위험 추론 수행
  • 신뢰도 점수(Confidence Score) 도입으로 오탐 문제 해결
  • 계약 유형 감지부터 경영진 요약까지 이어지는 워크플로우 설계

이 글은 Hermes Agent Challenge: Build With Hermes Agent를 위한 제출물입니다.

내 Hermes Agent는 어떤 계약서가 법적 검토를 필요로 하는지 결정하지 못했다. 하나의 Planning Layer가 이를 해결했다. 📑🤖

내가 만든 것

기업용 AI 에이전트 (Enterprise AI agents)를 실험하던 중, 공통적인 문제를 발견했습니다:

계약서 검토는 고통스러울 정도로 수동적입니다.

공급업체 계약서 (Vendor agreements), 비밀유지계약서 (NDAs), 기본 서비스 계약서 (MSAs), 작업 기술서 (SOWs) 등은 법무 팀이 다음과 같은 사항을 수동으로 검사해야 하는 경우가 많습니다:

  • 누락된 조항 (missing clauses)
  • 불분명한 책임 (unclear liabilities)
  • 컴플라이언스 격차 (compliance gaps)
  • 해지 조건 (termination conditions)
  • 서비스 수준 협약 (SLA) 정의

나는 다음과 같은 질문을 던지고 싶었습니다:

AI 에이전트가 무엇을 검토할지, 그리고 언제 에스컬레이션 (escalate)할지를 지능적으로 결정할 수 있을까?

그래서 나는 **Hermes Agent를 기반으로 하는 기업용 계약 지능 에이전트 (Enterprise Contract Intelligence Agent)**를 구축했습니다.

단순히 계약서에서 텍스트를 추출하는 대신, 이 에이전트는 작업을 계획(plan)하고, 도구(tools)를 호출하며, 위험 요소를 추론하고, 계약서가 실제로 법적 검토를 필요로 하는지 결정합니다.

흥미로운 점은 무엇일까요?

나의 첫 번째 버전은 처참하게 실패했습니다.

Hermes Agent는 거의 모든 계약서를 에스컬레이션했습니다.

비밀유지계약서 (NDAs).

공급업체 계약서 (Vendor agreements).

심지어 저위험 계약서까지도 말이죠.

기술적으로 시스템은 작동했습니다.

하지만 실용적으로는?

완전히 사용할 수 없는 수준이었습니다.

문제는 단순했습니다:

에이전트에게 신뢰도 기반의 결정 레이어 (confidence-based decision layer)가 부족했던 것입니다.

단 하나의 조항이라도 위험해 보이면, Hermes는 즉시 에스컬레이션했습니다.

그것이 너무 많은 오탐 (false positives)을 만들어냈습니다.

그래서 나는 워크플로우 (workflow)를 재설계했습니다.

이제 Hermes Agent는 다음과 같이 동작합니다:

  1. 업로드된 계약서 읽기
  2. 계약 유형 감지
  3. 조항 추출
  4. 위험 신호 식별
  5. 신뢰도 점수 (confidence score) 계산
  6. 에스컬레이션 필요 여부 결정
  7. 경영진 요약 (executive summary) 생성

결과:

이제 Hermes는 규칙 기반 스크립트 (rule-based script) 대신 실제 기업 분석가 (enterprise analyst)처럼 훨씬 더 똑똑하게 행동합니다.

출력 예시:

Contract Type:
Vendor Agreement

...

저위험 계약서의 경우:

Contract Type:
NDA

...

데모

워크플로우 (Workflow)

Contract PDF
        ↓
Hermes Master Agent
...

에이전트 계획 (Agent Plan) 예시

  1. 업로드된 계약서 읽기
  2. 계약 유형 식별
  3. 중요 조항 추출
    ...

(스크린샷/비디오 워크스루 곧 추가 예정 🚀)

코드 (Code)

Repository:

의사결정 로직 예시:

class ContractDecisionAgent:

    def should_escalate(_
...

나의 기술 스택 (My Tech Stack)

  • Hermes Agent
  • Python
  • Azure Document Intelligence
  • PDFPlumber
  • PyPDF
  • FastAPI / Streamlit
  • LangChain
  • OpenAI / Azure OpenAI

Hermes Agent 활용 방법

Hermes Agent는 시스템의 중심에 위치합니다.

워크플로우를 하드코딩하는 대신, 저는 다음과 같은 목적으로 Hermes를 사용했습니다:

1. 계획 (Planning)

Hermes는 작업을 더 작은 추론 단계 (reasoning steps)로 나눕니다.

예시:

계약서 읽기
↓
유형 결정
...

2. 도구 사용 (Tool Use)

Hermes는 여러 도구를 동적으로 호출합니다:

parse_pdf()

extract_clauses()
...

계약 유형에 따라 서로 다른 추론 경로 (reasoning paths)가 필요하며, Hermes는 다음에 무엇을 할지 동적으로 선택합니다.

3. 다단계 추론 (Multi-Step Reasoning)

이 에이전트는 단순히 문서를 요약하는 것에 그치지 않습니다.

다음 사항들을 통해 추론합니다:

  • 누락된 법적 조항 (missing legal clauses)
  • 비즈니스 리스크 (business risk)
  • 신뢰 수준 (confidence levels)
  • 에스컬레이션 결정 (escalation decisions)

이는 AI 에이전트의 훨씬 더 현실적인 기업용 유스케이스 (enterprise use case)처럼 느껴졌습니다.

이 프로젝트를 구축하며 얻은 큰 교훈 하나는 다음과 같습니다:

에이전트 시스템 (Agentic systems)은 단순히 텍스트를 생성하는 것이 아니라, 다음에 무엇을 할지 결정할 수 있을 때 비로소 유용해진다.

그 지점이 바로 저에게 Hermes Agent가 진정으로 돋보였던 부분입니다.

읽어주셔서 감사합니다 🚀

hermesagentchallenge #devchallenge #agents #python

AI 자동 생성 콘텐츠

본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0