대부분의 AI 파이프라인 (pipelines)은 모든 작업에 단 하나의 모델을 사용합니다.

하나의 모델이 작업을 계획하고, 조사를 수행하며, 답변을 작성하고, 자신의 작업물을 스스로 검토합니다. 이는 마치 한 명의 사람을 고용하여 전략가, 조사관, 분석가, 그리고 감사인 역할을 동시에 수행하게 하는 것과 같습니다. 이는 확장성 (scale)이 떨어지며, 더 중요한 점은 모델이 자신의 의견에 반대할 상대가 없다는 것입니다.

PolyBrain은 이에 대한 저의 해답입니다. 이것은 Hermes Agent를 위한 오픈 소스 멀티 에이전트 (multi-agent), 멀티 모델 오케스트레이션 (multi-model orchestration) 스킬입니다. 목표를 부여하면, 작업을 역할별로 분해하고, 가능한 경우 병렬로 실행하며, 출력물을 합성하고, 사용자에게 전달되기 전에 인용된 출처를 바탕으로 모든 주장을 검증합니다.

전체 과정은 다음과 같습니다.

파이프라인 (The pipeline)

목표 (Objective) -> 오케스트레이터 (Orchestrator) -> [조사관 1 (Researcher 1) + 조사관 2 (Researcher 2) + 빌더 (Builder)] -> 합성기 (Synthesizer) -> 검증기 (Verifier) -> 최종 답변 (Final Answer)

다섯 가지의 뚜렷한 역할이 있습니다. 각 역할은 정확히 한 가지 일만 수행합니다:

• 오케스트레이터 (Orchestrator) - 목표를 읽고, 이를 JSON 작업 계획으로 분해하며, 역할을 할당합니다.
• 조사관 (Researcher) - 웹 검색 및 인용을 수행하며, 인용되지 않은 주장은 허용되지 않습니다.
• 빌더 (Builder) - 코드, 터미널 및 파일 작업을 수행합니다.
• 합성기 (Synthesizer) - 모든 출력물을 하나의 일관된 결과물로 병합합니다.
• 검증기 (Verifier) - 모든 주장을 출처와 대조하여 확인하고, 주장별로 PASS/FAIL을 반환합니다.

병렬 단계 (parallel phase)에서 시간 절약이 이루어집니다. 조사관 1과 조사관 2는 동시에 실행됩니다. 합성기는 두 조사관이 모두 완료된 후에만 작동합니다. 검증기는 마지막에 실행됩니다.

차별점

역할별 서로 다른 모델 사용

이 부분은 대부분의 오케스트레이션 프레임워크 (orchestration frameworks)가 수행하지 못하는 기능입니다.

config.yaml에서 각 역할에 서로 다른 모델과 제공자 (provider)를 할당할 수 있습니다. 조사관에게는 더 저렴하고 빠른 모델을 할당합니다. 검증기에게는 더 강력한 모델을 할당합니다. 오케스트레이터에게는 구조화된 JSON 출력을 위해 당신이 가장 신뢰하는 모델을 할당합니다.

models:
  orchestrator: "your-model"
  researcher: "your-model"
...

무엇을 어디로 보낼지는 여러분이 결정합니다. PolyBrain은 이를 강제하지 않습니다. 왜냐하면 정답은 여러분이 무엇을 실행하고 있는지, 비용을 얼마나 지불하고 있는지, 그리고 실제로 무엇을 신뢰하는지에 따라 달라지기 때문입니다.

인용 강제 (Citation enforcement)

연구자 (Researchers)는 반드시 URL을 포함해야 합니다. 인용되지 않은 주장은 합성기 (Synthesizer) 단계로 넘어가지 못하며, 소스 단계에서 즉시 탈락합니다. 이는 프롬프트 내의 부드러운 제안이 아닙니다. 구조적인 방식입니다. 검증기 (Verifier)가 살아남은 각 주장을 인용된 소스와 대조하여 판결을 내립니다.

아래의 실행 예시에서, 검증기는 Azure 매출 수치에서 실제 데이터 불일치를 잡아냈습니다. 이것이 핵심입니다. 여러분은 반박하고 검증하는 무언가를 원하기 때문입니다.

아티팩트 로깅 (Artifact logging)

모든 실행은 타임스탬프가 찍힌 폴더를 저장합니다:

.hermes/plans/polybrain/20260528_191548/
├── orchestrator.json
├── task_t1.md
...

각 역할이 정확히 무엇을 생성했는지, 그리고 최종 답변이 왜 그런 형태를 갖추게 되었는지 감사(Audit)할 수 있습니다.

실제 사례

목표: "매출 트렌드에 대한 세 가지 불렛 포인트와 두 명의 경쟁사를 포함하여 Apple에 대한 시장 브리프를 작성하라."

오케스트레이터 (Orchestrator)는 이를 네 가지 작업으로 분해합니다 - 두 개의 병렬 연구자 (Researchers), 하나의 합성기 (Synthesizer), 하나의 검증기 (Verifier).

t1 (Researcher) - 매출 트렌드 - SEC 공시 자료와 Apple 뉴스룸에서 정보를 가져옵니다. 각 항목에 대한 소스 URL과 함께 3년간의 매출 수치($383.3B -> $391.0B - $416.2B)를 반환합니다.

t2 (Researcher) - 경쟁사 프로필 - Samsung (하드웨어/스마트폰) 및 Microsoft (클라우드/AI). 매출 맥락과 경쟁 포지셔닝을 모두 인용하여 제공합니다.

두 작업은 동시에 실행됩니다.

t3 (Synthesizer) - 두 출력을 깔끔한 브리프로 병합합니다. 인라인 인용 (Inline citations)을 유지하며, 인용되지 않은 모든 내용은 삭제합니다.

t4 (Verifier) - 모든 주장을 소스와 대조하여 확인합니다. 경쟁사의 클라우드 매출 수치에서 불일치를 발견하여 표시하고, 증거와 함께 수정된 불렛 포인트를 제공합니다.

총 실행 시간: 약 4분. 병렬 연구 단계: 약 2분.

시작하기

Hermes 스킬 폴더로 클론(Clone)하세요

git clone --depth=1 https://github.com/mosesman831/PolyBrain.git /tmp/polybrain
cp -r /tmp/polybrain ~/.hermes/skills/research/polybrain
...

Use PolyBrain to research Apple's latest earnings and competitors

그다음 Hermes에게 원하는 것을 말하기만 하면 됩니다:

Use PolyBrain to research Apple's latest earnings and competitors

Hermes가 스킬을 로드하면, PolyBrain이 나머지를 처리합니다.

할 수 없는 것 (아직은)

• 실행 간 지속적인 상태(Persistent state) 유지 불가 - 실행 도중 충돌이 발생하면 처음부터 다시 시작해야 합니다. Hermes Kanban은 내장된 방식으로 내구성이 있는 상태(Durable state)를 처리하지만, PolyBrain은 아직 여기에 연결되지 않았습니다.
• 일부 모델이 서브 에이전트(Subagent) 호출 시 멈춤 현상 발생 - 특정 모델을 역할(Role)에 할당하기 전에 hermes chat -q "ping" -m your-model 명령어로 테스트해 보세요.
• 검증기(Verifier)가 가끔 숫자를 잘라낼 수 있음 - PASS/FAIL 판정은 구조적으로 정확하지만, 일부 모델은 보고서 텍스트 내 달러 금액에서 앞자리 숫자를 제거하기도 합니다.

이런 방식으로 구축한 이유

단일 모델 파이프라인(Single-model pipelines)에는 한계가 있습니다. 모델은 스스로를 의미 있게 비판할 수 없습니다. 의견의 불일치도, 검증 계층(Verification layer)도 없으며, "연구를 수행하는 것"과 "연구를 검토하는 것" 사이의 분리도 존재하지 않습니다.

PolyBrain은 서로 다른 역할에 서로 다른 모델이 이롭다는 아이디어를 중심으로 구축되었습니다. 또한 오케스트레이션 계층(Orchestration layer)의 가치는 바로 모델 스스로는 유지하기 어려운 구조를 강제한다는 점에 있습니다.

이것은 Hermes 스킬이며, 설정 기반(Config-driven)이고, 오픈 소스입니다. Hermes Agent를 실행 중이고 이를 시도해보고 싶다면:

GitHub: github.com/mosesman831/PolyBrain

피드백은 언제나 환영합니다. 특히 특정 역할에 잘 작동하는 모델을 발견하신다면 더욱 좋습니다.

이 기사는 저의 문서, 설정 및 터미널 출력을 바탕으로 AI의 도움을 받아 작성되었습니다.

Made with ❤️ by LatticeAG