Molayo

© 2026 Molayo

Dev.to헤드라인2026. 06. 28. 00:12

AI 에이전트를 위한 이중 풀(Dual-Pool) 적대적 리뷰 시스템 구축 — 그리고 실제로 작동합니다

요약

추상적인 역할 대신 실제 인물의 철학을 가진 페르소나를 활용하는 이중 풀(Dual-Pool) AI 에이전트 리뷰 시스템을 소개합니다. 고정된 전문가 풀과 웹 검색 기반의 랜덤 풀을 교차 운용하여 리뷰의 구체성과 의외성을 동시에 확보합니다.

핵심 포인트

  • 추상적 역할이 아닌 실제 인물의 철학을 반영한 페르소나 사용
  • 안정적인 고정 풀과 의외성을 제공하는 랜덤 풀의 교차 오케스트레이션
  • 웹 검색을 통해 매 세션마다 새로운 페르소나를 동적으로 확보
  • 실제 오픈소스 PR 테스트를 통해 기존 시스템 대비 높은 발견율 검증

AI 코드 리뷰에는 문제가 있습니다: 추상적인 역할은 일반적인 피드백만을 생성합니다. "사보추어(Saboteur)"는 "에러 핸들링을 추가하세요"라고 말합니다. "신입 사원(New Hire)"은 "이 부분은 혼란스럽습니다"라고 말합니다. 유용한가요? 가끔은 그렇습니다. 구체적인가요? 거의 그렇지 않습니다.

저는 다른 것을 만들었습니다: 추상적인 역할 대신 검색 가능한 철학을 가진 실제 엔지니어를 사용하는 리뷰 시스템입니다. Linus Torvalds는 "에러 핸들링을 고려하세요"라고 말하지 않습니다. 그는 "예외 케이스를 완전히 제거하세요"라고 말합니다. 이것은 단어 선택의 차이가 아닙니다. 완전히 다른 행동입니다.

핵심 아이디어: 두 개의 풀(Pool), 교차 오케스트레이션(Cross-Orchestrated)

고정 풀 (Fixed Pool, 수렴)          랜덤 풀 (Random Pool, 발산)
디지털 트윈 매칭                   매번 웹 검색을 통한 최신화
안정성 및 깊이                     의외성 및 사각지대 커버리지
...

고정 풀 (Fixed Pool)

사용자의 전문성, 성격 및 목표에 맞춰 큐레이션된 9명의 작업자(workers)와 2명의 매니저(managers)로 구성됩니다. Patty McCord(전 Netflix 최고 인재 책임자)와 Ed Catmull(Pixar의 Braintrust 창시자)은 고정된 템플릿을 사용하는 대신 작업별로 팀을 모집하는 매니저 역할을 수행합니다.

랜덤 풀 (Random Pool)

매 세션마다 웹 검색을 통해 새로운 페르소나(personas)를 가져옵니다. 미리 설정된 목록은 없습니다. 매니저가 작업에 필요한 내용을 바탕으로 검색 키워드를 정의합니다. 여기서 의외의 결과가 나옵니다.

한 라운드의 작동 방식

  1. 매니저 선출: 풀에서 매니저를 뽑습니다.
  2. 매니저의 작업 분석 → 깊이 + 필요한 역할 결정
  3. 매니저의 모집: 특정 작업자들을 모집합니다 (엔지니어 2명 + 제품/디자이너 1명)
  4. 팀 리뷰 — 각 인원은 반드시 최소 1개의 이슈를 찾아내야 합니다.
  5. 출력: [매니저]가 [A, B, C]를 선택함. N개의 이슈 발견. 판결: BLOCK/CONCERNS/CLEAN

다음 라운드: 새로운 매니저를 선출하며, 이전 멤버는 최대 2명까지만 유지합니다.

실제 검증 데이터

저는 이를 alirezarezvani/claude-skills (18.7K stars)에 대한 저의 PR(Pull Request)에 테스트했습니다:

  • Round 1 (Fixed/McCord): 10개의 발견 사항 — 구조, 형식, 채택 격차 (adoption gaps)
  • Round 2 (Fixed/Catmull): 8개의 발견 사항 — 명확성, 엣지 케이스 (edge cases), UX
  • Round 3 (Random/Spolsky+DuVander): 3개의 발견 사항 — 포지셔닝, 첫인상, 출력 대상 (output destination)

무작위 풀 (Random pool)은 고정 풀 (fixed-pool)의 두 라운드 모두에서 완전히 놓친 것들을 찾아냈습니다. 저를 알고 있는 고정 풀 리뷰어들은 외부인이 해당 기술을 어떻게 인식할지에 대해 눈이 멀어 있었습니다.

기존 시스템 대비 주요 혁신 사항

alirezarezvani adversarial-reviewergaurav-yadav adversarial-ai-review이 시스템 (This System)
리뷰어 (Reviewers)추상적 역할 (Abstract roles)도메인 에이전트 (Domain agents)실제 인물 + 검색 가능한 철학 (Real people + searchable philosophy)
...

오픈 소스 (MIT)

배운 점

  1. 추상적 역할보다 실제 철학자가 더 중요합니다. "Torvalds라면 뭐라고 할까?"라는 질문은 "더 방어적으로 작성하라"는 지시보다 다른 코드를 만들어냅니다.
  2. 실무자보다 관리자가 더 중요합니다. McCord가 한 디자이너를 다른 디자이너로 교체한 것이 가장 레버리지가 높은 (highest-leverage) 결정이었습니다.
  3. 무작위 풀은 고정 풀이 잡지 못하는 것을 잡아냅니다. 당신을 아는 사람들만 사용한다면, 사각지대 (blind spots)가 생깁니다.
  4. 스스로를 리뷰하는 시스템이 필수적입니다. 리뷰 시스템은 3번의 라운드에 걸쳐 자기 자신에 대해 14개의 문제를 찾아냈습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0