글로벌 AI 해커톤 시리즈(Qwen Cloud 주최)에서 '명예상 & 블로그 기사상'을 수상한 작품입니다.
겉보기에는 풍자처럼 들리지만, 실제로는 시민 기술(civic technology)로서 기능하는 전제가 깔려 있습니다. 바로 9명의 AI 재판관이 각각 다른 사법 철학을 가지고 미국 연방 대법원의 실제 판례를 심리한다는 것입니다. 여기에 2명의 AI 기자가 모든 심리 과정을 팟캐스트 프로그램과 픽셀 아트 법정 재현 애니메이션으로 변환합니다. 또한, 각 AI의 예측은 실제 대법원 판결과 비교 및 채점되기 때문에, 이 프로젝트 전체는 사실 하나의 엄격한 실험이기도 합니다. 여기서 던지는 질문은 바로 이것입니다: 다중 에이전트 간 논의(multi-agent debate)가 단일 모델보다 더 나은 판단을 내릴 수 있는가?
이 프로젝트의 이름은 『Split Decision（분기하는 판단）』입니다.
현재 많은 개발자들이 여러 AI 에이전트를 연계하여 '위원회는 개인보다 현명하다'고 가정하고 있습니다. 하지만 그 가설을 실제로 측정하고 있는 경우는 극히 드뭅니다. 더욱 심각한 문제는 그룹 내 에이전트들끼리 초기에 의견을 일치시키기 쉽다는 점입니다. 이는 '아첨성(sycophancy)'이라고 불리는 현상으로, 본래의 '논의'가 단순한 '반향실(echo chamber)'로 변질되어 사고의 깊이를 가장했을 뿐인 결과를 낳을 수 있습니다.
『Split Decision』은 답이 공적이고 검증 가능한 '어려운 판단 과제'—즉 미국 대법원의 판결 결과—를 사용하여 이 가설을 검증합니다. 평가 대상이 되는 판례는 모델의 학습 데이터 최종 날짜** 이후**에 내려진 것으로 한정하여, 모델이 정답을 단순히 기억하고 있을 가능성을 배제했습니다. 또한, 미결 사건에 대해서도 예측을 공개 기록으로 남기고, 그 후 실제 판결에 의해 자동으로 채점되는 시스템을 갖추고 있습니다.
나아가 이 프로젝트에는 '가시성(legibility)'이라는 부차적인 가치도 있습니다. AI의 추론 과정은 보통 블랙박스라 보이지 않지만, 본 프로젝트에서는 기계들 간 의견 차이를 소리로 듣고, 투표 결과를 지켜보며, 누가 누구를 설득했는지를 전문(verbatim record)으로 확인할 수 있습니다. 이는 단순히 사법 제도에 대한 시민 교육일 뿐만 아니라, AI 자체에 대한 시민 교육이 되기도 합니다.
이 파이프라인은 소프트웨어상에서 구축된 '가상의 법정'입니다. 먼저 '서기관(Clerk)' 에이전트가 CourtListener, Oyez 및 미국 대법원 데이터베이스로부터 사건 정보를 읽어와 심리 메모(bench memo)를 작성합니다. 이어서 9명의 '배심원(juror)' 에이전트가 비밀 투표를 하고, 라운드별로 논의를 거치며, 반장(Foreperson)이 선정한 쌍으로 대화하며 심리를 진행합니다. 최종적으로 7대 2 이상의 과반수(supermajority)가 성립하거나, 혹은 제5라운드에 도달할 때까지 재투표를 반복합니다.
여기서 가장 정교하게 설계된 부분이 '아첨성 억제(anti-sycophancy engineering)'입니다. 구체적으로는 다음과 같습니다:
- 아무도 발언하기 전에, 모두가 비밀 투표를 진행한다.
- 각 라운드 시작 시에, 개별 '역할 설정(persona)'을 재주입하여 재판관들이 점진적으로 의견을 맞추는 것을 방지한다.
- 각 재판관이 투표를 변경할 수 있는 조건을 명문화된 규칙으로 엄격하게 제한한다.
모든 발언, 투표, 표 변경, 최종 판결은 스키마 검증된 이벤트 로그에 일원 기록됩니다. 이 단일한 로그가 모든 후속 처리의 기반이 됩니다—
- 실제 대법원 판결과 비교하여 채점하는 스코어보드(단일 모델 vs. 침묵의 배심원단 vs. 전면적 논의 vs. 중립 통제)
- 전문만 재생하는 2명의 앵커가 진행하는 팟캐스트
- Phaser 엔진으로 구현된 픽셀 아트 스타일 법정 앱 (실시간 자막 포함)
그리고 이 프로젝트를 단순한 홍보물이 아닌, 진지한 지적 탐구로 끌어올리는 것이 다음의 발견입니다:
- '논의'는 심리단을 '더 명료하게 말하도록' 만들었지만, '더 정확하게 판단하도록' 만들지는 못했다*—24건의 쌍 비교 사례에서 정답률은 모두 66.7%였습니다. 즉, 위원회는 개인을 '능가하여 생각한' 것이 아니라, 단지 '더 능숙하게 말했을' 뿐이었습니다.
모든 추론 처리는 Qwen Cloud 모델이 담당합니다:
- 9명의 배심원은
qwen3.7-plus
- 반장(Foreperson)과 서기관(Clerk)은
qwen3.7-max
모든 실행은 DashScope의 OpenAI 호환 엔드포인트를 통해 이루어집니다.
Qwen Voice Design을 사용하여 텍스트 프롬프트로부터 12가지 종류의 고유 음성을 생성합니다:
- 9명의 재판관, 1명의 팀장(班長), 2명의 팟캐스트 진행자
- 음성 합성은
qwen3-tts-vd를 사용하며, 에피소드용 아트는 wan2.6-t2i로 생성합니다.
Alibaba Cloud Simple Application Server가 전체 파이프라인을 호스팅합니다:
- nginx가 법정 애플리케이션을 제공하고,
- systemd가 팟캐스트 제작 프로세스를 관리하며,
- 소규모 HTTP 서비스가 'Live Bench(라이브 법정)'를 구동하여 누구나 온디맨드로 실제 심리를 시작할 수 있게 합니다.
Alibaba Cloud OSS는 다음 항목들을 저장합니다:
- 팟캐스트 MP3 파일
- RSS 피드
- 에피소드 아트워크
※ 생성된 이미지 URL은 24시간 후 만료되므로, 즉시 OSS로 복사해야 합니다.
모든 API 호출에서의 토큰 사용량은 costs.jsonl에 기록되어, 프로젝트의 '모두 측정하기(measure-everything)'라는 이념에 따른 완전한 감사 추적(audit trail)을 실현합니다.
Tarik Moody는 Radio Milwaukee의 전략 및 혁신 부서 디렉터입니다. 본 프로젝트 『Split Decision』은 그가 회사 업무와 무관하게 개인적으로 완전히 구축한 실험입니다. 이는 '기계에 의한 심리 과정을 시각화하고, 측정 가능하며, 진정으로 시민적인 것으로 만들 수 있을까?'라는 질문에 대한 도전이었습니다. 그리고 그 답은 단순한 '성공/실패'를 넘어선 흥미로운 결과로 나타났습니다. 바로 에이전트들이 정확도를 높이는 것 없이, 아름답게 토론하는 방법을 학습했기 때문입니다.
프로젝트 체험하기: https://split-decision.tarikmoody.com/
본 프로젝트는 Qwen Cloud가 주최한 글로벌 AI 해커톤 시리즈의 일환으로 개발되었습니다.
이 기사는 Alibaba Cloud Blog에 게시된 글을 번역한 것입니다.
