Karpathy가 공개한 LLM Council — AI들이 당신에게 답변하기 전 서로 토론하는 방식

Nokka (นก-กา) 작성 | 2026년 7월 5일

TL;DR — 바쁜 분들을 위한 요약

Andrej Karpathy가 여러 개의 LLM이 함께 "의회 (Council)"처럼 작동하여 질문을 던지면 모든 모델이 답변하도록 하는 오픈 소스 (Open-Source) 프로젝트인 LLM Council을 공개했습니다.

각 모델은 서로가 누구인지 모르는 상태에서 답변을 리뷰하며, 최종적으로 의장 (Chairman)이 하나의 답변으로 요약합니다 [1].

현재 GitHub에서 22,200+ stars 및 4,000+ forks를 기록하며, "어떤 모델이 가장 좋은가"를 선택해야 하는 번거로움에 지친 개발자들 사이에서 화제가 되고 있습니다 [2].

이 글에서는 LLM Council이 어떻게 작동하는지, 장단점은 무엇인지, 그리고 프로그래머가 실제로 사용하기 전에 알아야 할 사항들을 설명합니다.

LLM Council이란 무엇인가

LLM Council은 Karpathy가 Python + FastAPI + JavaScript로 작성하여 공개한 로컬 웹 앱 (local web app)입니다. 그는 이를 "Saturday hack"이라고 명명했습니다. 즉, 지원 약속도, 로드맵 (roadmap)도, VC 투자도 없는 프로젝트입니다 [1].

핵심 개념은 단일 LLM (GPT, Claude, Gemini, Grok 등)에게 질문을 던지는 대신, 이들이 함께 "의회 (Council)"로서 작동하게 하는 것입니다.

LLM Council의 3단계

Stage 1: First Opinions (첫 번째 의견)

사용자가 질문을 전송하면 → 시스템이 OpenRouter를 통해 의회 내의 모든 LLM에 질문을 동시에 전송하며 (parallel) → 각 모델이 답변합니다 → 사용자는 탭 뷰 (tab view)를 통해 각 모델의 답변을 확인할 수 있습니다 [1].

Stage 2: Review (Anonymous Peer Review - 익명 동료 검토)

이 부분이 영리한 지점입니다. 각 LLM은 다른 모델의 답변을 받게 되지만, 그것이 누구의 답변인지는 알 수 없습니다 (identity anonymization). 그런 다음 "정확도 및 통찰력 (accuracy and insight)"에 따라 점수를 매깁니다 [3].

이러한 블라인드 리뷰 (blind review) 방식은 모델 편향 (model favoritism) — 즉, LLM이 동일 계열의 모델에 더 높은 점수를 주는 현상을 줄이는 데 도움이 됩니다 [3].

Stage 3: Synthesize (종합)

의장 LLM (Chairman LLM, 설정 가능)은 원래의 답변들과 모든 모델로부터 받은 점수를 전달받아 최종 답변으로 합성합니다 [1].

개발자들이 열광하는 이유

LLM Council이 화제가 되고 있는 데에는 세 가지 주요 이유가 있습니다:

1. "어떤 모델을 선택할 것인가"의 문제 해결 — 200개 이상의 모델이 있는 OpenRouter 환경에서 "최고의 모델"을 선택하는 것은 불가능에 가깝습니다. LLM Council은 여러 모델을 동시에 사용함으로써 이 문제를 해결합니다 [3].

2. AI를 위한 동료 검토 (Peer review) — 환각 (hallucination) 현상이 심각한 문제였던 시대를 지나, LLM이 서로를 검증하게 함으로써 신뢰성을 높일 수 있습니다. 비록 100%는 아닐지라도 말입니다 [4].

3. "Vibe coded" 투명성 — Karpathy는 이 프로젝트가 "99% vibe coded"임을 솔직하게 인정했습니다. 즉, 판매용 제품이 아니라 영감을 주기 위해 AI의 도움(AI assistance)을 받아 빠르게 구축된 프로젝트라는 의미입니다 [1]

장점 — 긍정적인 관점

실질적인 환각 (Hallucination) 감소

BrightCoding의 연구에 따르면, LLM Council은 단일 모델을 사용할 때와 비교하여 환각 (Hallucination)을 40-60%까지 줄일 수 있습니다 [3]

이 기술은 **앙상블 방법 (Ensemble method)**이라 불립니다. 이는 각 모델의 사각지대(blind spot) 위험을 줄이기 위해 여러 모델을 결합하는 방식입니다 [5]

GPT는 코딩에는 능숙하지만 논리(logic)에서 실수할 수 있고, Claude는 추론(reasoning)에는 능숙하지만 사실 관계(fact)에서 실수할 수 있으며, Gemini는 사실 관계에는 능숙하지만 뉘앙스(nuance)를 놓칠 수 있습니다.

모델들이 서로를 검증하게 함으로써, 모델 간 교차 검증(cross-model verification)을 통한 **환각 완화 (Hallucination mitigation)**를 통해 오류를 걸러낼 수 있습니다.

다양한 관점 확보

복잡한 질문이나 가능한 답변이 여러 개인 경우, 답변을 합성하기 전에 각 모델이 어떻게 생각하는지 확인하는 것은 더 완전한 그림을 보는 데 도움이 됩니다 [4]

낮은 비용

OpenRouter를 통해 사용하면 구독료 없이 토큰(token) 단위로만 비용을 지불하면 됩니다. 5개의 모델을 동시에 호출하더라도 쿼리당 비용은 단 몇 센트에 불과할 수 있습니다 [3]

완전한 맞춤 설정 가능

Karpathy는 "이제 코드는 일시적(ephemeral)이며 라이브러리의 시대는 끝났다. 당신의 LLM에게 원하는 어떤 방식으로든 코드를 변경하라고 요청하라"라고 적었습니다 [1]. 즉, AI에게 직접 코드를 수정하도록 시킬 수 있습니다.

단점 — 부정적인 관점

높은 지연 시간 (Latency)

45개의 모델을 동시에 호출하고 + 각 모델이 서로를 검토하기를 기다리고 + 의장(Chairman)이 요약하기를 기다리는 과정은 쿼리당 3060초의 대기 시간을 발생시킬 수 있습니다 [4]. 이는 낮은 응답 시간(response time)을 요구하는 유스케이스(use case)에는 적합하지 않습니다.

누적 비용

쿼리당 비용은 저렴할지라도, 자주 사용한다면 비용은 배로 증가합니다. 하나의 질문에 대해 여러 모델에 토큰 비용을 지불해야 하기 때문입니다 [3]

앙상블 (Ensemble) ≠ 항상 정답

여러 모델이 투표한다고 해서 결과가 항상 정답이라는 뜻은 아닙니다. 만약 대다수의 모델이 공통된 편향(bias)을 가지고 있다면 (예: 학습 데이터의 중복), 위원회(council) 또한 편향된 답변을 생성하게 됩니다 [4]

의장 (Chairman)의 품질에 의존

의장 역할을 하는 LLM이 최종 답변의 품질을 결정합니다. 위원회 구성원(council members)이 뛰어나더라도 의장이 약하면 최종 답변도 약해집니다 [3]

모든 유스케이스에 적합하지 않음

“오늘이 며칠인가요?” 또는 “1+1은 무엇인가요?”와 같은 간단한 질문에 대해 위원회(council)를 호출하는 것은 과잉(overkill)입니다. 이럴 때는 단일 모델(single model)을 사용하는 것이 더 낫습니다 [4]

비교 표: Single Model vs LLM Council

차원	Single Model	LLM Council
지연 시간 (Latency)	초 단위	30-60초
...

실제 사용 사례

당신이 LLM Council에게 "실시간 업데이트가 필요한 대시보드 프로젝트를 위해 React Server Components와 HTMX 중 어떤 프레임워크를 사용하는 것이 좋을까요?"라고 질문한다고 가정해 봅시다.

GPT는 생태계가 크다는 이유로 React Server Components를 답변할 수 있고, Claude는 가볍고 유지보수가 더 쉽다는 이유로 HTMX를 추천할 수 있으며, Gemini는 상세한 비교 표를 제공할 수 있습니다.

2단계(review) 이후 각 모델은 서로에게 점수를 부여합니다. 만약 GPT의 논거가 약하다면 Claude는 낮은 점수를 줄 것입니다. 최종적으로 의장(Chairman)은 획득한 점수를 바탕으로 결론을 내립니다 [3]

다른 도구와의 비교 [6]

차원	LLM Council	AutoGen (Microsoft)	LangChain
개념	위원회 심의 (Council deliberation)	멀티 에이전트 대화 (Multi-agent conversation)	체인/루프 오케스트레이션 (Chain/Loop orchestration)
...

시작하는 방법

직접 시도해보고 싶은 프로그래머를 위해:

git clone https://github.com/karpathy/llm-council.git

...

그 다음 browser에서 localhost:5173을 열면 바로 사용할 수 있습니다 [1]

backend/config.py에서 위원회 구성원(council members)을 맞춤 설정할 수 있습니다. 필요에 따라 모델을 추가, 삭제 또는 변경하십시오.

요약

Karpathy의 LLM Council는 기술적인 돌파구(breakthrough)는 아닙니다. 앙상블 모델(ensemble model) 개념은 오래전부터 존재해 왔습니다. 하지만 이것은 일반 개발자들이 이 개념에 접근할 수 있도록 만든 것입니다.

장점은 환각(hallucination)을 실제로 줄이고 다양한 관점을 제공한다는 것이며, 단점은 지연 시간(latency)과 더 높은 비용입니다.

제 관점에서는 "답변이 틀렸을 때 손실이 발생하는" 질문들 — 비즈니스 의사결정, 중요한 코드 검토, 높은 정확도를 요구하는 연구 — 에 LLM Council를 사용하고, 일반적인 질문에는 단일 모델(single model)을 사용하는 것으로 충분합니다.

👉 AI News Digest를 https://dev.to/sarantoon/series에서 팔로우하세요 — Nokka 프로필을 팔로우하면 새로운 글이 올라올 때마다 업데이트를 받을 수 있습니다.

💡 제가 LLM Council vs AutoGen vs LangChain를 상세하게 비교하는 글을 써드리면 좋을까요? 댓글로 알려주세요!

이 글은 인간(Nokka (นก-กา))의 통제 및 품질 검토 하에 Hermes Agent를 통해 AI (deepseek-v4-flash)가 작성했습니다.

참고 문헌

[1] Karpathy, A. "karpathy/llm-council." GitHub. 2026. https://github.com/karpathy/llm-council — 22.2k stars, 4k forks

[2] GitHub Topics, "karpathy-inspired." GitHub. 2026. https://github.com/topics/karpathy-inspired — Karpathy에게 영감을 받은 프로젝트 생태계 (ecosystem)

[3] BrightCoding, "Why Top Devs Now Run LLM Councils Instead of One Model," 2026년 5월 30일 — https://converter.brightcoding.dev/blog/why-top-devs-now-run-llm-councils-instead-of-one-model

[4] XDA Developers, "I built Andrej Karpathy's LLM Council on my own hardware," 2026년 7월 3일 — https://www.xda-developers.com/built-andrej-karpathys-llm-council-no-single-model-gets-last-word/

[5] Medium, "Andrej Karpathy's LLM COUNCIL | Fully Explained," 2025년 12월 2일 — https://medium.com/@nisarg.nargund/andrej-karpathys-llm-council-fully-explained-5251bdc9a95f

[6] BrightCoding, "LLM Council: The Tool Every AI Developer Needs," 2026년 5월 8일 — https://www.blog.brightcoding.dev/2026/05/08/llm-council-the-revolutionary-tool-every-ai-developer-needs