당신의 AI 연구 폴더는 서로 만나지 못한 의견들로 가득 차 있습니다

다섯 개의 채팅 창에서 어려운 질문을 던지면, 다섯 편의 에세이를 얻게 될 것입니다. 그중 네 개는 미묘하게 다른 폰트로 "상황에 따라 다르다"고 말할 것입니다. 이것은 연구처럼 느껴집니다. 하지만 그것은 파일 정리일 뿐입니다.

구조적인 문제는 간단합니다: 독립적인 답변들이 결코 만나지 않는다는 것입니다. 워크플로우의 어떤 것도 Gemini의 답변이 Claude의 답변과 대면하도록 강제하지 않습니다. 당신은 그들 사이의 택배 기사가 되어, 요약본을 서로 붙여넣고, "토론"은 복사-붙여넣기 속도로 진행됩니다. 더 나쁜 것은, 긴 병렬 답변들은 훑어보기(skimming)를 보상한다는 점입니다: 대부분의 사람들은 읽기를 끝낸 첫 번째 답변에 의존하고 나머지 내용을 성실한 검토라고 부릅니다.

형식의 변화: 모델들을 같은 방에 두기

새로운 모델이 필요한 것이 아닙니다. 각 참여자가 자신의 차례가 오기 전에 전체 대화를 듣고, 실제로 끼어들 수 있는 공간이 필요합니다.

AI 참여자와 함께하는 실시간 다자간 음성 통화가 이를 가능하게 합니다: 결정(decision)을 입력하여 생성된 소규모 출연진(2명에서 8명 사이) 각각에게는 역할과 성향이 부여되며, 새로운 프롬프트에 반응하기보다는 서로에게 말하고 반응합니다. 만약 이 아이디어를 텍스트 형태로 보고 싶다면, Andrej Karpathy의 "LLM Council" 글은 심판-평의회 패턴(judge-and-council pattern)을 설명합니다. 음성 통화는 단순히 택배 기사를 없애줄 뿐입니다. (저희는 이러한 앱 중 하나인 AI Group Call을 구축했으며, 미리 공개합니다. 아래의 진행자 조언은 그룹 채팅이나 인간 심판 등 모든 다중 참여 설정에 적용 가능합니다: 바로 당신입니다.)

AI들의 방을 진행하는 방법

주제(topic)가 아닌 결정을 프레임화하세요. "출시 전에 캐싱 계층을 추가해야 할까요: 예 또는 아니오, 각각 한 가지 이유"는 논쟁을 만들어냅니다. "캐싱에 대한 생각은요?"는 교과서를 만듭니다. 방의 날카로움은 질문의 경계만큼만 날카롭습니다.

토론 전에 개별 입장을 수집하세요. 모든 자리에 한 줄로 약속하도록 요청하십시오. 명확한 입장 없이 진행되는 패널은 세 번의 차례가 지나면 공손한 동의로 표류합니다. 첫 번째 발언자가 모두를 고정시킵니다.

불일치점을 명시하세요. '두 번째 답변에 무엇이 잘못되었나요?'라는 질문은 '어떤 반론이 있나요?'보다 훨씬 더 까다로운 비판을 이끌어냅니다. 사람들은 요청받지 않아도 예의를 갖추고, 모델들도 마찬가지입니다. 다만 질문이 갈등을 강제할 때가 아니라면 말이죠.

회의에 회의론자를 배치하세요. 만약 사용자가 기본적으로(저희는 4명 이상의 방에서는 그렇게 합니다) 한 명을 지정하지 않는다면, 명시적으로 역할을 부여하세요: '다음 두 차례 동안 당신의 임무는 이 대화가 나아가고 있는 방향에 가장 강력하게 반대하는 주장을 펼치는 것입니다.' 그 추천이 이를 견뎌내는지 지켜보세요. 대부분의 약한 합의는 바로 거기서 무너지고, 그것이 목적입니다.

증거를 제시하세요. 오류 메시지, 이탈률(churn numbers), 스크린샷을 붙여넣으세요. 방은 자신에 대한 요약본으로 논쟁하는 것보다 눈앞에 실제 제약 조건들이 있을 때 훨씬 더 잘 논쟁합니다.

투표로 마무리하고 기록을 남기세요. 각자 한 줄씩: 무엇이 당신의 생각을 바꿀 것이며, 그다음 무엇을 할 것인지. 이 기록(transcript)이 실제 결과물입니다. 한 달 후에 어떤 의견이 옳았는지 확인하고, 어떤 종류의 회의에 누구를 신뢰해야 할지 보정할 수 있습니다.

형식으로 적합하지 않은 경우

이는 벤치마크가 아니며, 법률 위원회도 아니고, 다섯 개의 독립적인 에세이를 더 빨리 얻는 방법도 아닙니다. 구두로 진행되는 차례(spoken turns)는 본질적으로 짧습니다: 트레이드오프(trade-offs), 후속 조치, 그리고 '왜'에 대해서는 좋지만, 긴 증명이나 코드 검토에는 적합하지 않습니다. 만약 과제가 '이 명세서(spec)를 읽고 버그를 찾는 것'이라면, 채팅창으로 돌아가세요. 만약 과제가 '두 가지 선택지와 마감 기한이 있다'라면, 큰 소리로 논쟁하는 회의는 에세이로 가득 찬 받은 편지함에 갇히기보다 20분 안에 결정에 도달하게 해줍니다.

도구들은 이미 존재합니다. 대부분의 사람들은 여전히 파일 캐비닛을 사용하고 있습니다.