AI가 연구팀이 되다: Gemini를 활용한 'Cogentic'이 5가지 미해결 문제에 새로운 성과를 내다

2026년 9월 30일, Google Research의 연구원들은 여러 AI 에이전트를 연구팀처럼 협업시키는 메커니즘인 'Cogentic' 논문을 공개했습니다.

눈에 띄는 점은 AI가 한 번에 증명을 작성했다는 것이 아닙니다. 여러 증명 AI가 각기 다른 방향을 탐색하고, 검증 AI가 의심하며, 확인된 중간 성과만을 장부(Ledger)에 남겨 다음 라운드로 넘긴다는 것입니다.

이 논문은 Gemini를 기반 모델로 사용하여 온라인 학습(online learning), 경매 이론(auction theory), 메커니즘 디자인(mechanism design)의 5가지 미해결 문제에서 새로운 결과 또는 알려진 경계 개선을 얻었음을 보고했습니다. 각 증명은 해당 분야 전문가가 나중에 확인하고 동반 논문으로 공개되었습니다. 다만, 현재는 프리프린트(preprint)이며, 제3자에 의한 재현이나 심사 완료까지 확인된 것은 아닙니다.

무엇이 바뀌었나

기존의 'AI에게 난제를 주고 최적의 1개 답변을 기다리는' 방식에는 약점이 있습니다. 하나의 추론이 중간에 오류가 나면, 그 이후 전체가 무너집니다. 게다가 긴 연구에서는 실패한 경로와 도중에 맞았던 조각들을 다음 시도에 정확하게 인계할 필요가 있습니다.

Cogentic은 이를 '연구팀 운영'의 문제로 다루었습니다.

중앙 오케스트레이터는 스스로 수학적 결론을 내리지 않습니다. 탐색 방향을 할당하고, 과거 진행 상황을 요약하며, 어떤 증명 AI를 어디에 투입할지 관리합니다. 각 증명 AI는 독립적으로 후보를 만들고, 2가지 종류의 검증을 받습니다.

하나는 각 안을 개별적으로 읽는 검증이고, 다른 하나는 같은 라운드의 안들을 나열하여 공통적인 간과를 찾는 검증입니다. 두 가지를 모두 통과한 안만이 채택 후보가 됩니다. 검증 측은 '맞아야 한다'가 아니라, 정당화될 때까지 각 단계를 의심하고 인용도 확인하는 자세에서 시작합니다.

지속성의 핵심은 '기록(Record)'과 '확정지(Ledger)'의 분리

Cogentic에는 Record(기록)와 Ledger(장부)라는 두 가지 종류의 기억이 있습니다.

Record에는 무엇을 시도했고, 어디서 실패했으며, 검증 AI가 무엇을 문제 삼았는지를 남깁니다. Ledger에는 실패한 증명 중에서도 맞았던 중간 보조정리(intermediate lemma)를 분리하여, 다시 단독으로 검증한 후에 저장합니다. 확인된 반례 역시 같은 방향을 다시 시도하지 않기 위한 지식이 됩니다.

이 설계가 흥미로운 점은 대화 기록 전체를 길게 유지하는 것을 '지속성'이라고 부르지 않는다는 것입니다. 실패 로그와 재활용 가능한 지식을 분리하고, 지식에는 검증 상태를 부여한다. 이는 장기간 작동하는 AI 에이전트나 Human OS의 기억 설계에도 그대로 적용될 수 있습니다.

5가지 성과와 숫자의 해석

논문이 보고하는 5가지는 온라인 역최적화(online inverse optimization), 양면 시장(two-sided market), anytime regret, 단일 구매자 수익 극대화, 자동 입찰 경매에 관한 것입니다. 예를 들어 양면 시장 문제에서는 기존에는 양쪽에 최소 2만 명의 참여자를 추가하는 분석이었던 조건을, 작은 쪽으로 2명 추가까지 개선했다고 합니다.

계산량도 무한하지는 않습니다. 저자들에 따르면, 많은 문제는 Gemini 호출 약 100회, 가장 어려운 것은 약 1000회의 호출로 얻어졌습니다. 문제 문장 외의 수학적 힌트를 사람이 주지 않고, 최종적으로 논문 형식으로 정리할 때까지 자율적으로 진행되었다고 설명됩니다.

다만, 여기에는 Evidence Boundary(증거 경계)가 있습니다.

확인된 것은 논문/동반 논문이 공개되었고, 저자 측에서 전문가의 검증을 보고했다는 것입니다. 반면, 제3자가 같은 메커니즘을 재실행하여 같은 결과를 얻었는지, 심사가 완료되었는지, 또는 저희가 공개 구현을 구동해 보았는지는 확인되지 않았습니다. 자연어 증명이므로 Lean과 같은 정리 증명기(theorem prover)에 의한 기계 검증과는 별개입니다.

MORI에게 중요한 것은 무엇인가

MORI가 중시하는 '다중 AI 협업', '권한', '검증', '지속성'이 하나의 설계에 통합되어 있습니다.

• 사령탑은 수학적 결론을 멋대로 정하지 않고, 업무 분배에 전념한다.
• 실행 역할을 병렬화하여 탐색의 편향을 줄인다.
• 검증 역할은 처음부터 의심하는 입장에 둔다.
• 성공뿐 아니라 실패 이유도 저장한다.
• 확인된 조각들만 다음 AI가 재활용할 수 있는 장부로 올린다.

기사 제작이나 상품화 에이전트로 치환하자면, '조사안을 여러 개 내놓는다 → 근거를 다른 AI가 비판한다 → 통과한 사실만 정본으로 승격시킨다'는 흐름이 됩니다. AI 자체를 늘리는 것보다, 역할과 증거의 승격 조건을 분리하는 것이 본질입니다.

요약

Cogentic의 새로움은 Gemini가 어려운 증명을 만들었다는 것에만 있지 않습니다. 다중 AI의 탐색, 적대적 검증(adversarial verification), 실패 기록, 확인된 지식 장부라는 메커니즘을 조합하여 연구를 여러 라운드 동안 진전시켰다는 점에 있습니다.

5가지 성과는 큰 1차 보고서입니다. 다만, 현 단계에서는 '저자와 전문가가 확인한 프리프린트'이며, 제3자 재현이나 심사 완료와는 구분하여 받아들여야 합니다.

그럼에도 불구하고, 오랫동안 작동하는 AI를 어떻게 안전하고 똑똑하게 만들 것인가라는 질문에 대해 Cogentic은 상당히 구체적인 답을 제시했습니다. AI의 기억은 길이가 아니라, 검증 상태로 설계해야 한다. 이 부분은 향후 에이전트 개발에서 강력하게 남을 것 같습니다.

출처

• Cogentic: Multi-Agent Orchestration for Automated Proof Discovery (arXiv, 2026-09-30)

https://arxiv.org/abs/2609.40324 - Cogentic results / companion papers

※수치・성능・성과는 논문 저자들의 보고입니다. 제3자 재현, 심사 완료, 공개 코드의 실행 결과는 본 기사에서 확인하지 못했습니다.

토론 (Discussion)