서론

Qualia: Essays that go where curiosity leads

솔직히 말하겠습니다. AI의 "추론 (reasoning)"에는 도대체 무슨 일이 일어나고 있는 걸까요?

따옴표를 사용한 점은 사과드립니다. 이러한 문장 부호를 통한 의구심 표시는, 현재 "대규모 추론 모델 (Large Reasoning Models, LRMs)"로 알려진 LLM의 특수 훈련된 사촌 격인 모델들이 아직 생소했던 2024년에는 더 흔한 일이었습니다. 하지만 2026년 5월, OpenAI의 "범용 추론 모델 (general-purpose reasoning model)"이 유명한 미해결 수학 연구 문제를 단 한 번의 시도(one shot)로 해결했다는 점을 고려하면, 지금은 다소 무례해 보일 수도 있습니다. 그럼에도 불구하고, 이러한 AI 시스템이 실제로 무엇을 하고 있는지에 대한 과학적 해석을 접하며 느끼는 지적 충격(intellectual whiplash)을 어떻게 표현해야 할지 모르겠습니다.

추론은 기술적으로 정의된 다양한 형태가 있지만, 기본적인 절차는 쉽게 인식할 수 있습니다. 즉, 서로 논리적으로 이어지는 중간 단계들을 연결함으로써 타당한 결론에 도달하는 것입니다. 우리는 사고를 통해 이를 수행하며, LRMs는 이른바 "사고의 사슬 (chains of thought)"을 사용합니다. 이는 모델이 복잡한 질의에 대한 답에 도달하기 전에 생성하는 합성 텍스트의 흐름을 일컫는 전문 용어입니다. 한순간에는, AI가 이러한 사슬을 통해 추론할 수 있다는 아이디어가 (Apple의 연구팀에 의해) 놀라울 정도로 단순한 조건 하에서 "완전한 정확도 붕괴 (complete accuracy collapse)"를 겪는 "사고의 환상 (Illusion of Thinking)"이라며 두드러지고 신빙성 있게 비판받았습니다. 그러나 바로 다음 순간, LRMs는 국제 수학 올림피아드에서 금메달을 휩쓸었습니다. 이는 과학자이자 AI 비평가인 Gary Marcus와 Ernest Davis가 2025년에 썼듯이, "매우 성공적인 수학자와 과학자들조차 평생 동안 자신의 이력서에 강조할 만한" 매우 도전적인 업적입니다. 만약 이것이 "진정한" 추론의 징후가 아니라면, 대체 무엇이겠습니까?

하지만 잠깐만요 — 곧이어 Santa Fe Institute의 추가 연구에 따르면, LRM (Large Reasoning Models)이 단순한 "표면적 지름길 (surface-level shortcuts)"만을 사용하여 추론을 위해 정교하게 설계된 벤치마크(유추 형태의 시각적 퍼즐 모음 등)조차 압도할 수 있다는 사실이 밝혀졌습니다. 그들이 하고 있는 일은 일반화 가능한 추론이라기보다 그저 시스템을 속이는 (gaming the system) 것에 가까워 보였습니다. 그러고 나서, 마치 신호라도 받은 듯 또 다른 "내 맥주 좀 들고 있어 봐 (hold my beer)" 식의 순간이 찾아왔습니다. Google DeepMind와 수학자 Terence Tao(역사상 최고인 GOAT!)는 AI를 사용하여 "해석학, 조합론, 기하학, 정수론을 아우르는" 67개 문제의 해결책을 재발견하거나 개선했습니다. 비난하는 사람들은 받아들이세요!

두 번째와 세 번째 이유를 자세히 살펴보겠습니다. 왜냐하면 그곳에 바로 "헛소리(BS)와 그렇지 않음"의 중첩이 실제로 존재하기 때문입니다. 사고의 사슬 (Chains of thought)은 2022년에 LLM을 위한 프롬프팅 해킹 (prompting hack)으로서 절반은 발견되고 절반은 고안되었습니다. 즉, 모델에게 글로 풀어서 설명된 추론의 예시를 제공하거나 (또는 유명한 방식대로, 단순히 "단계별로 생각하라"고 요청하면), 모델은 갑자기 단순한 논리 및 수학 문제에 대해 덜 어리석은 답변을 내놓게 됩니다. 2024년 OpenAI의 o1 모델을 시작으로 등장한 LRM (Large Reasoning Models)은 이러한 트릭을 자동화하도록 훈련됩니다. 즉, 추론 흔적 (reasoning traces) 또는 사고 토큰 (thinking tokens)이라고도 불리는 프롬프트를 생성한 다음, 이를 다시 모델 자신에게 입력하는 방식입니다. LRM은 본질적으로 언어 모델 (language models)이기 때문에, 이러한 추가적인 텍스트 조각들은 모델의 "사고 과정"에 대한 설득력 있는 종이 기록처럼 보이는 것을 만들어냅니다.

하지만 그렇게 간단한 문제가 아닙니다. 학계와 산업계의 점점 늘어나는 연구들은 이러한 "중간 토큰 (intermediate tokens)"이 LRM의 내부 작동 방식을 충실하게 나타내는지에 대해 의구심을 제기해 왔습니다. 이 토큰들은 감사 가능한 영수증이나 정확한 보고서라기보다는, 애리조나 주립 대학교(Arizona State University)의 연구원 수바라오 캄밤파티(Subbarao Kambhampati)가 말하는 "중얼거림 (mumblings)"에 더 가까워 보일 수 있습니다. 즉, 언어의 조각이기는 하지만, 그 의미가 실제로 발생했을지도 모를 어떤 추론과는 완전히 부수적일 수 있다는 것입니다. 캄밤파티의 연구실은 2025년에 모델의 올바른 "흔적 (traces)"를 부정확하거나 무관한 것으로 완전히 교체하더라도 형식적 추론 작업에서의 성능이 저하되지 않음을 보여주었습니다. 한편, 모델을 오직 올바른 흔적 데이터로만 훈련시켰음에도 불구하고, 모델은 주어진 원래 문제에 대해 올바른 해결책을 도출했을 때조차 때때로 자신의 추론에 대한 유효하지 않은 기록을 생성했습니다. 2024년 뉴욕 대학교(New York University) 연구진의 논문은 "의미 없는 채우기 토큰 (meaningless filler tokens)" — 말 그대로 점(.)의 나열 — 이 인간이 읽을 수 있는 "사고의 사슬 (chain of thought)"을 효과적으로 대체할 수 있음을 보여주었습니다.

해당 논문의 저자 중 한 명이자 현재 시카고 Toyota 기술 연구소(Toyota Technological Institute at Chicago)의 교수인 William Merrill은 이 문제를 명확하게 짚었습니다. “사고의 사슬 (chain of thought)이 어떤 의미에서든 반드시 유의미해야 한다는 보장은 없습니다.” Anthropic에서 근무하며 (해당 회사의 초기 추론 모델 팀의 일원이기도 했던) NYU의 연구원 Pavel Izmailov는 LRM(Large Reasoning Models)의 전형적인 학습 방법인 강화학습 (reinforcement learning)이 모델로 하여금 애초에 충실한 사고의 사슬을 생성하도록 유도하는지조차 의구심이 든다고 말했습니다. 그는 저에게 “제 말은, 어쩌면 그럴 수도 있겠지만, 가능성이 그리 높지는 않다고 봅니다.”라고 말했습니다.

좋습니다, 그렇다면 추론 흔적 (reasoning traces)의 언어적 내용이 의심스러울 수 있습니다. 하지만 토큰 그 자체는 모델의 출력을 생성하는 데 분명 역할을 해야 하지 않을까요? (핀볼 기계를 생각해 보세요. 그것은 'In God We Trust'라는 문구가 아니라 동전으로 작동합니다.)

그렇게 서두를 일은 아닙니다. Northeastern University와 University of California, Berkeley의 2025년 논문에 따르면, 최첨단 오픈 소스 LRM들의 '사고 단계 (thinking steps)' 중 30%에서 60% 사이가 벤치마크 수학 문제에 대해 모델이 내놓은 정답에 '최소한의 인과적 영향 (minimal causal impact)'만을 미치는 것으로 나타났습니다. 그 단계들의 절반을 잘라내더라도 모델의 성능은 거의 떨어지지 않습니다. 이 연구의 저자 중 한 명인 Weiyan Shi는 “우리는 이러한 사고의 사슬 (chain-of-thought) 프롬프트를 검토할 때 주의를 기울여야 합니다. 왜냐하면 그것들이 최종 출력과 연결되어 있지 않을 수도 있기 때문입니다.”라고 말했습니다.

결국 LRM을 단순한 다음 단어 예측 LLM (Large Language Models)과 구별해 주는 핵심 요소인 추론 흔적 (reasoning traces)이, 모델의... 추론에 있어 반드시 유의미하거나 인과적이지는 않다는 뜻일까요? 제가 철학자는 아니지만, 이는 '추론'이라는 단어의 의미를 그 인장 강도 이상으로 잡아늘리는 것처럼 보입니다. Kambhampati의 연구 그룹은 이 주제에 관한 자신들의 포지션 페이퍼(position paper, 해당 분야에서 가장 권위 있는 학술 모임 중 하나인 2026년 International Conference on Machine Learning에서 발표됨) 제목에서 솔직히 진저리가 났음을 드러냈습니다: “중간 토큰을 추론/사고 흔적으로 의인화하는 것을 멈춰라! (Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!)”

분명히 말씀드리자면, 인공지능 계획 알고리즘 (AI planning algorithms) 배경을 가진 인공지능 발전 협회 (Association for the Advancement of Artificial Intelligence)의 전 회장인 Kambhampati는 대규모 추론 모델 (LRMs)이 (작동할 때는) 작동할 수 있다는 사실을 부정하지 않습니다. OpenAI가 수학의 유명한 단위 거리 문제 (unit distance problem)를 해결하며 2026년에 거둔 승리에 대해 어떻게 생각하는지 묻자, 그는 "우리는 경이로운 시대에 살고 있습니다"라고 답했습니다. 만약 그가 불만을 품고 있다면, 그것은 학계와 산업계 모두에서 지나치게 편리한 설명들을 수용하려는 급한 태도에 대한 것입니다.

"[이 모델들의] 강점의 원천에 대해 제안된 많은 아이디어들이 오해되거나 잘못 규정되었습니다"라고 그는 말했습니다. "'결국에는 사실이 될 수도 있으니, 일단 특정 능력이 있다고 주장하자'라고 말하는 일반적인 사고방식이 존재합니다. 제가 느끼기에 그것은 과학이 아닙니다. 그것은 투자입니다."

AI 추론 (AI-reasoning) 논쟁의 반대편에서는 경멸이 상호적입니다. OpenAI 기술진의 일원이자 과학자 및 수학자들 사이에서 회사의 추론 모델 (reasoning models)을 전파하는 저명한 전도사인 Sébastien Bubeck는 "지난 여름의 그 '과학적' 논문들 — 저는 여기에 아주 큰 따옴표를 붙이고 싶습니다"라고 말했습니다. 그는 AI 추론을 비판했던 이전의 Apple 연구 결과가 "틀렸다"고 부르며, 그것은 현재는 구식이 된 모델들의 훈련 특이점 (training quirk) 때문이라고 주장했습니다. "GPT-5.5부터 시작되는 현대적 모델들은 이러한 문제를 겪지 않습니다"라고 그는 말했습니다. "그 결과들을 다시 검토해 보는 것이 흥미로울 것입니다." (Apple은 연구원들의 인터뷰를 허용하지 않았습니다.)

문제는 이것입니다. AI 추론 모델이 실제로 상당하고 정확한 결과를 생성할 수 있다는 사실을 부정하는 사람은 아무도 없습니다. 게다가 제가 대화한 모든 연구자는 특정 추론 작업(특히 규모가 작은 오픈 소스 LRM의 작업)에 대한 모델의 능력에 관한 부정적인 연구 결과가 항상 최신 최고 사양의 AI 제품에 일반화되지 않을 수 있다는 점을 인정했습니다. 그들의 내부 작동 방식은 여전히 영업 비밀로 남아 있습니다. 하지만 만약 우리가 (저처럼) AI 추론을 구동하는 메커니즘에 관한 모순된 증거를 단순히 묵살하기를 꺼린다면, 질문은 여전히 남습니다. 우리는 그것을 어떻게 설명해야 할까요?

알고 보니 Kambhampati는 바로 그 일을 하는 데 관심이 있었습니다. “저는 부정적인 것이 아닙니다. 단지 다른 모든 사람들이 너무 긍정적이기 때문에 제가 부정적으로 들릴 뿐입니다.”라고 그는 말했습니다. “과학에서는 현재의 기술이 무엇을 할 수 있고 무엇을 할 수 없는지를 실제로 이해해야 합니다.”

그가 저에게 말한(Mitchell도 동조한 점인) 최첨단 LRM이 작동하는 한 가지 직접적인 이유는, 이들이 종종 출력을 안내하고 검증하는 "일반적인" 소프트웨어에 둘러싸여 있기 때문입니다. 2025년 하반기 이후 소프트웨어 엔지니어링을 변화시킨 에이전틱 AI (Agentic AI) 시스템들이 이런 방식으로 작동합니다. 자동 정리 증명 도구인 Lean에 의존하는 Google DeepMind의 AlphaProof Nexus도 마찬가지입니다. 하지만 Kambhampati는 오로지 스스로 생성한 추론 흔적(reasoning traces) — 즉 "생각하는(think)" 부분 — 에만 의존하는 독립형 추론 모델을 이해하는 데 더 관심이 있습니다.

"생각하는" 부분은 OpenAI가 한 예로 더욱 집중하고 있는 영역입니다. 제가 Bubeck에게 그 화려한 단위 거리 증명(unit distance proof)이 LRM 자체의 사고 사슬 (Chain of Thought) 이외의 방법 — 아마도 Lean이 결과를 검증하는 방식 — 으로 생성된 것인지 물었을 때, 그는 그 질문이 거의 터무니없다는 듯한 반응을 보였습니다.

“우리가 그것을 미스터리로 만들고 있는 게 아닙니다,”라고 그는 말했습니다. “우리는 사고의 사슬 (chain of thought)을 공개했습니다. 그냥 가서 확인해 보면 됩니다. 핵심은 모델이 인간이 하는 것처럼 추론을 한다는 것입니다. 그리고 인간이 추론할 때, 우리는 Lean을 사용하지 않습니다.” 엄밀히 말하면, OpenAI는 OpenAI의 또 다른 모델인 Codex를 사용하여 두 명의 전문가가 생성한 모델 사고의 사슬 (chain of thought)에 대한 “재작성된 요약본 (rewritten summary)”을 공개했습니다. 2024년 이후, 이 회사는 추론 모델의 “가공되지 않은 (raw)” 사고의 사슬을 공개적으로 드러내지 않고 있으며, 이는 Google DeepMind와 Anthropic도 채택한 정책입니다.

Kambhampati의 분석은 놀라울 정도로 유사한 지점에서 시작됩니다. 즉, LRM (Large Reasoning Models)은 단지 더 구체적인 훈련을 거친 LLM (Large Language Models)일 뿐이라는 생각입니다. “특별한 마법 같은 것은 없습니다,”라고 그는 말했습니다. 하지만 그는 거기서부터 급격히 의견을 달리합니다. “LLM이 솔루션을 내놓기 전에 실제로 자신이 무엇을 [추론]하고 있는지 단계별로 설명한다는 것은 저에게 말이 되지 않습니다. 왜냐하면 LLM이 훈련되는 방식을 고려할 때, 그것은 단순히 솔루션을 추측하는 것보다 훨씬 더 어려운 작업이기 때문입니다.”

그의 작업 가설은 LRM이 그 전신인 LLM과 마찬가지로 방대한 훈련 코퍼스 (training corpus) 전체에 걸쳐 그가 “근사적 검색 (approximate retrieval)”이라고 부르는 작업을 수행한다는 것입니다. 그는 이것이 패턴 매칭 (pattern matching)과 추론 (reasoning) 사이의 “어딘가 중간 지점”에 있지만, 전자(패턴 매칭)에 더 가깝다고 말했습니다. 그렇다면 “사고 토큰 (thinking tokens)”의 역할은 실제 사고의 사슬을 서술하는 것이 아닙니다 (왜냐นั้น 실제 사슬은 존재하지 않기 때문입니다). 대신, 그것은 모델의 컨텍스트 윈도우 (context window)를 로드하여 추론 형태의 텍스트 문자열을 예측하거나 “근사적으로 검색”할 가능성을 더 높이는 방식으로 작동합니다.