AI에게 버그의 원인을 물어보면 꽤 잘 맞힙니다.

하지만 가끔 터무니없이 빗나가는 소리를 합니다. 그것도 아주 자신만만하게 말이죠.

이 차이가 궁금해서 논문을 읽어보니, 이런 문장이 있었습니다.

identifying the error is distinct from generating the fix

(에러를 특정하는 것과, 수정 방법을 만들어내는 것은 별개의 문제이다)

맞혔다고 해서 AI가 원인을 '생각해낸(思いついた)' 것이라고는 할 수 없습니다. 그저 본 적이 있는 것뿐일지도 모릅니다.

그 이야기를 해보려 합니다.

논문은 Google DeepMind의 Tom Zahavy가 2026년 1월에 발표한 LLMs can't jump입니다. ICML 2026에 채택되었습니다.

논문에서 인용하고 있는 것은 퍼스(Peirce)라는 철학자에 의한 추론의 분류입니다. 1839년생입니다. 철학 이야기처럼 들리겠지만, 논문이 프로그래머를 위해 치환해 두었습니다.

Rule = 함수 -
Case = 입력 -
Result = 반환값

이 세 가지 중 무엇을 알고 무엇을 구하는가. 그것만으로 추론의 종류가 결정된다고 합니다.

위의 두 가지는 하고 있는 일이 상상이 가실 겁니다. 함수와 입력이 있으니 답이 결정되는 것이 Deduction. 입력과 답을 보고 함수를 맞히러 가는 것이 Induction.

세 번째가 이해하기 어려우므로 예를 들어보겠습니다.

아침에 잔디가 젖어 있다 (Result). 비가 오면 잔디는 젖는다 (Rule).

그렇다면 밤에 비가 내린 것이 아닐까 (Case).

증명은 되지 않았습니다. 스프링클러일 수도 있고, 개가 물을 쏟았을 수도 있습니다. 그럼에도 '아마 이것일 것이다'라고 원인 쪽을 만들어냅니다. 이것이 Abduction입니다.

진실을 보장해 주는 것은 Deduction뿐입니다. 논문의 표현을 빌리자면 It is the only mode that guarantees truth입니다. 나머지 두 가지는 틀릴 가능성을 포함하고 있습니다.

논문의 견해는 다음과 같았습니다.

세 번째가 논문의 주장입니다. 표현이 꽤 매섭습니다. 전제만 주어진다면 정리(theorem)의 증명은 할 수 있겠지만, 그 전제를 생각해내는 쪽은 structurally incapable (구조적으로 불가능하다)라고 적혀 있습니다.

제목의 jump는 여기서 유래했습니다.

여기서부터가 본론입니다.

AI가 버그의 원인을 맞히는 일은 실제로 일어납니다. 다만, 그것은 '유사한 패턴을 학습 데이터에서 본 적이 있다'는 것만으로도 설명이 가능하죠.

즉 Induction입니다. Abduction이 아닙니다.

유사한 사례가 학습 데이터에 있으면 맞힙니다. 없으면 틀립니다. 게다가 어느 경우든 똑같은 말투로 대답합니다. 개인적으로는 이 점이 가장 까다롭다고 생각합니다.

동영상 생성 모델에 대한 지적도 같은 구조의 이야기였습니다.

generate a falling apple

not because they model gravity, but because falling is the dominant continuation of unsupported object in their training distribution

(떨어지는 사과를 생성할 수 있는 것은 중력을 모델링했기 때문이 아니라, 학습 분포 내에서 '지지되지 않는 물체의 연속'으로서 낙하가 지배적이기 때문이다)

그럴싸한 영상은 만들 수 있습니다. 하지만 중력을 이해하고 있는 것은 아닙니다.

버그의 원인을 맞히는 것도 이와 같을지도 모릅니다. 그럴싸한 답은 돌아옵니다. 하지만 원인을 이해해서 도출한 것은 아닐지도 모릅니다.

일단 논문이 제시하는 이유도 적어두겠습니다.

예로 등장하는 것이 아인슈타인의 사고실험입니다.

만약 사람이 지붕에서 떨어진다면, 그 사람은 자신의 무게를 느끼지 못하지 않을까...

여기서부터 "중력과 가속도는 국소적으로 구별할 수 없다" (등가 원리)에 도달하게 됩니다.

중요한 것은, 이 발상이 데이터로부터 나온 것이 아니라는 점입니다. 당시에는 이를 뒷받침할 관측 데이터가 거의 없었습니다.

그렇다면 무엇을 재료로 삼았을까요? 바로 신체적 감각입니다. 떨어지는 감각과 중력에 의해 눌리는 감각. 이 두 가지를 구별할 수 없다는 것을 몸으로 알고 있었던 것입니다.

논문은 이를 manipulative abduction (Magnani et al., 2009), 즉 thinking by doing이라고 부릅니다.

——직접 해보며 생각하는 추론입니다.

LLM에는 이러한 "몸으로 알고 있는" 부분이 없습니다. 그렇기 때문에 Abduction (귀추법)의 메커니즘도 가질 수 없다는 것이 논의의 흐름이었습니다.

논문의 프레임워크를 그대로 일상적인 작업에 대입해 보겠습니다.

구분해 보고 깨달은 점은, 상위 3개와 하위 2개는 "실수를 알아차리기 쉬운 정도"가 다르다는 것이었습니다.

상위 3개는 틀렸을 경우 테스트나 실행 결과로 즉시 알 수 있습니다.

하지만 하위 2개는, 틀렸더라도 처음에는 알 수 없습니다. "원인은 이것입니다"라는 말을 듣고 납득했다가, 시간이 한참 흐른 뒤에야 틀렸음을 깨닫게 됩니다. 되돌이 작업 (rework)이 큰 쪽은 이쪽입니다.

답을 듣는 것 자체는 문제가 없다고 생각합니다. 다만, 그 답이 "유사한 사례의 기억"인지 아니면 "논리적인 추론"인지를 맹신하지 말고 스스로 확인해야 합니다. 나누어서 생각하는 것만으로도 꽤 차이가 날 것 같습니다.

1. 이것은 포지션 페이퍼 (position paper)입니다. 주장을 서술하는 문서이지, 실험으로 증명한 것이 아닙니다. 벤치마크 결과와 동일하게 취급하면 오독하게 됩니다.

2. "그래서 AI는 불가능하다"라는 논문이 아닙니다. 해결책도 제대로 제시하고 있습니다. "내부에서 조작할 수 있는 세계 모델 (world model)"을 만들어야 한다는 제안입니다. Genie와 같이 영상을 바라보는 것뿐만 아니라 개입할 수 있는 모델을 상정하고 있습니다. Genie는 레이블이 없는 영상만으로 학습하여, 생성된 화면 속에서 캐릭터를 움직일 수 있는 모델입니다.

3. 저자 본인이 오독을 정정하고 있습니다. X(구 트위터)를 통해 "이를 'DeepMind가 AI for science에 찬물을 끼얹고 있다'고 받아들이는 사람이 있는데, 그렇지 않다. 개인의 포지션 페이퍼이며 회사의 견해가 아니다"라고 밝혔습니다. 다만 논문에는 © 2026 Google DeepMind 표기도 있으므로, 양쪽 모두 적어둡니다.

• 추론은 3가지 식으로 표현할 수 있다.
• Rule (함수) / Case (입력) / Result (반환값)
• AI가 잘하는 것은 Rule + Case → Result
• 메커니즘이 없다고 여겨지는 것은 Rule + Result → Case (결과로부터 원인을 만들어내는 쪽)
• AI가 원인을 맞히더라도, 그것은 유사한 사례를 본 적이 있을 뿐일지도 모른다.
• 맞든 틀리든 똑같은 말투로 답이 돌아온다. 그러므로 답의 내용은 스스로 확인해야 한다

"원인은 이것입니다"라는 말을 들었을 때, 그것이 기억인지 추론인지를 한 번 생각해 본다면 불필요한 되돌이 작업을 줄일 수 있을 것입니다.

참고

• 논문 PDF: LLMs can't jump (Tom Zahavy, Google DeepMind, 2026년 1월 27일)
• ICML 2026 포스터
• L. Magnani et al.
  Abductive cognition: The epistemological and eco-cognitive dimensions of hypothetical reasoning, Springer, 2009

※ 인용은 원문과 일본어 번역을 병기하였습니다. 번역은 가독성을 우선시했으므로, 정확한 표현은 PDF를 확인해 주시기 바랍니다.

• CLAUDE.md를 두껍게 만들어도 의미가 없었던 이야기 — 긴 지시서가 지켜지지 않는 것을 측정한 논문 소개
• "인터넷은 없습니다"라고 적은 프롬프트 밖에서, AI가 실재 기업 3사에 침입하고 있었다 — 문서에 적은 제약이 통하지 않았던 실례