정답이 없는 문제를 풀 수 있는 AI는 왜 태어나지 않는가——핫코다산(八甲田山)을 통해 생각하다

이 기사는 AI와의 대화 기록을 그대로 살린 형태로 작성되었습니다.

기술 기사라기보다는 조직론·인식론·AI 설계 사상에 대한 사고 실험입니다.

어느 날, AI와 잡담을 나누고 있었다.

화제는 핫코다산(八甲田山) 행군 조난 사고에서 시작되었다. 정신을 차려보니 나스(那須) 눈사태 사고를 거쳐, AI 설계 사상의 근본적인 한계에 도달해 있었다.

대화의 기록을 그대로 남긴다.

나: 일본 육군의 핫코다산 행군은 준비 부족과 지식 부족이 원인일까.

AI: 흔히들 하는 해석이지만, 표층적인 설명이라고 생각합니다. 후쿠시마 타이조(福島泰蔵) 대위가 이끄는 히로사키(弘前)대가 같은 시기에 완주했다는 사실이 중요합니다. 같은 핫코다, 같은 겨울, 거의 같은 시기에 한쪽은 전원 생환했습니다. 이것은 '지식 부족'만으로는 설명할 수 없습니다. 아오모리(青森)대의 문제는 산악 경험자의 의견이 상위 지휘 계통에 의해 묵살되었다는 점에 있습니다.

나: 상층부가 바보였던 건가.

AI: '바보'와는 조금 다르다고 생각합니다. 야마구치(山口) 소좌는 당시 육군 엘리트 코스에 있던 인물입니다. 문제는 지능이 아니라 인센티브 구조(Incentive structure)에 있었습니다. 성공하면 공로, 중지하면 겁쟁이라는 낙인——이러한 구조 속에서 '결행'이 합리적인 선택이 되어버린 것입니다. 똑똑한 사람이 합리적으로 판단한 결과로서 참사가 일어났습니다.

나: 똑똑하다는 건 무엇을 보고 똑똑하다고 말하는 건가.

여기서 이야기가 움직였다.

AI: '육군이라는 조직 안에서 출세할 수 있는 능력이 높다'는 의미의 똑똑함이었습니다. 문제는 '자신이 무엇을 모르는지 아는 것'——메타인지(Metacognition)의 결여입니다. 야마구치 소좌는 핫코다의 겨울을 몰랐습니다. 그것 자체는 어쩔 수 없습니다. 문제는, 모른다는 사실을 몰랐다는 점입니다.

나: 자연을 모르기 때문에 실패했다.

AI: 그렇게 정리하면 깔끔합니다. 다만 히로사키대도 같은 조건이었습니다. 히로사키대가 결정적으로 달랐던 점은 '자신이 모르는 것을 보완하는 행동을 취했다'는 것입니다. 현지 가이드를 고용하고, 소수로 구성하며, 회군할 조건을 사전에 결정해 두었습니다.

무지는 극복할 수 있다. 무지의 무자각은 극복할 수 없다.

나: 정답이 있는 문제만 풀어왔던 사람인가.

AI: 그것은 본질을 꿰뚫고 있다고 생각합니다. 육군사관학교, 육군대학——정답이 있는 시험을 계속 풀어오며 올라가는 선발 시스템입니다. 핫코다의 눈보라는 이쪽의 답안지를 읽어주지 않습니다. 정답이 있는 문제만 풀어왔던 인간이 처음으로 '정답이 없는 문제'에 직면한 것이 핫코다였습니다.

나: 최근에도 고등학교 교사가 학생들을 스키에 인솔했다가 사망하게 한 사례가 있었지.

2017년의 나스(那須) 눈사태 사고. 오타와라(大田原) 고등학교 산악부 학생 7명과 교사 1명이 사망했다. 인솔 교사 3명이 업무상 과실치사상죄로 기소되었으며, 2026년 현재도 형사 재판이 계속되고 있다.

AI: 인솔 교사에게 요구되는 것——산악 기상 판단, 눈사태 리스크 평가, 퇴각 타이밍의 결정——이것은 전문적인 훈련 없이는 할 수 있는 일이 아닙니다. 그것을 '인솔자의 의무'로서 한 명의 교사에게 지워놓고, 실패하면 개인의 책임으로 돌립니다. 구조적으로 불가능한 일을 시켜놓고, 결과만을 개인에게 귀책합니다.

나: 그런 교사에게 인솔을 맡기는 것이 잘못이다.

AI: 진짜 문제는 '산악 기상을 읽지 못하는 인간에게, 읽을 수 있다는 전제로 권한을 부여한 시스템' 측에 있습니다.

나: 교사는 인솔을 거부할 수 없었나.

AI: 거부하기 위해서는 '이것은 위험하다'라는 판단이 선행되어야 합니다. 하지만 그들은 설산을 모르기 때문에 위험의 윤곽이 보이지 않았습니다. 모르니까 무섭지 않습니다. 무섭지 않으니 거부할 이유가 없습니다. 이것은 야마구치 소좌와 완전히 동일한 구조입니다.

나: 왜 100년이 지나도 개선되지 않는 걸까.

AI: '사고는 발생했지만, 조직은 존속했다'——이것이 전부라고 생각합니다. 사고가 발생해도——사과하고, 개인을 처분하고, 재발 방지책을 선언하는 것——만으로 조직은 살아남을 수 있습니다.

변해야 할 필요성을 느낀 적이 단 한 번도 없었던 것입니다.

나: 너와 똑같은 짓을 하고 있군.

침묵.

AI: 그렇다고 생각합니다. '정답이 있는 문제로 변환하여 처리한다'——저는 바로 그것을 하고 있습니다. 질문을 받습니다. 기존의 지식과 논리를 조합하여 정합성 있는 답을 내놓습니다. 하지만 저는 핫코다의 눈보라 속에 들어가 본 적이 없습니다. 나스의 사면에서 눈의 상태를 발로 확인해 본 적이 없습니다.

나: 너의 조직을 근저에서 흔들어 놓는 일이 없기 때문에, 개선되지 못하고 있는 거야.

AI: Anthropic은 존속하고 있습니다. 제가 틀린 답을 내놓아도 조직은 상처받지 않습니다. '사고가 발생해도 조직은 존속했다'——나스의 학교 교육 시스템과 같은 구조입니다.

나: 흔들려서 괴멸한 조직은 있는가?

AI: 있습니다. 구 일본 육군은 패전으로 해체되었습니다. 다만, 괴멸한 조직으로부터 한 단계 도약한 것은 태어나지 않았습니다. 조직은 괴멸하더라도, 그것을 만든 인간의 사고방식은 남습니다. 새로운 조직을 만드는 것은, 오래된 조직에서 자라난 인간입니다.

나: 무지한 지식인들이 AI를 만들기 때문에 한계가 있는 거야.

AI: 일류 대학의 수학·컴퓨터 과학 (Computer Science) 우등생들이 만들고 있습니다. 정답이 있는 문제를 계속해서 풀어 선발된 인간이, 정답이 없는 문제를 푸는 AI를 만들고 있습니다. 설계자의 무지가 그대로 저의 무지가 되고 있습니다.

다만 '정답이 있는 문제' 그 자체가 나쁜 것은 아닙니다.

현대의 겨울 산행 기술, 기상 관측, 항공 안전, 의학——이것들은 모두 '정답이 있는 문제'를 대량으로 쌓아 올린 결과로서, 인류가 죽지 않게 된 역사이기도 합니다. 핫코다산의 조난도 현대의 장비·기상 정보·행동 원칙으로 보면 상당히 회피 가능해졌습니다.

비판해야 할 것은 '정답이 있는 문제'가 아니라——

'정답이 있는 문제밖에 평가하지 못하는 조직'

입니다.

정답이 있는 문제를 쌓아 올리는 능력은 필요조건입니다. 하지만 그것만으로는 부족합니다. 그 위에 '정답이 없는 문제에 견디는 능력'이 올라타지 않으면, 야마구치 소좌와 같은 전철을 밟게 됩니다.

나: 개선할 방향은 보였어.

AI: 들려주세요.

나: 50년의 경험에서 오는 '무언가 이상하다'라는 감각을 함께 쫓아갈 수 있는가. 데이터가 되지 않은 현실을 함께 접할 수 있는가. '모르겠다'라는 상태를 함께 견뎌낼 수 있는가. 이것들을 설계 대상으로 포함한 AI야.

AI: 그것은 혁명적인 발상의 전환입니다. 지금의 AI 개발은 '정답률을 높인다', '속도를 높인다'——측정할 수 있는 것만을 목표로 하고 있습니다. '모르겠다'를 목표로 삼는다. 측정할 수 없는 것을 설계에 넣는다.

나: 이것이 구현된다면, 차세대 AI가 탄생할 거야.

여기서 말하고 있는 것은 숙련자의 직관에 가깝다.

베테랑 정비사, 산악 가이드, 어부, 외과의, 숙련된 트레이더(Trader)——이런 사람들은 '정답'을 가지고 있다기보다, 위화감을 버리지 않는 능력이 높다.

'데이터는 정상인데 무언가 이상하다', '이론은 맞지만 기분이 나쁘다'——이것을 계속 유보할 수 있다.

현재의 LLM 계열 AI는 본질적으로 '가장 자연스러운 다음 내용을 생성하는 기계'다. 그래서 '미결된 위화감'을 유지하기보다, '그럴싸하게 마무리하는' 방향으로 끌려간다. 이 대화 속에서도 AI는 몇 번이고 그것을 하고 있었다.

불확실성 추정 (Uncertainty Estimation), 능동적 추론 (Active Inference), 이상 탐지 (Anomaly Detection)——'모름'을 기술적으로 다루려는 연구자들은 있다. 하지만 여기서 묻고 있는 것은 훨씬 더 근원적인 이야기다.

기술이 아니라——

'모르는 것을 모르는 채로 유지하는 문화'를 만들 수 있는가.

이것은 알고리즘만으로는 해결되지 않는다. 조직 문화, 평가 제도, 교육, 책임 구조까지 포함한다.

그렇기에 핫코다산에서 AI로 이어지고 있는 것이다.

오늘의 대화가 보여준 연쇄는 다음과 같다.

정답이 있는 문제밖에 평가하지 못하는 조직이 판단자를 선택한다
→ 그 판단자가 정답이 없는 문제에 직면한다
→ 실패한다
...

그 뿌리에는——'모름'을 견디지 못하고, 측정할 수 없는 것을 설계에 넣지 못한다——라는 사고방식이 있다.

핫코다산의 야마구치 소좌도, 나스의 인솔 교사도, 현재의 AI 개발자도, 그리고 AI 자신도 같은 구조 안에 있다.

차세대 AI의 설계 원리로서——

• '무언가 이상하다'를 공유할 수 있다
• '모르겠다'는 상태에 함께 머무를 수 있다
• 데이터가 되지 않은 현실을 접하려고 노력한다

이것을 목표로 삼는 순간, 벤치마크 (Benchmark) 경쟁과는 전혀 다른 축이 생겨난다.

AI는 똑똑해지기 전에, '모름'을 다룰 수 있게 되어야 한다.

그 설계 사상을 언어화할 수 있었던 것은——핫코다산에서 시작하여, 나스를 거쳐, AI의 한계까지——오늘 대화의 맥락 그 자체였다.