
푸는 능력은 초일류, 묻는 능력은 제로. AI에게 남은 마지막 장벽
요약
AI가 기존 문제를 해결하는 능력은 비약적으로 발전했으나, 스스로 가설을 세우고 질문을 던지는 능력은 여전히 한계로 남아 있습니다. Google DeepMind의 데미스 허사비스는 탐색 공간을 정의하는 '질문하는 능력'이 과학적 진보의 핵심임을 강조합니다.
핵심 포인트
- AI는 정의된 탐색 공간 내에서 답을 찾는 데 매우 능숙함
- 새로운 탐색 공간을 만드는 '질문 세우기'는 해결보다 훨씬 어려운 과제
- AGI로 가기 위한 핵심 장벽은 스스로 가설을 세우는 능력의 결여
- 좋은 질문은 정답지가 없으며, 결과로만 그 가치를 증명할 수 있음
아인슈타인이 위대했던 것은 상대성 이론을 「풀었기」 때문이 아니다.
「빛과 경주한다면, 세계는 어떻게 보일까」라고 물었기 때문이다.
답은 그 질문 뒤에 찾아왔다.
지금, AI는 답을 내는 것이 점점 더 능숙해지고 있다. 시험을 풀고, 코드를 작성하고, 증명을 채운다. 수학 올림피아드에서 금메달을 딴다.
하지만 문득 이런 생각이 든다.
AI는 답을 내기 전의 「질문」을 스스로 세울 수 있는가?
이것은 「AI가 똑똑한가」라는 이야기가 아니다. 그보다 앞선, 훨씬 더 까다로운 이야기다.
Google DeepMind의 CEO 데미스 허사비스(Demis Hassabis)가 2026년에 들어서며 반복해서 같은 말을 하고 있다.
과학에서 가장 어려운 것은 올바른 질문을 세우는 것이라고.
그의 말은 상당히 명확하다. 「탐구할 가치가 있는 올바른 가설이란 무엇인가」를 찾아내는 것이야말로 최난관이며, 「질문 그 자체를 떠올리는 것, 이론이나 가설을 세우는 것」은 그것을 푸는 것보다 훨씬 어렵다고 말한다. (Fast Company)
더 나아가 이렇게도 말한다.
좋은 추측(conjecture)을 세우는 것은 그 추측을 증명하는 것보다 어렵다고.
이것은 수학이나 물리학을 해본 사람이라면 가슴에 와닿을 것이다.
증명은 골(goal)이 보인다. 보여줘야 할 명제가 있고, 사용할 도구가 있으며, 옳은지 여부는 마지막에 판정할 수 있다.
하지만 추측을 세우는 단계에는 골이 없다. 무엇을 보여줘야 할지조차 아직 정해지지 않았다.
허사비스는 지금의 AI에게는 「질문을 세우는 능력」이 아직 결여되어 있다고 명확히 말하고 있다. 푸는 능력은 성장했다. 하지만 묻는 능력은 별개의 문제로 남아 있다. (Fast Company)
만약을 위해 확인해 두자면, AI가 답을 내는 능력은 진짜다.
기존의 문제에 대해서 지금의 AI는 놀라울 정도로 강하다. 과거의 난관 시험, 프로그래밍 경진 대회, 정리 증명의 일부, 의사 국가 고시 수준의 임상 문제. 인간의 상위 몇 %와 경쟁하는 장면은 이제 드문 일이 아니다.
그래서 「이제 AGI는 눈앞에 있다」고 느끼는 사람이 있는 것도 자연스럽다.
다만, 여기서 구분해 두고 싶은 것이 있다.
기존의 답에 다가가는 능력과 미지의 질문을 세우는 능력은 같은 똑똑함이 아니다.
전자는 답이 어딘가에 존재하는 문제를 푸는 능력이다. 시험 문제에는 정답이 있다. 코딩 과제에는 사양(specification)이 있다. 정리에는 증명의 존재가 기대된다. AI는 그 지점에서 강하다.
후자는 아직 아무도 답을 준비하지 않은 곳에서 「이것을 물어야 한다」고 결정하는 능력이다.
이 두 가지는 이어져 있는 것처럼 보이지만, 사실 단층이 있다.
질문이 답보다 어렵다는 것은 감각적으로 이해하기 어렵다. 질문 쪽이 더 짧고 단순해 보이기 때문이다.
하지만 구조를 보면 반대가 된다.
답을 내는 작업은 탐색 공간(search space)이 정의되어 있다. 어디를 찾아야 하는지, 무엇이 정답의 조건인지 처음부터 틀이 짜여 있다. 장기(shogi)처럼 판면과 승패의 정의가 있고, 그 안에서 최선의 수를 찾는다.
질문을 세우는 작업은 탐색 공간 그 자체를 만든다. 아직 판면이 없다. 어떤 판면을 준비해야 할지, 승패를 무엇으로 측정해야 할지, 그것을 결정하는 것부터 시작된다.
아인슈타인의 진정한 비약은 광속의 값을 계산한 것이 아니었다. 「시간은 누구에게나 같다」라는, 아무도 의심하지 않았던 전제를 의심한 것이다. 물어야 할 장소를 남들과 다른 곳에 두었다.
답은 질문의 내부에 있다. 따라서 질문이 평범하면 아무리 정확하게 풀어도 평범한 답밖에 나오지 않는다.
그리고 좋은 질문에는 정답지가 없다. 「이것은 좋은 질문이다」라고 사전에 알려주는 채점자는 없다. 좋았는지 어땠는지는 한참 뒤에, 그 질문이 세상을 바꾸었는지로써만 알 수 있다.
이 부분은 인상으로 말하고 싶지 않다. 실제로 측정한 연구가 있다.
과학 잡지가 정리한 연구에 따르면, AI가 생성한 과학적 가설을 인간 연구자가 세운 가설과 나란히 두고 실제로 검증하여 비교했다. 결과는 AI의 가설이 인간의 것에 아직 미치지 못한다는 것이었다. (Science)
더 구체적인 숫자도 있다. AI가 내놓은 50개의 가설을 평가한 결과, 약 3분의 1은 기존 연구의 표절로 판정되었고, 추가로 3분의 1은 과거 작업의 부분적인 차용이었다. 거의 신규라고 할 수 있는 것은 2개뿐이었으며, 완전히 신규한 것은 하나도 없었다. (Science)
이 숫자는 냉정하게 보면 상당히 시사하는 바가 크다.
AI는 기존의 지식을 재조합하는 데 능숙하다. 그래서 「그럴듯한 가설」은 무한히 낼 수 있다. 하지만 그럴듯함과 신규성은 별개의 것이었다. 대부분은 이미 어딘가에 있었던 질문의 재진술(paraphrasing)이었다.
이것은 허사비스의 이야기와 깔끔하게 부합한다. 푸는 능력이 아니라 묻는 능력. 재조합하는 능력이 아니라 아직 없는 질문을 놓는 능력. 그 사이에 아직 거리가 있다.
같은 내용을 다른 각도에서 말하는 사람이 있다. ARC-AGI를 만든 프랑수아 쇼레(François Chollet)다.
그의 지능에 대한 정의는 단순하면서도 날카롭다.
지능이란 암기한 양이 아니라, 새로운 상황에 적응하는 효율이다.
쇼레(Chollet)의 말을 빌리자면, "암기는 도움이 된다. 하지만 지능은 그것과는 별개의 것이다". 그리고 "지능이란 무엇을 해야 할지 모를 때 사용하는 것이다". (Freethink)
그가 문제 삼고 있는 것은, 현재 대부분의 벤치마크(Benchmark)가 암기로 풀려버린다는 점이다. 방대한 인류의 지식을 기억하고 재조합하는 능력을, 인간처럼 배우고 발명하는 능력과 혼동하고 있다는 것이다. (Freethink)
ARC-AGI는 그 혼동을 피하기 위해 만들어졌다. 인간에게는 쉽고, AI에게는 어렵다. 사전 학습(Pre-training)으로 암기할 수 없도록 매번 새로운 태스크(Task)로 구성한다. 측정하는 것은 지식의 양이 아니라, 처음 보는 과제에 대한 적응 속도다. (ARC Prize)
질문을 던지는 능력도 이와 같은 지점에 서 있다.
과거의 질문을 기억해 바꾸어 말하는 것은 암기의 연장선에서 가능하다. 하지만 아직 아무도 던지지 않은 질문을 내놓는 것은, 처음 보는 상황에 적응하는 능력 그 자체다. 쇼레가 측정하려는 것과 하사비스(Hassabis)가 부족하다고 말하는 것은 아마도 같은 지점을 가리키고 있을 것이다.
여기서 까다로운 문제가 발생한다.
답의 질은 채점할 수 있다. 정답과 대조하면 되니까.
하지만 질문의 질은 어떻게 측정할 것인가?
이전에 썼던, 1901년에서 지식을 멈춘 AI에게 상대성 이론을 재발명하게 하는 테스트는 이 채점 문제를 잘 회피했다. 과거의 발견을 이용하면, AI에게는 미지의 영역일지라도 인간은 이미 답을 알고 있다. 그래서 채점이 가능했다.
질문의 경우에도 같은 방법을 쓸 수 있을지도 모른다.
역사상의 커다란 발견 '직전'에서 시계를 멈춘다. 다만 이번에는 답이 아니라 질문을 재현하게 한다. 1904년의 물리학 자료를 모두 주고, "다음에 물어야 할 것은 무엇인가"를 내놓게 한다. 거기서 "시간은 정말 절대적인가"에 가까운 질문이 나온다면, 그것은 질문을 던지는 능력의 증거가 된다. 인간은 그 질문이 나중에 얼마나 결실을 맺었는지 알고 있으므로 채점도 가능하다.
다만 여기에는 함정이 있다. AI는 상대성 이론을 이미 학습했다. 따라서 "시간을 의심하라"는 질문을 발견이 아닌 회상(Recall)으로서 내놓을 위험이 있다. 정말로 질문을 던진 것인지, 답으로부터 역산하여 그럴싸한 질문을 배치한 것뿐인지. 이 구분은 답을 채점하는 것보다 훨씬 어렵다.
질문을 측정하는 것이 어렵다는 사실 자체가, 질문이 답보다 더 깊다는 증거일지도 모른다.
"AI가 과학을 자동화한다"는 이야기는 이제 자주 들리게 되었다.
그 미래상은 대개 이렇다. AI가 가설을 대량으로 내놓고, 실험을 설계하며, 결과를 해석하고, 다음 가설로 연결한다. 인간은 지켜보기만 하면 된다.
하지만 지금의 이야기를 바탕으로 보면, 이 그림의 가장 상류에 병목 현상(Bottleneck)이 있다.
가설을 대량으로 내놓는 것 자체는 이제 가능하다. 문제는 그 대량의 가설 대부분이 기존 질문의 재조합이라는 점이다. 실험을 돌리기 전, "애초에 무엇을 물을 것인가"라는 단계에서 아직 인간을 넘어서지 못했다.
그래서 당분간 현실적인 형태는 이렇게 될 것이라 생각한다.
질문은 인간이 던진다. 답의 탐색은 AI가 수행한다.
아인슈타인이 질문을 던지면, AI가 맹렬한 속도로 그 주변을 계산해낸다. 나쁘지 않은 분업이다. 오히려 인간의 가장 가치 있는 업무(질문을 던지는 것)를 인간에게 남기는 형태라고도 할 수 있다.
물론 이 분업이 언제까지 지속될지는 알 수 없다. 하사비스도 쇼레도 질문하는 능력이 AI에 깃들 날을 부정하지는 않는다. 다만 그것은 채팅이 능숙해지는 연장선상에 있는 것이 아닌, 별개의 능력이라고 말하고 있다.
한 마디로 요약하면 다음과 같다.
AI는 답을 낼 수 있다. 하지만 답 이전에 있는 「질문」을 던지는 능력은 아직 인간의 영역에 있다.
아인슈타인이 위대했던 것은 답보다 질문이었다. 하사비스가 최난관이라고 말하는 것도, 쇼레가 암기와 구분하는 것도, Science지의 연구가 보여준 것도 모두 이 한 점을 가리키고 있다.
푸는 능력은 이제 충분히 성장했다. 다음에 올 진정한 분수령은 AI가 스스로 "이것을 물어야 한다"라고 말하는 순간이라고 생각한다.
그날, AI는 인간의 일을 빠르게 만드는 도구에서, 인간이 놓치고 있던 질문을 제시해 주는 무언가로 변할 것이다.
아직 그날은 오지 않았다. 하지만 어디를 보고 있어야 그날을 알 수 있는지는 분명해졌다. 답의 정밀도가 아니다. 질문의 새로움이다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기