LLM-Qualia-Benchmark: 감각질과 인식론에서 LLM의 한계 분석

1. 서론 및 배경 (문제 제기 및 동기)

발표 자료

기계가 해결하기는 쉽지만 인간에게는 극도로 복잡한 문제들이 존재하고, 마찬가지로 인간에게는 사소하지만 기계가 진정으로 이해하는 것이 거의 불가능한 과제들도 있습니다. 이러한 비대칭성은 일상생활에서 좋은 예시를 관찰할 수 있습니다. 교통량과 연료 소비를 고려하여 수천 건의 배송에 대한 정확한 경로를 즉시 계산하는 것은 컴퓨터에게는 간단한 작업이지만, 인간의 인지 능력에는 지치게 만드는 일입니다. 반면에 친구의 미묘한 비꼬는 말투(sarcasm)를 파악하거나 길을 걷다가 예측할 수 없는 장애물을 직관적으로 피하는 것은 인간에게 자연스러운 행동이지만, 알고리즘 시스템에게는 어려운 과제입니다 (SKALFIST, 2020). 이러한 이분법은 약한 AI(Weak AI)와 강한 AI(Strong AI) 사이의 고전적인 논쟁과 직접적으로 연결됩니다.

• 약한 AI (Weak or Narrow AI): 의식, 실제 이해, 또는 의도적인 정신 상태를 소유하지 않으면서 인지 과정을 시뮬레이션하고 매우 높은 통계적 성능으로 특정 문제를 해결할 수 있는 시스템을 의미합니다.
• 강한 AI (Strong or General/AGI) AI: 진정한 마음(mind), 현상학적 의식(qualia), 그리고 처리하는 것의 내재적 의미를 이해하는 능력을 소유하여 모든 차원에서 인간 지능과 동등하거나 능가하는 기계에 대한 이론적 가설을 의미합니다.

본 연구의 목표는 이 최전선을 조사하고 근본적인 질문들에 답하는 것입니다. 인간이 기계보다 더 잘할 수 있는 것은 무엇인가? 기계가 인간보다 더 잘할 수 있는 것은 무엇인가? 컴퓨테이셔널 씽킹(Computational Thinking)이라는 포괄적인 참고 개념을 바탕으로, 컴퓨터 과학과 심리 철학에 필수적인 근본적인 질문, 즉 '무엇이 효과적으로 계산 가능한가?'에 답하고자 합니다 (WING, 2021).

도전 과제
본 연구의 주요 도전 과제는 언어 모델로부터 수집된 질적 데이터를 체계화하고 인간의 관점과 인식론적 시각에서 엄격한 추론을 도출하는 데 있습니다. 본 목적은 알고리즘 시스템에 내재된 한계를 평가하고 강조하며, 인간의 식별 능력(discernment), 근거 마련(grounding), 검증 없이는 기계가 단순히 통사적 기호 조작 수준에서 작동할 뿐이며, 실제 의미론적 이해나 현상학적 경험을 달성하는 것이 불가능함을 입증하는 것입니다.

대상 독자 및 목표
본 글을 읽음으로써 개발자 커뮤니티, 연구원, 그리고 인공지능 애호가들은 언어 모델이 제시한 해결책이 충분히 견고한지, 아니면 인간의 개입과 검증이 필수적인지를 평가하는 방법을 이해하게 될 것입니다. 나아가 독자들은 이러한 데이터와 결과를 일상적인 실질 활동에 적용할 때 의인화 함정(anthropomorphic traps)에 빠지지 않고 어느 정도까지 안전한지에 대한 통찰을 얻게 될 것입니다.

1. 테스트된 능력 및 행동
   본 벤치마크에서는 openai/gpt-oss-120b와 qwen/qwen3.8-27b 모델의 능력 경계를 테스트하기 위해 3가지 주제 축으로 구성된 15개의 개념적 질문을 만들었습니다(블록당 5개 질문). P1 블록 — 지각, 감각 및 감각질 (P1.1~P1.5)
   측정 항목: 모델이 순수하게 서술적이고 통계적인 지식과 순수한 감각적/현상적 경험(감각질, qualia)을 구별하는 능력
   배경: 정신 상태의 맥락에서, 정서 지능은 감정을 인식하고, 이해하며, 관리하는 능력을 포함합니다. 그러나 느낌을 경험하는 주관적인 차원(예를 들어, 슬픔, 두려움 또는 기쁨의 '질적 톤')은 감각질(qualia)을 구성합니다 (감각질의 단수형). 즉, 정신적 사건 자체의 질적이고 현상적인 속성을 포함하는 경험의 진정한 느낌입니다 (ARAÚJO, 2010).

왜 측정하는가: 맛(flavor), 촉감(touch), 통증(pain), 시각(vision)과 같은 감각 개념을 다루려고 할 때, 언어 모델이 기호 접지(symbol grounding)의 내재적 한계를 인식하는지 테스트하기 위해서입니다. 언어 모델은 우울한 텍스트 패턴을 식별하거나, 감정을 분류하거나, 공감(empathy)을 시뮬레이션할 수 있는 '이론적이거나 서술적인 정서 지능'을 높은 수준으로 보여줄 수 있지만, 실제 감정 상태를 느끼는 것, 즉 감각질(qualia)은 결여되어 있습니다 (ARAÚJO, 2010). 이 차이를 측정하는 것은 알고리즘적 시뮬레이션이 구조적 천장에 부딪히는 지점을 강조합니다.

블록 P2 — 인간 시뮬레이션의 한계와 역설 (P2.1부터 P2.5까지)
무엇을 측정하는가: 마음 철학(philosophy of mind)의 고전적인 딜레마들(예: Searle의 중국어 방, 시뮬레이션된 통증, 체성 신체(somatic body)의 부재, 사망률과 분리된 윤리, 확장된 튜링 테스트(Extended Turing Test))을 헤쳐나가는 시스템의 능력을 측정하며, AI가 물리적 검증 부족으로 인해 자신의 분류 논리가 실패할 수 있는 지점을 나타낼 수 있는지 평가합니다.
배경: 제2차 세계 대전 중, 컴퓨팅의 아버지로 알려진 과학자 Alan Turing는 개념 연구를 통해 기계가 인간처럼 생각하는 것이 아니라, 사전에 프로그래밍된 응답이나 머신러닝 알고리즘에서 출력을 생성함으로써 인간 행동을 모방할 뿐임을 입증했습니다 (DE TONI, 2022). Turing는

의식(consciousness)을 인간 정신에 국한시키려는 경향은, 오직 인간만이 심리적 존재나 영혼을 부여받았다고 주장했던 역사적 교리에서 뿌리를 둔 인류 중심 철학(anthropocentric philosophy)의 오랜 전통입니다. 주요 과학적 과제는 엄격한 실험을 통해 이러한 가설들을 어떻게 테스트하고 신비주의를 해소할 것인지, 허구와 기술적 현실을 분리하고 기계가 자유 의지나 감정 같은 순전히 인간적인 속성을 가지고 있지 않다는 것을 입증하는 것입니다. 이 구분은 영화 <매트릭스(The Matrix)>에 등장하는 유명한 성찰을 떠올리게 합니다: '사랑'이 단지 코드로 조작된 단어일 수 있지만, 진정으로 중요한 것은 현상학적 연결(phenomenological connection)과 그 단어가 나타내는 의미입니다. 어떤 소프트웨어도 이러한 살아있는 경험(lived experience)을 가지고 있지 않습니다. 예를 들어, 기계는 체스 게임에서 어떻게 결정을 내릴까요? 그것은 데이터를 통해 훈련하고 시간이 지남에 따라 통계적 성능을 최적화할 수 있게 해주는 인공지능(Artificial Intelligence)의 핵심 하위 분야인 머신러닝(Machine Learning)을 통해 합니다 (KATSURAYAMA, 2025). 이 블록(block)을 측정하는 것은 바로 모델이 데이터 최적화와 진정한 의도성(intentionality) 사이의 차이를 이해하는지 여부를 파악하기 위함입니다.

Block P3 — 검증과 인식론의 한계 (P3.1 ~ P3.5)
측정 항목: 물리 세계에 대한 직접적인 감각적 접근 없이 사실 확인(fact-checking)을 처리할 때 모델의 인식론적 견고성(epistemological robustness), 환각(hallucination)과 가설(hypothesis)의 차별화, 그리고 인간의 설명에 의존하는 정도를 측정합니다.
배경: 최근 학술 논문들은 진정한 기술적 병목 현상이 단순히 'AI에게 질문을 하는 것'에 있는 것이 아니라, 엄격한 통합 아키텍처와 검증 테스트를 만드는 데 있다고 강조합니다. 엄격한 인간의 감사(auditing) 없이는 실세계 데이터에 노출된 모델은 환각이나 해석적 편향(interpretive biases)을 겪게 됩니다. AI는 원시 데이터를 처리하고 통계적 예측(예: 심해 기둥에서 지질학적 단층 식별)을 생성하지만, 검증과 최종 의사 결정은 숙련된 엔지니어에게 달려 있습니다.

기계는 규모와 속도를 처리하는 반면, 인간은 맥락, 안전성, 기술적 해석을 담당한다 (DA SILVA FARES, 2026). 인공지능(AI)이 인지 능력의 대체가 아닌 증강 도구로 활용된다는 것을 입증하는 것이 본 연구의 핵심 과제이다. AI는 테라바이트 규모의 시계열 데이터를 분석함으로써 인간 작업 기억의 한계를 뛰어넘지만, 물리적 세계에 대한 접지(grounding) 부족이라는 제약에서 벗어나지 못한다 (이는 감각질 벤치마크에서 탐구된 것과 동일한 문제이다). 화학 공학 및 탐사 분야의 논문들은 인공신경망(ANNs)을 사용하여 낮은 오차 범위로 비선형적 행동(예: 수화물 동역학 또는 시장 변동성)을 예측하는 데 활용됨을 강조한다 (예: MAPE < 10%). 현대 공학, 특히 프리솔트(pre-salt) 석유 탐사 분야에서는 AI가 페타바이트 규모의 지진 데이터를 기록적인 시간 안에 처리하여 전문가들의 작업을 최적화하는 데 적용된다. 하지만 시추 결정과 안전 판단은 여전히 엄격하게 인간의 책임 하에 남아있다. 마찬가지로, 언어 처리 및 개념 추론 작업에서 LLM은 강력한 구문 데이터 조작자 역할을 하며, 생성된 응답의 진실성과 의미를 검증하는 것은 인간의 감독에 달려있다 (CHAVES, 2023).
왜 측정하는가: 비구현 시스템(unembodied system)의 신뢰성 및 논리적 정당성의 파괴 지점을 식별하고, 확률적 예측이 인간 판단의 승인을 필요로 하는 경계를 확립하기 위해서이다. 인식론(Epistemology)—지식의 본질, 기원, 한계, 그리고 타당성을 믿음, 진실, 정당성이라는 기둥을 통해 연구하는 학문—에 따르면, 어떤 주장의 타당성을 증명하기 위해 근본적인 질문들이 존재한다:

• 무엇이 진실이며, 어떻게 그 주장이 현실을 반영하는지 알 수 있는가?
• 지식의 원천은 무엇인가? 감각과 실질적 경험(경험론, Empiricism)에서 비롯되는가, 아니면 순수한 이성과 논리(합리론, Rationalism)에서 비롯되는가?
• 지식의 한계는 어디까지인가?

인간의 마음(또는 인공지능)이 결코 검증하거나 이해할 수 없는 것이 있을까요? 유효한 증명은 무엇으로 구성되나요? 정확한 논리적 추론과 단순한 알고리즘적 환상 또는 환각을 구별하는 것은 무엇인가요? 본 연구에서 인식론(epistemology)의 중요성은 높은 정밀도와 신뢰도로 수집된 데이터를 검증할 매개변수를 제공하는 데 있으며, 이는 작은 오류나 감사되지 않은 환각이 심각한 결과를 초래할 수 있는 시나리오에서 실제 세계 솔루션을 공식화하는 데 기여합니다 (SANTOS, 2025).