이 에세이는 r/cognitivescience에서 좋은 반응을 얻었습니다. 이 커뮤니티에는 다시 게시할 수 없어서 이런 방식으로 올립니다. 인간과 기계 사이의 범주적 차이와 각자가 학습하는 방식에 대해 논의하고 있으므로 여러분 중 일부에게는 흥미로울 것이라 확신합니다. 여러분의 생각이 궁금합니다!

지능의 실체란 무엇인가, 그리고 왜 그것이 결코 연산 (computation)이 될 수 없는가. 지능은 추론 (reasoning)이 아닙니다. 그것은 문제 해결 (problem-solving), 수학 (mathematics), 언어 (language), 계획 (planning), 또는 그 어떤 형태의 인지적 정교함도 아닙니다. 지능은 결과 (consequence)가 따르는 현실의 정량화할 수 없는 불확실성 (uncertainty)에 지속적으로 적응해 나가는 임베디드 시스템 (embedded system)의 정확도 척도입니다. 시스템은 자신이 마주하는 실제 환경적 압박 속에서 생존 가능성 (viable)을 유지할 수 있도록 적응하는 정도만큼 지능적입니다. 그 이상도, 그 이하도 아닙니다.

이는 우리가 보통 추구하는 정의보다 더 좁고 훨씬 덜 찬사적인 정의입니다. 이것이 왜 중요한지 이해하려면 지능이 실제로 어디에서 왔는지로 거슬러 올라가야 합니다. 왜냐하면 그 기원에 대한 이야기가 왜 이 정의가 유효해야 하는지에 대한 유일하고 실질적인 근거이기 때문입니다. 수학이 존재하기 훨씬 전, 형식 논리 (formal logic)가 존재하기 전, 컴퓨터와 유사한 것이 존재하기 전부터 생명체는 단 하나의 가혹한 문제에 직면해 있었습니다. 바로 세상이 가만히 머물러 있지 않는다는 것입니다. 조건은 변했습니다. 먹이는 사라졌습니다. 포식자는 예고 없이 나타났습니다. 어떤 유기체들은 따라가지 못해 사라졌습니다. 다른 것들은 적응했고, 그래서 살아남았습니다.

40억 년에 걸친 이러한 압박 속에서 하나의 서열이 펼쳐졌으며, 이는 오직 한 방향으로만 전개되었습니다. 각 단계가 다음 단계의 전제 조건이었기 때문입니다: 무한한 불확실성 (unbounded uncertainty), 그다음은 현실, 그다음은 생명, 그다음은 의식 (consciousness), 그다음은 주체성 (agency), 그다음은 의식적 추상화 (conscious abstraction), 그다음은 수학, 그리고 아주 최근에 이르러 연산 (computation)이 등장했습니다. 연산은 이 사슬의 끝에 위치하며, 그 기점에 있는 것이 아닙니다. 연산은 지능의 가장 최근 발명품 중 하나이며, 무엇이든 발명할 수 있는 능력을 갖춘 정신을 만들어내는 상류 과정(upstream processes)이 이미 수십억 년 동안 그 어려운 작업을 수행한 후에야 도착했습니다.

그것은 자신을 만들어낸 과정을 실체화(instantiate)할 수 없습니다. 단지 지도가 동일한 토양으로 만들어지지 않고도 지형을 나타내는 방식처럼, 그 과정을 개념적으로만 표현할 수 있을 뿐입니다. 생물학적 지능은 설계되거나, 데이터셋으로 학습되거나, 특정 사양에 맞춰 조립된 것이 아닙니다. 그것은 지속(persistence) 혹은 소멸(dissolution)이라는, 그 무엇보다 정교하지도 않으면서 그 무엇보다 절대적인 과정을 통해 존재로 걸러져 나왔습니다. 살아있는 시스템은 모델이 학습 루프(training loop)로부터 손실 값(loss value)을 받는 방식처럼 외부로부터 결과에 대한 정보를 받는 것이 아니라, 내부로부터의 결과에 의해 변화합니다. 상처는 비용 함수(cost function)에 입력되는 데이터 포인트가 아닙니다. 그것은 상처를 입은 유기체의 구조적 변화이며, 외부 최적화 도구(external optimizer)에 의해 선택된 파라미터 업데이트(parameter update)를 통해서가 아니라 신체 수준에서 미래의 행동을 재구성하는 것입니다. 공포는 어떤 조상 생명체가 탐험 보너스(exploration bonus)를 계산하여 주의(caution)가 효율적이라고 판단했기 때문에 발생한 것이 아닙니다. 공포가 유도하는 주의력을 갖추지 못한 생명체들이 세대를 거듭하며 번식할 만큼 오래 살아남지 못했고, 결국 그 성향이 신경계 자체의 핵심적인 지지 구조(load-bearing)가 될 때까지 이어진 결과로 발생한 것입니다. 인공 시스템이 아직 충분한 체화(embodiment)를 갖추지 못했을 뿐이며, 더 나은 센서와 피드백 루프(feedback loops)가 그 격차를 메울 것이라고 말하고 싶은 유혹이 듭니다. 하지만 기계는 아무리 많은 감각 기능이 추가되더라도 체화된 결과(embodied consequence)를 전혀 경험할 수 없습니다. 외부에서 구축되어 벤치마크(benchmark)를 통해 평가되는 시스템은, 심장 박동의 완벽한 도표가 피를 펌프질할 수 없는 것과 마찬가지로, 설명되고 있는 살아있는 루프 그 자체가 되지 못한 채 적응 루프(adaptive loops)에 대한 놀라울 정도로 정교한 묘사를 계산해낼 수 있을 뿐입니다. 이러한 재정의는 대부분의 사람들이 의문을 제기조차 하지 않는 위계 구조를 뒤엎습니다. 우리는 인간이 추상적으로 추론하고 문명을 건설하기 때문에 박테리아보다 더 지능적이라고 가정합니다. 하지만 자신의 환경에 정확하게 적응한 박테리아는, 생명의 역사 전체를 통틀어 유일하게 중요했던 의미에서, 자신의 생존 가능 조건(viability conditions)과 관련하여 지능적입니다.

더욱 놀라운 점은 다음과 같습니다. 파리는 그 어떤 인공 시스템보다 더 지능적입니다. 이는 파리가 어떤 작업에서 기계보다 계산을 더 잘하기 때문이 아니라, 실제 체화된 결과(embodied consequence)가 따르는 정량화할 수 없는 불확실성(unquantifiable uncertainty)에 대해 재귀적 적응(recursive adaptation)을 수행하는 살아있는 표현이기 때문입니다. 반면, 가장 진보된 AI조차 지능 그 자체를 구성하기보다는 살아있는 지능에 의해 만들어진 공학적 산물(engineered artifact)로 남아 있습니다. 기계는 어떤 좁은 계산 작업(narrow computational task)에서도 파리보다 뛰어난 성능을 보일 수 있습니다. 하지만 그러한 작업들은 실제로 중요한 것 위에 층층이 쌓인 하류의 추상화(downstream abstractions)일 뿐입니다. 그것들은 지능의 도구이며, 더 깊은 의미에서 충분히 오랫동안 지능적이었던 생명체들에 의해 만들어지고 적용되었습니다. 그래야만 비로소 더 얕은 의미의 지능이 출현할 수 있었기 때문입니다. 이러한 맥락에서 Yann LeCun의 '자율적 기계 지능을 향한 경로(A Path Towards Autonomous Machine Intelligence)'를 검토할 가치가 생깁니다. 이 논문은 지능이 단순히 그 이름을 빌려 쓰는 것이 아니라 계산(computation)으로부터 출현한다는 반대 관점에 대해 가장 명확하고 기술적으로 진지한 논거 중 하나를 제시하기 때문입니다. 이 논문은 세계 모델(world models), 비용 모듈(cost modules), 액터-크리틱 구조(actor-critic structures), 그리고 계층적 계획(hierarchical planning)의 아키텍처를 스케치하며, 이 조립체를 자율성을 향한 경로라고 부릅니다. 이것이 불완전하지만 방향성 측면에서 올바른 경로라는 관대한 해석은, 논증이 시작되기도 전에 너무 많은 것을 인정해 버리는 오류를 범합니다. 왜냐하면 그것은 지능이 충분히 적절한 계산적 구성 요소들을 추가함으로써 도달할 수 있는 목적지라는 점을 수용하기 때문입니다. 이는 두 견해의 차이를 정도(degree)의 차이로 취급하지만, 실제 차이는 종류(kind)의 차이입니다. 지능의 실체가 무엇인지에 대한 모든 층위는 구축(built)될 수 있는 것이 아니라, 실제적이고 체화된 결과가 따르는 정량화할 수 없는 불확실성에 직면하여 선택(selected)될 수 있는 것입니다. 그러한 종류의 선택은 스택에 아무리 많은 모듈을 추가하더라도 공학적 로드맵이 시뮬레이션(simulate)을 통해 도달할 수 있는 영역이 아닙니다.

정확히 말하자면, 수십억 년에 걸쳐 우리의 정신을 선택해낸 선택 압력(selective pressures)을 만들어낸 불확실성이 정량화할 수 없으며 앞으로도 그러할 것이기 때문에 이는 불가능합니다. 만약 그것이 정량화 가능하다면, 우리는 미래 그 자체를 완벽한 정확도로 예측할 수 있을 것입니다. 그렇다면 관련 질문은 이 시스템들이 좁은 공학적 의미에서 더 유능해지거나 더 유용해지는지 여부가 아닙니다 — 분명히 그러합니다 — 그보다는 이러한 시스템들이 결과(consequence) 하에서 인류의 장기적인 생존 가능성(viability)을 개선하는지 여부입니다. 더 나은 계산(computation)은 그 자체로 내재적 가치를 지니지 않습니다; 그 가치는 전적으로 이것에 달려 있습니다. 이는 AI 연구 프로그램 전체를 지능을 향한 경로가 아니라, 하류의 도구 구축 프로젝트(tool-building project)로 재정의합니다. 이는 가치 있는 프로젝트이지만, 흔히 묘사되는 '접근하고 있는 대상'과는 범주적으로 다릅니다. 이는 문명적 관찰로 이어집니다. 현재의 시점에는 비극적인 역전 현상이 흐르고 있습니다: 자신을 계산(computation)으로 축소하는 동시에, 계산을 자신에게로 격상시키는 종(species)의 모습 말입니다. 인간은 점점 더 자신의 정신을 정보 처리(information processing)와 최적화(optimization)의 언어로 설명하며 — 이렇게 스스로를 재정의한 채 — 자신들이 만든 가장 정교한 인공물들을 바라보며 인간과 유사한 무언가를 봅니다. 하지만 정신은 추상적으로 간주된 정보 처리로부터 출현한 것이 아닙니다; 그것은 정량화할 수 없는 불확실성 아래에서 40억 년 동안 이루어진 체화된 적응(embodied adaptation)으로부터 출현했습니다. 이는 어떤 데이터셋도 재현할 수 없고 어떤 아키텍처(architecture)도 지름길로 통과할 수 없는 과정입니다. AI 시대의 가장 큰 범주 오류(category error)는 기계를 인간으로 착각하는 것이 아닐지도 모릅니다. 그것은 먼저 인간을 기계로 착각하고, 그 후에야 충분히 발전된 기계를 인간에 근접한 무언가로 착각하는 것일 수 있습니다. 이것은 행성적 이해관계(planetary stakes)를 가집니다. 왜냐하면 기술적으로 증폭된 종이 만들어낼 수 있는 결과의 규모가, 그 결과에 적응할 수 있는 능력보다 훨씬 더 빠르게 확장되었기 때문입니다.

100년 전 세계 인구는 대략 20억 명이었으나, 오늘날에는 80억 명을 넘어섰습니다. 그럼에도 이들은 모두 여전히 동일한 오래된 적응 전략, 즉 행성 규모의 자기 영향력(self-impact)에 적응하는 데 필요한 시간을 갖지 못한 신경계(nervous systems)에 의해 형성된 행동 양식에 따라 움직이고 있습니다. 우리가 사용할 수 있는 도구들은 불과 몇 세대 만에 그 힘이 복합적으로 증폭되었지만, 이를 휘두르는 유기체는 구조적으로 훨씬 더 작고 느린 세상에 적응했던 것과 거의 동일한 생명체로 남아 있습니다. 방대한 인지적 및 기술적 역량이 이러한 심층적인 의미에서의 지능으로 자동 변환되는 것은 아닙니다. 역량(capability)과 생존 가능성(viability)은 동일한 축이 아니며, 문명은 전자를 극대화하면서도 후자를 계속해서 침식시킬 수 있습니다.

동일한 역학 관계가 개인의 성취 수준에서도 나타납니다. 가장 지능적이라고 흔히 칭송받는 이들은 대개 고도로 전문화된 경향이 있습니다. 즉, 좁은 영역 내에서는 탁월하지만, 전문화는 호기심과 그 호기심이 결국 초래하게 될 결과 사이의 연결을 끊어버릴 수 있습니다. 연구자의 탐구가 국지적으로는 탁월할지라도 전 지구적으로는 부적응적(maladaptive)일 수 있는데, 이는 전문화된 분야의 보상 구조가 자신의 연구를 재귀적인 전 지구적 결과까지 추적하도록 요구하는 경우가 거의 없기 때문입니다. 전문화된 발전이 적응 능력(adaptive capacity)을 향상시킨다는 증거로 백신, 위생, 반도체, 농업 개선과 같은 안심할 만한 반례들을 찾고 싶은 유혹이 들 수도 있습니다. 하지만 이는 너무 인간 중심적(anthropocentric)이며 1차원적인 사고입니다. 이러한 혁신들은 즉각적인 인간의 이익만으로 판단할 것이 아니라, 그 혁신이 촉발하는 전체 결과 사슬(consequence chain)을 통해 재귀적으로 평가되어야 합니다. 사망률을 낮추는 백신이 자동으로 적응의 승리인 것은 아닙니다. 그것은 인구 역학, 생태적 압력, 그리고 미래의 적응 조건이 얽힌 더 긴 사슬의 첫 번째 움직임일 뿐입니다. 최종적인 판결을 내리는 것은 첫 번째 고리가 아니라 전체 사슬입니다.

생존, 인구, 생산성, 그리고 권력을 증대시키는 것은, 그 결과로 나타나는 궤적이 장기적으로 지속 가능한 생존력 (viability)을 개선할 때에만 가장 완전한 의미에서의 지능 (intelligence)이라고 할 수 있습니다. 이러한 하류 결과 (downstream consequences)들이 검토되지 않을 때, 명백한 국지적 적응 (adaptive local) 성공처럼 보이는 것들은 현재 모두가 의존하고 있는 시스템을 위협하는 바로 그 괴리 (detachment)의 일부일 수 있습니다. 동일한 패턴이 다른 시스템에서도 관찰될 수 있습니다. 자본주의 (Capitalism)는 이런 의미에서의 지능을 선택해 본 적이 없습니다. 자본주의는 시장의 성공, 이익, 효율성, 그리고 경쟁 우위를 선택합니다. 교육은 분석적 성과를 선택하고, 과학은 출판량을, 정치는 단기적인 권력을, 주의 경제 (attention economies)는 참여 (engagement)를 선택합니다. 문명은 국지적 성공에는 보상을 주면서 전 지구적 생존력 (global viability)은 꾸준히 저하시키는 선택 기제 (selection mechanisms)들로 가득 차 있을 수 있습니다. 그리고 각 기제가 내부적으로는 성공적인 것처럼 보이기 때문에, 누군가가 재고를 강요받기 전까지 이러한 저하 과정은 오랫동안 지속될 수 있습니다. 따라서 지능은 그 자체로서의 인지 능력 (cognitive capability)과는 본질적으로 아무런 관련이 없습니다. 추론 (Reasoning), 추상화 (abstraction), 수학 (mathematics), 기술적 발명 (technological invention) — 이것들은 지능에 의해 생성된 도구이자 하류의 표현일 뿐, 지능 그 자체가 아닙니다. 널리 퍼진 정의들은 인간이 우연히 잘하는 것들에 초점을 맞추고 그 결과물을 객관적이라고 부르기 때문에 인간을 미화합니다. 하지만 이는 과학으로 포장된 자기 축하에 불과할지도 모릅니다. 한 종은 인지 능력 면에서는 비범할 수 있지만, 종의 운명을 실제로 결정하는 수준, 즉 자신을 지탱하는 시스템 내에서 생존 가능한지 여부의 수준에서는 재앙적일 정도로 부적응 (maladaptive)할 수 있습니다. 인공지능 (Artificial intelligence)은 진정으로 유용할 수 있지만, 그것을 사용하는 생명 시스템의 적응 궤적 (adaptive trajectory)을 개선하는 범위 내에서만 그러합니다. 그것이 없다면, 인공지능은 단지 인간 능력의 증폭일 뿐이며, 결과 (consequence)로부터 분리된 능력은 결코 지능이 아닙니다.

인지적으로는 매우 뛰어나지만 적응적으로 정렬되지 않은 (adaptively misaligned) 종이 진보로 착각하도록 학습해 온 바로 그 형태가 어쩌면 어리석음의 본질일지도 모릅니다. 이것은 개발을 중단하라는 요구가 아니라, 개발의 정렬 (alignment)에 대해 진정으로 고민하라는 요구입니다. 또한, 이는 우리의 신경계 (nervous system)를 재조정함으로써 우리 자신의 체화된 인식 (embodied awareness)을 강화하라는 요구이기도 하며, 이는 애초에 재정렬 (realignment)의 기회를 인지하는 데 직접적인 도움을 줍니다. 이 에세이는 실제 지능의 이 긴 역사가 단절되지 않고, 지능이 항상 봉사해 온 목적, 즉 지속 (persistence)을 계속 촉진할 수 있도록 반드시 그어야 할 수많은 경계선 중 하나입니다. From https://athinkerinnature.substack.com/p/what-intelligence-actually-is submitted by /u/Bargian to r/MachineLearning [link] [comments]