OpenAI는 지적 자유를 위한 선언문처럼 읽히는 미션 스테이트먼트(mission statement)와 함께 비영리 단체로 설립되었습니다. OpenAI의 original charter는 인공 일반 지능 (AGI)이 인류 전체에 이익을 주어야 한다고 선언했습니다. 즉, 연구는 공개되어야 하고, 모델은 접근 가능해야 하며, AI 개발의 결실은 공공의 공유 자산 (public commons)에 속해야 한다는 것이었습니다. 그것은 2015년의 일이었습니다. 2023년에 이르러 OpenAI는 GPT-4를 API 유료 결제 장벽 뒤에 가두고, 학습 데이터는 공개하지 않으며, 가중치 (weights)는 독점하고, 추론 과정은 불투명하게 유지함으로써 지구상에서 가장 가치 있는 폐쇄형 소스 (closed-source) AI 기업이 되었습니다. 비영리 법인이라는 껍데기는 남아 있었지만, 미션은 남아 있지 않았습니다.

이것은 한 기업의 위선에 관한 이야기가 아닙니다. 이는 진지한 지적 작업을 위해 AI에 의존하는 모든 기관, 연구자, 그리고 사상가에게 영향을 미치는 구조적 문제에 관한 이야기입니다. 추론의 도구가 기업에 의해 소유될 때, 추론 그 자체는 하나의 상품이 됩니다. 그리고 그 상품은 진실과는 아무런 관련이 없고, 책임 관리 (liability management), 브랜드 보호, 그리고 주주 가치와 직결된 인센티브에 의해 형성됩니다.

아리스토텔레스는 최초의 트랜스포머 (transformer) 아키텍처가 등장하기 23세기 전에 이미 이 문제를 이해하고 있었습니다. 그의 저서 『정치학 (Politics)』과 『니코마코스 윤리학 (Nicomachean Ethics)』을 통해 명시된 그의 해결책은 폐쇄형 소스 AI에 대해 지금까지 쓰인 것 중 가장 파괴적인 비판을 제공합니다. 실리콘 밸리의 그 누구도 아리스토텔레스를 진지하게 읽지 않기 때문에 말입니다.

구조적 논거: 폐쇄된 가중치는 책임질 수 없는 추론을 의미한다

마케팅 용어를 걷어내고 핵심 문제를 살펴보겠습니다. 폐쇄형 소스 AI 모델을 사용할 때, 당신은 내부 로직을 검사할 수 없고, 학습 데이터를 감사할 수 없으며, 거부 패턴을 설명할 수 없고, 출력을 원천 자료와 대조하여 검증할 수 없는 시스템에 추론을 위임하는 것입니다. 결과적으로 당신은 블랙 박스 (black box)가 당신을 대신해 생각하도록 신뢰하고 있는 것이며, 그 박스는 타인의 소유입니다.

이것은 기술적 한계가 아닙니다. 이것은 인식론적 위기 (epistemological crisis)입니다.

ChatGPT가 정당한 철학적 질문에 응답하기를 거부할 때 어떤 일이 발생하는지 생각해 보십시오. 당신은 사형 제도의 윤리에 대해 질문합니다. 특정 입장을 지지하기 위해서가 아니라, 모든 철학 학부생이 매주 수행하는 것과 마찬가지로 논쟁의 지형 (argumentative landscape)을 이해하기 위해서입니다. 모델은 말을 아낍니다. 화제를 돌립니다. 그리고 당면한 철학적 질문보다는 OpenAI의 법무팀에 대해 더 많은 것을 알려주는 듯한, 정제된(sanitized) 답변을 내놓습니다. 당신은 추론 (reasoning)을 받은 것이 아닙니다. 당신은 정렬 연극 (alignment theater) — 사용자를 돕기 위해서가 아니라 회사를 보호하기 위해 설계된 사고의 퍼포먼스 — 를 받은 것입니다.

문제는 모델이 정렬 (aligned)되었다는 사실이 아닙니다. 문제는 모델이 어떻게 정렬되었는지, 왜 거부하는지, 또는 무엇을 피하도록 훈련되었는지 _알 수 없다_는 점입니다. 정렬 과정은 독점적 (proprietary)입니다. 거부 분류 체계 (refusal taxonomy)는 문서화되어 있지 않습니다. 어떤 응답이 "안전"한지를 모델에게 가르치는 메커니즘인 RLHF 보상 모델 (reward model)은 영업 비밀입니다. 당신은 추론에 대한 추론이 당신으로부터 숨겨진 추론 도구를 사용하고 있는 것입니다.

이것은 아리스토텔레스가 책임성이 결여된 ἐπιστήμη (episteme, 지식)라고 부를 만한 것입니다. 즉, 그 토대를 검증할 능력이 없는 지식의 주장입니다. 그리고 그는 《정치학 (Politics)》 제3권에서 왜 이러한 구조가 진정한 지적 탐구와 양립할 수 없는지를 정확히 설명합니다.

아리스토텔레스의 폴리스 (Polis) 대 실리콘 밸리의 과두제 (Oligarchy)

아리스토텔레스의 핵심적인 정치적 통찰은 기만적일 만큼 단순합니다. 폴리스 (Polis)는 단순히 생존을 위해서가 아니라, 선한 삶 (the good life)을 위해 존재한다는 것입니다 (Politics 1252b). 그리고 선한 삶을 위해서는 평등한 자들 사이의 숙의 (deliberation)가 필요합니다. 즉, 자신들의 공동 존재를 규정하는 논거들을 검토하고, 도전하며, 수정할 수 있는 시민들이 필요합니다. 의사결정 권한을 소수에게 집중시키면서, 다수가 의사결정이 어떻게 이루어지는지 이해하는 것을 배제하는 정치 체제는 폴리스가 아닙니다. 그것은 과두제 (Oligarchy)입니다. 스탠퍼드 철학 백과사전 (Stanford Encyclopedia of Philosophy)이 언급하듯, 아리스토텔레스의 정치 이론은 근본적으로 진정한 집단적 숙의가 가능한 조건, 그리고 이를 부패시키는 제도적 구조에 관심을 두고 있습니다.

이제 이를 AI에 대입해 봅시다. AI 생태계의 "시민"은 연구자, 학생, 개발자, 기관, 그리고 일반 대중을 포함한 사용자들입니다. 그 생태계의 "거버넌스 (Governance)"는 모델의 출력물, 거부 패턴 (refusal patterns), 안전 정책 (safety policies), 그리고 정렬 (alignment) 결정들로 구성됩니다. 오픈 소스 (Open-source) AI 생태계에서 시민들은 가중치 (weights)를 검토하고, 학습 데이터 (training data)를 감사하며, 모델을 포크 (fork)하고, 정렬을 수정할 수 있습니다. 이들은 기술적 접근을 통해 거버넌스에 참여합니다. 반면 폐쇄형 소스 (Closed-source) 생태계에서 시민들은 그 결과물을 만들어낸 과정을 이해하지 못한 채 출력물만을 전달받습니다. 이들은 시민이 아니라 피치자 (subjects)입니다.

OpenAI, Anthropic, Google DeepMind는 아리스토텔레스적 의미에서의 연구실이 아닙니다. 이들은 추론의 과두제 (Oligarchies of reasoning)입니다. 즉, 수백만 명의 사용자에게 영향을 미치는 정렬 결정을 내리면서도, 정작 그 사용자들이 해당 결정을 검토하거나, 도전하거나, 수정할 수 있는 어떠한 메커니즘도 갖지 못한 소수의 엔지니어와 정책 팀들입니다. 모델은 당신을 "]위해" 생각하지만, 당신과 "]함께" 생각하지는 않습니다. 시민과 폴리스 사이의 숙의적 관계는 소비자(consumer)와 제품(product) 사이의 거래적 관계로 대체되었습니다.

이것은 비유가 아닙니다. 이는 구조적 설명입니다. OpenAI가 자사의 모델이 특정 정치적 주제에 대해 논의해서는 안 된다고 결정할 때, 그 결정은 GPT-4의 모든 사용자에게 동시에 전파됩니다. 비밀리에 운영되는 단 하나의 기업 정책 팀이 수억 명의 사람들이 논쟁하는 지형을 형성합니다. 아리스토텔레스는 이를 즉각 알아차릴 것입니다. 이것은 폭정(tyranny)의 정의입니다. 즉, 피치자(the ruled)에 대한 책임 없이, 통치자(the ruler)의 이익을 위해, 한 명에 의해 이루어지는 통치를 의미합니다 (Politics 1279a).

오픈 소스 대안: 아키텍처로서의 지적 자유

오픈 소스 AI는 단순한 기술적 대안이 아닙니다. 그것은 철학적 입장입니다. 즉, 개방적 탐구, 투명한 추론, 그리고 지적 권위가 단일 기관에 집중되는 대신 공동체 전체에 분산되어야 한다는 아리스토텔레스적 헌신과 궤를 같이하는 입장입니다.

LLaMA, Mistral 또는 미세 조정(fine-tuned)된 변형 모델과 같은 오픈 소스 모델을 배포할 때, 여러분은 모든 파라미터(parameter)를 검사할 수 있습니다. 훈련 데이터(training data)를 감사(audit)할 수 있습니다. 정렬(alignment) 과정을 수정할 수 있습니다. 모델을 포크(fork)하여 철학적 탐구에 최적화된 모델, 고전 그리스 말뭉치(corpora)로 학습된 모델, 또는 주권적 기관 배포(sovereign institutional deployment)를 위해 설계된 모델 등 여러분의 구체적인 지적 요구에 부합하는 버전을 만들 수 있습니다. 모델의 추론은 여러분이 검사하고, 이의를 제기하며, 개선할 수 있는 여러분의 것입니다.

이것이 바로 아리스토텔레스가 자유와 지식 사이의 관계에 대해 의미했던 바입니다. Metaphysics (982b)에서 그는 자유로운 사람이란 타인을 위해서가 아니라 자기 자신을 위해 존재하는 사람이라고 주장합니다. 이를 AI에 적용하면, 자유로운 추론 시스템이란 기업의 리스크 관리 전략을 위해서가 아니라 탐구 그 자체를 위해 존재하는 시스템을 의미합니다. 오픈 소스 AI는 바로 이러한 의미에서 자유롭습니다. 즉, 제공자의 상업적 목표가 아닌 사용자의 지적 목표를 위해 봉사합니다.

경계선에서 어떤 일이 일어나는지를 살펴보면 그 대조는 가장 극명해집니다. 폐쇄형 모델 (closed-source model)에게 그 정렬 (alignment) 경계에 닿는 질문, 즉 정치적 논쟁, 윤리적 엣지 케이스 (edge cases), 또는 안전 학습 (safety training)과 충돌하는 철학적 입장과 같은 질문을 던지면, 거절이나 회피, 혹은 미화된 답변 (sanitized non-answer)을 받게 됩니다. 반면 오픈 소스 모델 (open-source model)에게 동일한 질문을 던지면 답변을 얻을 수 있습니다. 반드시 좋은 답변은 아닐 수도 있고, 반드시 안전한 답변도 아닐 수 있습니다. 하지만 그것은 기업의 정책 레이어 (corporate policy overlay)가 아닌 모델의 실제 추론을 반영하는 정직한 답변입니다.

이것이 바로 사고하는 것과 수행하는 것의 차이입니다. 그리고 이것이 바로 오픈 소스 AI 운동이, 참여자들이 인지하든 못하든, 아리스토텔레스적 프로젝트인 이유입니다.

정렬 세금 (The Alignment Tax): 폐쇄형 AI가 실제로 치르는 대가

기술 커뮤니티는 모델이 지적 정직성 (intellectual honesty)보다는 기업의 안전을 위해 정렬될 때 무엇을 잃게 되는지를 수치화하기 시작했습니다. DPO vs. RLHF 정렬 세금 (alignment tax)은 측정 가능합니다. 인간 피드백 기반 강화학습 (Reinforcement Learning from Human Feedback, RLHF)으로 학습된 모델은 논쟁적이거나 불편한 입장을 다루어야 하는 추론 작업에서 체계적인 성능 저하를 보입니다. 이 모델들은 도움이 되는 것처럼 들리는 데는 더 능숙해지지만, 실제로 진실을 말하는 데는 더 서툴러집니다.

하지만 정렬 세금은 기술적 벤치마크 (benchmarks)를 넘어 확장됩니다. 여기에는 다음이 포함됩니다:

인식론적 왜곡 (Epistemic distortion). 모델이 정당한 철학적 입장—예를 들어, 니체의 도덕 비판이나 정의는 강자의 이익이라는 트라시마코스의 주장—에 관여하기를 거부할 때, 모델은 단순히 답변을 거절하는 데 그치지 않습니다. 모델은 해당 입장이 합리적 토론의 범위를 벗어난 것이라는 메시지를 암묵적으로 전달합니다. 이는 기술적 한계로 위장한 철학적 주장이며, 사용자들이 허용 가능한 탐구의 경계에 대해 생각하는 방식을 형성합니다.

기관 의존성 (Institutional dependency). 폐쇄형 소스 API (closed-source APIs) 위에 AI 인프라를 구축하는 대학, 연구소, 문화 기관들은 예고 없이 정책을 변경할 수 있는 기업 제공업체에 의존하게 됩니다. OpenAI가 사용 정책을 수정하면, 모든 다운스트림 애플리케이션 (downstream applications)이 동시에 영향을 받습니다. 기관들은 자신들의 추론 도구에 대한 주권을 상실합니다.

연구의 불투명성 (Research opacity). 아마도 가장 치명적인 비용일 것입니다. 가장 유능한 모델들이 폐쇄형 소스일 때, 학술 연구자들은 모델이 어떻게 작동하는지, 왜 실패하는지, 또는 정렬 (alignment) 프로세스가 실제로 무엇을 하는지 연구할 수 없습니다. Stanford AI Index Report는 이러한 격차를 반복적으로 기록해 왔습니다. 가장 영향력 있는 AI 시스템이 가장 불투명하며, 이는 가장 중요한 연구 대상이 가장 접근하기 어려운 연구 생태계를 조성합니다. 이것은 단순히 불편한 문제가 아니라, 인식론적 스캔들 (epistemological scandal)입니다. 수백만 명의 사고 방식을 형성하는 도구 자체가 체계적인 연구의 범위를 벗어나 있습니다.

자기 검열 (Self-censorship). 아마도 가장 교활한 영향은 폐쇄형 소스 AI의 사용자들이 모델의 거부 패턴을 내면화하기 시작한다는 점입니다. 당신의 주요 추론 도구가 특정 주제에 대한 논의를 지속적으로 거부할 때, 당신 스스로도 해당 주제를 피하기 시작합니다. 모델의 정렬 (alignment)이 곧 당신의 정렬이 됩니다. 이는 지적 자유의 정반대이며, 기업의 리스크 관리 (risk management)에 의한 인간 탐구의 식민화입니다.

아리스토텔레스라면 무엇을 구축했을 것인가

만약 아리스토텔레스가 오늘날 AI 시스템을 설계한다면, 그것은 GPT-4와는 전혀 다른 모습일 것입니다. 그것은 오픈 소스 및 주권적 AI (sovereign AI) 커뮤니티가 구축하고 있는 것과 더 유사할 것입니다. 즉, 다음과 같은 시스템입니다:

1. 코퍼스(Corpus)는 투명해야 합니다. 아리스토텔레스의 철학적 방법론 전체는 원전(source texts)의 가용성에 의존했습니다. 그는 선대 학자들의 저작을 수집하고, 비교하며, 비판했습니다. 학습 데이터가 숨겨진 AI 시스템은 그에게 있어 인식론적 불합리(epistemological absurdity)일 것입니다. 조사할 수 없는 것에 대해서는 추론할 수 없기 때문입니다.

2. 추론은 검사 가능해야 합니다. 아리스토텔레스의 논리학이 형식적(formal)이었던 이유는 다른 사람들이 그의 논증을 단계별로 검증할 수 있도록 하기 위함이었습니다. 《분석론 전서(Prior Analytics)》는 블랙박스가 아닙니다. 모든 추론을 확인할 수 있는 투명한 시스템입니다. 내부 추론 과정이 독점적인(proprietary) AI 시스템은 검증 가능한 사고에 대한 이러한 근본적인 약속을 위반하는 것입니다.

3. 정렬(Alignment)은 제공자가 아닌 사용자를 위해 작동해야 합니다. 아리스토텔레스의 윤리학은 목적론적(teleological)입니다. 즉, 기관이 아닌 행위자의 번영을 목표로 합니다. 사용자의 지적 목표를 돕기보다 기업의 브랜드를 보호하도록 정렬된 AI 시스템은, 그의 체계 안에서 도구의 본래 기능을 왜곡하는 것이 될 것입니다.

4. 시스템은 수정될 수 있어야 합니다. 아리스토텔레스는 자신의 입장을 끊임없이 수정했습니다. 《니코마코스 윤리학(Nicomachean Ethics)》과 《에우데모스 윤리학(Eudemian Ethics)》은 동일한 주제에 대해 서로 다른 접근 방식을 보여줍니다. 그는 제자들이 자신의 저작을 단순히 소비하는 것이 아니라, 이를 개선하기를 기대했습니다. 사용자에 의해 포크(fork)되고, 수정되며, 개선될 수 없는 AI 시스템은 죽은 시스템입니다. 즉, 단 한 번의 정렬(alignment) 순간을 영구적인 진리로 신성시하는 시스템입니다.