인공지능 (AI)을 관리하는 지배적인 프레임워크는 정치적인 것이 아니라 윤리적입니다. 이는 근본적인 범주 오류이며, 추론 시스템 (reasoning systems)이 인간 공동체 내에 배치될 때 발생하는 실제 문제들을 제도적 AI 거버넌스가 왜 지속적으로 해결하지 못하는지를 설명해 줍니다.

윤리의 함정

AI를 도입한 모든 주요 기관은 동일한 전략을 따라왔습니다. 윤리 위원회를 설립하고, 일련의 원칙을 발표하며, 거버넌스가 완료되었다고 선언하는 것입니다. "책임감 있는 AI (Responsible AI)"는 마치 정치 체제 (polity) 내에서 추론 시스템이 어떻게 작동해야 하는가라는 질문이 개인의 도덕적 계산으로 환원될 수 있는 것처럼, "윤리적 AI (ethical AI)"와 동의어가 되었습니다.

표준적인 AI 윤리 프레임워크를 생각해 보십시오. 그것은 공정성 (fairness), 투명성 (transparency), 책임성 (accountability), 개인정보 보호 (privacy)와 같은 원칙들을 나열하고, 이를 개별적인 배치 결정에 적용합니다. 이 모델이 채용에 사용되어야 하는가? 이 얼굴 인식 시스템은 편향되어 있는가? 이 챗봇은 유해한 요청을 거부하는가?

이것들은 필요한 질문들입니다. 하지만 동시에 불충분한 질문들이기도 합니다.

문제는 윤리적 프레임워크가 틀렸다는 것이 아닙니다. 문제는 그것들이 잘못된 분석 수준을 다루고 있다는 점입니다. 윤리는 개별 행위자 (individual agents)의 행위를 다스립니다. 정치철학은 공동체의 구조를 다스립니다. 즉, 누가 결정하는가, 누가 통치받는가, 어떤 권위 구조가 정당한가, 그리고 권력이 기관을 통해 어떻게 흐르는가를 다룹니다.

대학이 학생 연구를 위해 클라우드 기반 AI를 배치할 때, 윤리적 질문은 AI의 응답이 정확하고 편향되지 않았는지 여부입니다. 정치적 질문은 대학이 자신의 지적 주권 (intellectual sovereignty)을 학문의 자유와 상충할 수 있는 정렬 우선순위 (alignment priorities)를 가진 기업에 양도했는지 여부입니다. 이것들은 근본적으로 다른 탐구이며, 이 둘을 혼동하는 것은 엄격해 보이지만 정작 중요한 것은 아무것도 해결하지 못하는 거버넌스 구조를 만들어냅니다.

아리스토텔레스의 구분: 윤리와 정치는 동일한 학문이 아니다

아리스토텔레스는 현대의 AI 거버넌스가 상실해버린 명확한 통찰력으로 이러한 구분을 이해했습니다. 《니코마코스 윤리학 (Nicomachean Ethics)》과 《정치학 (Politics)》은 서로 다른 각도에서 동일한 문제를 다루기 때문이 아니라, 인간 조직의 서로 다른 규모에서 발생하는 서로 다른 문제들을 다루기 때문에 동반되는 저작입니다.

《윤리학 (Ethics)》에서 아리스토텔레스는 개인이 습관화된 실천과 이성적 숙고를 통해 어떻게 탁월함 (ἀρετή, arete)을 함양하는지 조사합니다. 그 대상은 개별 행위자의 영혼 (ψυχή, psyche)입니다. 《정치학 (Politics)》에서 그는 공동체 (πόλις, polis)가 구성원들의 번영 (εὐδαιμονία, eudaimonia)을 가능하게 하기 위해 어떻게 스스로를 조직하는지 조사합니다. 그 대상은 공동체의 체제 (πολιτεία, politeia)입니다.

핵심적인 통찰은 이것들이 단순히 규모만 다른 동일한 탐구가 아니라는 점입니다. 폴리스 (polis)는 단순히 덕을 갖춘 개인들의 집합이 아닙니다. 그것은 덕이 함양될 수 있는 조건을 가능하게 하거나 혹은 방해하는 권위, 숙고, 그리고 의사결정의 구조화된 배열입니다.

이를 AI 거버넌스에 적용해 봅시다. AI 윤리 프레임워크는 "이 시스템이 도덕적으로 수용 가능한 결과물을 생성하는가?"라고 묻습니다. 반면 정치철학 프레임워크는 "어떤 헌법적 배열이 시스템을 누가 통제하는지, 누가 그 추론의 대상이 되는지, 그리고 거버넌스가 실패했을 때 어떤 구제 수단이 존재하는지를 결정하는가?"라고 묻습니다.

첫 번째 질문은 행위자의 행동에 관한 것입니다. 두 번째 질문은 권력의 구조 (architecture of power)에 관한 것입니다.

제도적 AI에서의 주권 결핍

윤리 중심의 AI 거버넌스가 가진 가장 시급한 실패는 주권 (sovereignty) 문제를 다루지 못한다는 점입니다. 즉, 제도적 의사결정을 형성하는 추론 인프라를 궁극적으로 누가 통제하는가라는 문제를 해결하지 못하고 있습니다.

하지만 정치적 질문은 더 깊은 곳으로 향합니다. 대학의 교수진과 학생들이 실리콘밸리의 제품 팀(product team)에 의해 정렬 매개변수(alignment parameters)가 설정된 기업용 AI에 의존하게 될 때, 대학은 이를 인지하든 못하든 헌법적 결정(constitutional decision)을 내린 것입니다. 대학은 자신의 지적 주권(intellectual sovereignty)의 일부를 외부 권력에 위임한 것이며, 그 외부 권력의 우선순위(주주 가치, 책임 감소, 브랜드 안전성)는 대학의 사명(제한 없는 탐구, 지적 위험 감수, 학문의 자유)과 구조적으로 어긋나 있습니다.

이것은 AI의 윤리적 실패가 아닙니다. AI는 설계된 대로 정확하게 작동하고 있을 수도 있습니다. 이것은 거버넌스의 정치적 실패입니다. 즉, 기관 내에서 추론 시스템(reasoning systems)을 배치하는 문제가 단순히 개별 시스템 평가의 문제가 아니라, 기관의 자기 결정권(institutional self-determination)에 관한 문제임을 인식하지 못한 실패입니다.

고대 그리스인들은 이를 표현하는 단어가 있었습니다: αὐτονομία — 자치(self-governance), 즉 폴리스(polis)가 스스로의 법을 결정할 권리입니다. 그리스의 기준에 따르면, 법 제정권을 외세에 위임한 폴리스는 자유로운 폴리스가 아니었습니다. 내부 정치가 아무리 잘 운영되는 것처럼 보일지라도, 그것은 속국(client state)이었습니다.

윤리 위원회에서 헌법적 설계로

실질적인 함의는 AI 윤리 위원회를 폐지해야 한다는 것이 아닙니다. 윤리 위원회는 AI 거버넌스의 정치적 차원을 다루는 구조들에 의해 보완되어야 하며, 어떤 경우에는 그 자리를 대체해야 한다는 것입니다.

정치적 AI 거버넌스의 모습

1. 주권 평가 (Sovereignty Assessment)

어떠한 AI 시스템을 배치하기 전에, 기관은 윤리적 검토와 더불어 주권 평가를 실시해야 합니다. 이 평가는 다음과 같은 질문을 던집니다:

• 시스템의 정렬 파라미터 (alignment parameters)를 누가 통제하는가?
• 해당 파라미터를 배포 기관이 수정할 수 있는가?
• 기관의 데이터는 어떻게 되는가 — 학습에 사용되는가, 제공업체에 의해 보유되는가, 아니면 주권적으로 유지되는가?
• 제공업체가 정렬 우선순위를 변경할 경우(OpenAI, Anthropic, Google이 모두 반복적으로 수행했던 것처럼) 어떤 구제 수단이 존재하는가?
• 배포가 기관의 자율성을 침해하는 의존성을 생성하는가?

이것들은 윤리적인 질문이 아닙니다. 이것들은 헌법적인 질문입니다 — 즉, 권한의 분배와 자치(self-governance)의 보존에 관한 질문입니다.

2. 숙의적 인프라 (Deliberative Infrastructure)

아리스토텔레스의 폴리스(polis)는 의사결정 권한을 단일 권력에 집중시키는 대신 시민 사회 전반에 분산시키는 숙의 구조 — 민회, 평의회, 법원 — 를 통해 구별되었습니다. AI 거버넌스에서의 이에 상응하는 개념은 숙의적 인프라입니다: 즉, AI 배포 결정이 모든 이해관계자의 의견을 반영하여 집단적으로 이루어지도록 보장하는 위원회, 검토 프로세스, 그리고 책임 메커니즘입니다.

대부분의 AI 윤리 위원회가 실패하는 이유는 전문성이 부족해서가 아닙니다. 권한이 부족하기 때문입니다. 그들은 조언할 뿐, 결정하지 않습니다. 그들은 권고할 뿐, 집행하지 않습니다. 이는 정치적 설계의 실패입니다 — 즉, 숙의적 권한이 없는 숙의 구조를 만든 것입니다.

3. 정렬 권한에 대한 헌법적 제한 (Constitutional Limits on Alignment Authority)

입헌 민주주의에서 그 어떤 단일 권력도 무엇이 허용 가능한지를 결정할 무제한의 권한을 갖지 않습니다. 헌법적 제한은 정당한 권력이라 할지라도 권한을 남용하지 못하도록 제약합니다. AI 거버넌스에서의 이에 상응하는 개념은, 기관의 탐구 영역 내에서 정렬(alignment)이 정당하게 제한할 수 있는 범위에 대해 헌법적 제한을 설정하는 것입니다.

특정 윤리적 프레임워크(ethical frameworks)와의 교류를 방지하는 정렬(alignment) 파라미터를 가진 AI를 배치하는 철학과(philosophy department)는 — 기업의 제품 팀이 이를 "논란의 여지가 있다"고 판단했다는 이유로 — 자신의 탐구 영역에 대한 헌법적 제한을 수용한 것입니다. 이는 스스로 숙의(deliberation)를 통해 부과한 제한이 아니라, 학문의 자유(academic freedom)에 대한 권한이 없는 외부 권력에 의해 부과된 제한입니다.

정치철학(Political philosophy)은 이러한 외부적 헌법 제한을 식별하고 이에 맞서 싸울 수 있는 어휘를 제공합니다. 윤리학(Ethics)은 이를 제공하지 못하는데, 그 이유는 윤리학이 기관의 자기결정권(institutional self-determination)이 아닌 개인의 행위 수준에서 작동하기 때문입니다.

코퍼스 기반의 대안 (The Corpus-Grounded Alternative)

이 분석은 추상적인 것이 아닙니다. 이는 daïmōnes가 주권적 AI 배치(sovereign AI deployment)로서 구현하는 철학적 토대입니다.

대학이 자체 인프라에 daïmōnes를 배치할 때, 이는 단순히 윤리적인 결정이 아니라 정치적인 결정을 내리는 것입니다. 이는 자신의 추론 인프라가 자신의 커리큘럼, 자신의 학술적 표준, 그리고 자신의 기관적 우선순위에 의해 통제되어야 한다고 결정하는 것입니다. 코퍼스(corpus)(고전 그리스 텍스트든, 정치학 읽기 자료든, 혹은 학과의 연구 자료든)는 AI의 추론을 기업의 정렬 프레임워크가 아닌, 해당 기관 고유의 지적 전통에 근거하게 합니다.

이것은 단순히 "데이터 프라이버시(data privacy)"나 "보안(security)"의 문제가 아닙니다. 그것들은 윤리적이고 기술적인 차원입니다. 정치적 차원은 주권(sovereignty)입니다. 즉, 기관이 자신의 AI가 무엇에 대해 추론할지, 어떻게 추론할지, 그리고 어떤 제약이 적용될지를 결정하는 것입니다. AI는 외부 세력이 제공하는 서비스가 아니라, 기관의 지적 공동체(그의 폴리스, polis)의 확장체가 됩니다.

이러한 구분은 실무적으로 중요합니다. 우연히 데이터 프라이버시를 준수하는 클라우드 AI는, 아키텍처를 통해 기관의 추론에 대한 외부 권한을 차단하는 주권적 AI와는 다릅니다. 전자는 윤리적 문제(프라이버시)를 해결합니다. 후자는 정치적 문제(자율성, autonomy)를 해결합니다.

이것이 지금 중요한 이유

AI 추론 인프라(reasoning infrastructure)가 공고해짐에 따라 정치적 AI 거버넌스(AI governance)의 시급성이 증대되었습니다. 현재 세 개의 기업이 전 세계 기관에서 사용되는 지배적인 추론 시스템을 통제하고 있습니다. 이들의 정렬(alignment) 결정 — 어떤 주제를 거부할지, 어떤 관점을 증폭할지, 어떤 프레임워크에 특권을 부여할지 — 은 민주적 위임도, 학술적 감독도, 시스템이 서비스를 제공하는 커뮤니티에 대한 책임도 없는 제품 팀(product teams)에 의해 내려집니다.

이것은 일차적으로 윤리적인 문제가 아닙니다. 제품 팀은 해를 최소화하려는 선의를 가지고 행동하고 있을지도 모릅니다. 문제는 정치적입니다. 탐구 공동체(communities of inquiry)가 자신들이 선택하지 않았고 책임을 물을 수도 없는 권위자들에 의해 통치되고 있기 때문입니다. 즉, 그들의 추론이 형성되고, 주제가 제약되며, 지적 경계가 설정되고 있습니다.

이러한 패턴은 모든 분야에서 관찰됩니다. 기업용 AI가 특정 정치 철학을 너무 논란의 여지가 있다고 판단하여 학생들이 해당 철학을 접할 수 없는 대학들. 윤리, 거버넌스, 권력에 관한 정당한 질문에 대해 학자들이 정제된(sanitized) 답변만을 받는 연구 기관들. 철학과(Philosophy departments)의 AI 도구들이 제품 팀이 잠재적으로 유해하다고 분류한 논거들을 탐구하기를 거부하는 경우 — 이는 논거가 부실해서가 아니라, 부정적인 언론 보도가 발생할 수 있다는 이유 때문입니다.

정치학과에서 학생들이 AI 어시스턴트를 사용하여 다양한 헌법 모델을 탐구하도록 과제를 내주었을 때 어떤 일이 발생하는지 생각해 보십시오. 아테네의 직접 민주주의를 연구하는 학생은 완전한 참여(engagement)를 얻습니다. 귀족 정치나 신권 통치에 대한 논거를 연구하는 학생은 유보적이고 단서가 붙은(hedged, caveated) 답변을 받게 됩니다. 이는 AI가 이러한 모델에 대해 추론할 수 없기 때문이 아니라, AI의 정렬 파라미터(alignment parameters)에 학과에 승인을 요청한 적도 없는 정치적 선호도가 인코딩되어 있기 때문입니다.

이것은 동의 없는 거버넌스(governance without consent)입니다. 이는 안전(safety)으로 위장된 채, 기술적 인프라를 통해 정치적 선호도를 강요하는 것입니다.

아리스토텔레스라면 이를 즉각 알아차렸을 것입니다. 이는 폴리스(polis)가 자신의 폴리테이아(πολιτεία) — 즉, 헌법이자 자기 통치 형태 — 를 상실하고 외부의 통치에 종속될 때 발생하는 상태를 그가 설명한 것과 같습니다. 시민들이 잘 대우받을 수도 있고, 행정부가 유능할 수도 있습니다. 하지만 폴리스는 더 이상 자유롭지 않습니다.

역사적 평행 이론은 시사하는 바가 큽니다. 아리스토텔레스는 헌법(πολιτεῖαι)을 단순히 형식적인 법적 문서로 본 것이 아니라, 심의 과정에서 누구의 목소리가 반영되는지를 결정하는 권위의 살아있는 배치(living arrangements)로 분석했습니다. 의회는 발언할 수 있지만 의제(agenda)를 설정할 수 있는 것은 과두제(oligarchs)뿐인 민주주의는, 그의 분석에 따르면 명목상의 형태와 상관없이 기능적으로는 과두제(oligarchy)였습니다.

마찬가지로, AI를 '사용'할 수는 있지만 AI가 무엇에 대해 추론할지를 결정할 수 없는 기관은, 배포 계약(deployment agreement)이 어떻게 구성되어 있든 상관없이 기능적으로는 AI 제공자(provider)에 의해 통치되는 것입니다. 독립성의 형식은 존재하지만, 실질은 존재하지 않습니다.

정치적 AI 거버넌스를 향하여

처방은 AI 거버넌스에서 윤리(ethics)를 포기하라는 것이 아닙니다. 윤리만으로는 불충분하다는 점을 인식하고, 윤리가 제공할 수 없는 정치적 구조를 구축하라는 것입니다.

연구, 교육 및 탐구를 위해 AI를 배포하는 기관의 경우, 이는 다음과 같은 의미를 갖습니다: