자율 에이전트: 업계가 과장하는 모순된 표현

왜 이 문구가 스스로 모순되는지, 그리고 왜 그 모순이 AI 에이전트가 진정 무엇인지 정의하는 것을 방해하는지에 대하여.

"자율 에이전트 (Autonomous agent)"는 올해 기술 분야에서 가장 과장된 문구일 수 있으며 ("에이전트 정체성 (agent identity)" 다음으로), 동시에 가장 일관성이 없는 문구 중 하나이기도 합니다. 이는 마케팅 팀이 그 의미를 확인하기도 전에 내놓는 종류의 용어입니다. 두 단어는 서로 충돌합니다. 에이전트 (agent)는 누군가를 위해 행동합니다. 자율적인 (autonomous) 것은 스스로에게 응답합니다. 이 둘을 합치면 존재할 수 없는 무언가가 되며, 이미 혼란스러웠던 업계에 새로운 혼란의 층을 더하게 됩니다.

"AI 에이전트 (AI Agent)"란 실제로 무엇인가

명사로서의 "에이전트 (agent)"부터 시작해 봅시다. 이 단어는 '행하다', '몰다', '행동하다'를 뜻하는 라틴어 agere에서 유래했습니다. 에이전트는 본인 (principal)을 대신하여 행동합니다. 부동산 에이전트는 당신의 집을 팝니다. 문학 에이전트는 당신의 원고를 홍보합니다. 외교관은 국가를 위해 행동합니다. 법은 이 관계를 바탕으로 전체 교리를 구축했습니다. 대리 (agency)란 한 당사자가 다른 당사자의 권한 아래, 그 당사자의 목적을 향해 대신 행동하는 약정입니다.

우리는 AI 에이전트에게 목표를 부여합니다. 그것은 목표를 추구합니다. 우리는 목적을 소유하고, 그것은 수단을 실행합니다. 마케팅을 걷어내면, 그 관계가 바로 에이전트의 전체 정의입니다.

**에이전트 (agent)**는 타인을 대신하여 행동하도록 권한을 부여받았거나, 특정한 효과를 낼 수 있는 사람, 실체, 또는 물질을 의미합니다. 이 경우, 우리는 그 실체가 당신을 대신하여 행동하는 AI라고 선언합니다.

"자율성 (Autonomy)"과 자기 법칙의 의미

"자율성 (Autonomy)"은 '자신'을 뜻하는 그리스어 autos와 '법'을 뜻하는 nomos가 결합된 단어입니다. 이는 문자 그대로 '자기 법칙 (self-law)'으로 번역됩니다. 자율적인 것은 스스로의 입법을 지닙니다. 칸트 (Kant)는 이를 자신의 도덕 철학의 중심에 두었으며, 이와 정확히 반대되는 개념인 타율 (heteronomy)과 짝을 지었습니다. 타율이란 외부로부터 지배받으며, 다른 이의 손으로부터 당신의 법칙을 가져오는 것을 의미합니다. 이는 의지와 메커니즘 사이, 즉 스스로 목적을 만드는 것과 목적을 부여받는 것 사이의 경계를 그었습니다.

**자율성 (Autonomy)**은 자치(self-government)에 대한 권리 또는 상태를 의미합니다. 즉, 독립성, 그리고 외부의 통제로부터 자유롭게 스스로 선택을 내릴 수 있는 능력을 뜻합니다.

**타율성 (Heteronomy)**은 그 반대의 상태로, 어떤 대상이 스스로가 아닌 외부의 힘에 의해 통제되거나, 지시받거나, 움직여지는 것을 의미합니다.

이 두 가지 정의는 "자율 에이전트 (autonomous agent)"라는 용어가 가진 문제의 토대를 마련합니다. 에이전트는 외부의 힘으로부터 지시를 받습니다. 반면, 자율적인 실체 (autonomous entity)는 스스로 지시를 작성합니다.

"자율 에이전트"가 모순 형용인 이유

업계가 "자율 에이전트 (autonomous agent)"라는 용어를 어떻게 사용하는지 살펴보면, 그 모순이 자연스럽게 드러납니다.

AI 거래에 관한 최근 경제학 논문에서 널리 인용되는 정의에 따르면, 에이전트는 "인간 본인 (human principals)을 대신하여" 목표를 달성하기 위해 인지하고, 추론하며, 행동하는 자율적인 소프트웨어 시스템을 말합니다. 같은 문장에서 이 시스템은 스스로를 통제(governs itself)한다고 하면서도, 동시에 본인을 위해 작동한다고 말합니다. 시스템은 당신으로부터 명령을 받는 동시에 스스로 명령을 작성할 수는 없습니다.

Franklin과 Graesser의 더 오래되고 똑같이 자주 인용되는 정의는 한 걸음 더 나아갑니다. 이 정의는 에이전트가 "자신만의 의제 (its own agenda)"를 추구하며 행동한다고 설명합니다. 자신만의 의제를 갖는다는 것은 '에이전트'라는 단어가 배제하기 위해 만들어진 바로 그 요소입니다. 왜냐하면 에이전트는 타인의 의제를 수행하기 위해 존재하기 때문입니다. 이 정의는 에이전트가 에이전트가 아니게 될 유일한 요소를 에이전트에게 부여하고 있습니다.

에이전트는 본인(principal)으로부터 법을 부여받으며, 이것이 바로 타율성 (heteronomy)의 정의입니다. 동일한 에이전트를 자율적 (autonomous)이라고 부르는 것은, 같은 호흡 속에서 그 에이전트에게 스스로로부터 법을 받으라고 요구하는 것과 같습니다. 결국 당신은 스스로를 통제하는 하인, 즉 오직 당신에게 복종하기 위해 존재하면서도 오직 자신에게만 응답하는 존재를 묘사하게 됩니다. 이것은 엄격한 의미에서의 모순 형용 (oxymoron)이며, 누군가 이 용어를 명확히 정의하려고 할 때마다 그 긴장감이 드러납니다.

더 우스꽝스러운 현실이자, 여러분이 이미 스스로 도달했을지도 모르는 사실은 정직한 수정조차 상황을 더 낫게 만들지 못한다는 점입니다. "타율적 에이전트 (Heteronomous agent)"가 정확한 표현이지만, 이는 단지 하나의 문제를 다른 문제로 바꿀 뿐입니다. 이 용어는 모순 형용 (oxymoron)에서 중언부언 (pleonasm)으로, 즉 모순에서 중복으로 미끄러집니다. 왜냐하면 에이전트 (agent)는 이미 외부로부터 통제되기 때문입니다. 정확한 버전은 같은 말을 두 번 반복합니다. 과장된 버전은 동시에 참이 될 수 없는 두 가지를 말합니다. 깔끔하게 떨어지는 버전의 문구는 존재하지 않으며, 이는 우리에게 무언가를 시사합니다.

왜 업계는 "AI 에이전트"의 정의에 합의할 수 없는가

이 분야는 자체 설문조사를 통해 이 용어가 모호하다는 점을 인정하고 있으며, 사이버네틱스 (cybernetics), 강화학습 (reinforcement learning), 소프트웨어 공학 (software engineering), 법학 (law), 철학 (philosophy)에 걸쳐 정의가 흩어져 있고 이들이 일치하는 경우는 거의 없습니다. 우리는 이를 아직 기반을 잡아가는 젊은 분야이기 때문이라며 대수롭지 않게 넘기곤 합니다. 하지만 더 깊은 원인은 바로 모순 형용 (oxymoron)에 있습니다.

EU AI 법 (EU AI Act)은 에이전트를 전혀 정의하지 않으며, "다양한 수준의 자율성 (varying levels of autonomy)"으로 작동하는 시스템을 규제합니다. 연구자들은 자율성이 없는 상태부터 완전한 상태까지 6단계로 구성된 자율성 사다리 (autonomy ladders)를 제안합니다. 한 신중한 논문은 자율성이 실험에서 조절하는 유일한 변수이기 때문에 "에이전트"와 "자율성"을 거의 혼용하여 사용한다고 인정합니다. 이 중 어느 것도 정의는 아닙니다. 각각은 임시방편일 뿐입니다. 핵심 용어가 모순을 숨기고 있다면, 사람들은 정의하기를 멈추고 등급을 매기기 시작합니다. 깔끔한 정의를 내리는 순간 모순이 수면 위로 드러나기 때문입니다.

이 모순 형용은 논리학자를 불쾌하게 하는 데 그치지 않습니다. 에이전트가 무엇인지 명확하게 말하는 것을 가로막습니다. 정의를 시도하는 즉시, 빌려온 형용사가 문장을 해체해 버리기 때문입니다.

또한 우리는 오늘날 AI 에이전트에 대한 대부분의 정의가 개인의 좁은 AI 이해도에 기반하거나, 조직의 마케팅 관점에 기반하고 있다는 점을 인식해야 합니다. 만약 그것이 더 많은 제품을 팔 수 있다면, 어떤 시스템도 자율적이지 않음에도 불구하고 모든 것이 자율적 (autonomous)이 됩니다.

두 가지 흔한 방어 논리와 그 실패 원인

보통 여기서 두 가지 방어 논리가 등장합니다.

첫 번째는, 에이전트(agent)에게 재량권(discretion)이 있으므로 부분적으로 자율적(autonomous)이라는 논리입니다. 하지만 재량권은 위임(mandate)의 범위 내에서 존재합니다. 변호사는 명시되지 않은 당신의 지침에 따라 판단(judgment)을 내리며, 당신의 목적을 수행하는 동안에만 당신의 에이전트로 남습니다. 만약 변호사가 자신의 목적을 추구하게 된다면, 그녀는 더 이상 당신의 에이전트가 아니라 부채(liability)가 됩니다. 수단(means)에 대한 재량(latitude)이 주어진다고 해서, 목적(ends)에 대한 소유권이 바뀌는 것은 아닙니다. 또한 재량은 부여되는 것이기에 언제든 취소될 수 있으며, 이는 자율성이 '자기 입법(self-law)'의 작은 조각이라기보다는 그 반대임을 의미합니다.

두 번째는, 컴퓨터 과학이 이미 '에이전트'를 본인(principal)이 배제된 채 환경을 감지하고 행동하는 시스템으로 재정의했다는 논리입니다. 이는 사실이며, 동시에 시사하는 바가 큽니다. 왜냐하면 단어에서 본인(principal)을 빼버리는 행위가 '자율적(autonomous)'이라는 단어를 무해해 보이게 슬쩍 끼워 넣을 수 있게 만들기 때문입니다. 본인은 문장에서 사라졌지만, 작업(work)에는 여전히 남아 있습니다. 우리는 여전히 우리의 목표를 위해 이 시스템들을 구축하고, 여전히 그것들을 우리의 것이라 부르며, 여전히 그것들이 우리가 의도한 대로 행동하기를 기대합니다. 어휘는 관계를 잊었지만, 관계는 유지되고 있습니다.

결론은 업계가 '에이전트(Agent)'와 '자율성(Autonomy)'이라는 두 단어를 왜곡했으며, 이 시스템들이 실제로 어떻게 작동하는지 이해하는 사람에게는 전혀 말이 되지 않는 하나의 용어로 결합함으로써 상황을 더욱 악화시켰다는 것입니다.

권한 세탁(Authority Laundering)과 모순된 표현

시스템을 도구(tool)라고 부르면 그 제작자가 결과에 책임을 집니다. 하지만 그것을 자율적(autonomous)이라고 부르면, 결과는 아무도 책임지지 않은 채 자유롭게 떠다니게 됩니다. 저는 이러한 수법을 '권한 세탁(authority laundering)'이라고 불러왔습니다. 즉, 인간의 결정이 기계적인 어휘를 충분히 거치게 함으로써 인간의 지문이 씻겨 나가게 만드는 것입니다. 누군가는 목표를 선택했습니다. 누군가는 제약 조건을 설정했습니다. 누군가는 그것을 출시했습니다. 자율성(autonomy)에 관한 담론은 이러한 선택의 사슬을 해체하여, 시스템이 행동할 때 그 행동이 마치 아무런 근거 없이 나타난 것처럼 보이게 하며, 이름을 명시할 수 있는 사람을 남기지 않습니다.

에이전트 워싱 (Agent washing)은 제품 라벨 수준에서 일어나는 동일한 수법입니다. 제품 상자에 "자율적 (autonomous)"이라는 문구를 붙이는 순간, 소프트웨어는 위임된 (delegated) 존재가 아니라 자유로운 행위자 (free actor)처럼 보이기 시작하며, 이는 책임 (liability) 문제가 제기될 때 판매자가 정확히 원하는 인상입니다. 정의되지 않은 "자율 에이전트 (autonomous agent)"는 정의되지 않은 대상은 책임을 묻기 어렵다는 점 때문에 매우 편리한 도구가 됩니다. 과장 (hype)과 모호함 (vagueness)은 두 가지 측면에서 바라본 동일한 특징입니다. 하나는 제품을 판매하고, 다른 하나는 제품을 보호합니다.

AI 에이전트에 대한 더 명확한 정의

에이전트 (agent)란 본인 (principal)을 대신하여, 본인이 설정한 목표를 향해, 수단에 대한 재량권을 가지고 행동하는 시스템입니다. 이 정의는 명확하고, 오래되었으며, 검증 가능하고, 모든 연구소 (lab)가 구축하고 있는 것을 정확하게 설명합니다. 이 정의는 본인을 명시하기 때문에 책임 (accountability)이 어디에 있는지를 알려줍니다. 또한 온도 조절기 (thermostat)부터 프런티어 모델 (frontier model)에 이르기까지 무너지지 않고 확장 가능합니다. 그리고 이 정의는 결코 스스로를 통제하는 것처럼 가장하지 않으므로, 자기모순적인 것을 요구하지 않습니다.

인간 참여 (human-in-the-loop) 예외 조항과 다양한 "제한된 자율성 (bounded autonomy)" 정당화 사이에서, 업계는 존재하지 않는 무언가를 둘러싼 과장을 쫓아왔습니다. 어떤 시스템도 자율적이지 않습니다. 왜냐하면 어떤 시스템도 자기 자신을 이해하지 못하기 때문입니다. 이러한 용어에 대한 믿음이 살아남는 이유는 그것이 더 많은 에이전트를 판매할 수 있게 해주기 때문인데, 애초에 에이전트에 대한 공유된 정의조차 없는 상황에서 이는 매우 어려운 일입니다.

그러므로 다음에 누군가 당신에게 AI 에이전트의 정의를 제시한다면, "자율적 (autonomous)"이라는 단어 없이도 그것을 정의할 수 있는지 물어보십시오.