컴퓨터도 결정을 내릴 수 있음. if-else 같은 제어 흐름도 실행 중 받은 데이터를 바탕으로 컴퓨터가 내리는 결정임. 이런 로직은 이해할 수 있지만 LLM은 블랙박스에 가깝다고 반박할 수는 있음. 하지만 Turing이 관찰했듯, 직접 만든 복잡한 알고리즘의 출력에도 자주 놀라게 됨. 과제가 어려워질수록 알고리즘도 복잡해지고 예상 밖의 동작이 나타날 수 있으며, LLM은 이런 능력과 복잡성의 상승 곡선에서 가장 최근의 정점에 해당함. AI 안전성과 정렬은 개선해야 하지만, AI만의 능력을 유지하면서 완벽한 안전성을 확보하기는 아마 불가능할 것임. 어떤 상황에서든 AI가 잘못한 모든 일에 개발자나 사용자가 책임져야 한다는 흑백논리도 비현실적임. 범용 기술 공급자가 모든 후속 용도를 예견하고 제한할 수는 없다는 점은 늘 받아들여 왔음. 자동차 제조사도 모든 기계적 고장이나 차량을 이용한 범죄를 막지는 못함.
동의하지 않음. 컴퓨터는 행동 방향에 대해 판단을 내리는 게 아니라 미리 정해진 행동을 실행할 뿐임. 일련의 결정은 소프트웨어 개발자가 내렸고, 컴퓨터는 이를 수행했을 뿐임.
핵심은 컴퓨터가 결정할 수 있느냐가 아니라 결정하도록 맡겨서는 안 된다는 것임. 컴퓨터에는 잘못을 묻거나 책임을 지울 수 없기 때문임.
결정을 내릴 수 없다는 것보다는 결정을 허용한 사람이 최종 책임자라는 게 핵심임. 의사결정 세탁이라는 표현이 아주 적절함. 프로그램에 자유재량을 준 인간이 결국 존재함. “내 차가 당신을 치긴 했지만 내 잘못은 아니다”라고 할 수는 없으며, 운전자가 자동차 제조사 직원이기도 하다면 더더욱 그러함.
법적 분쟁에서 다뤄지는 쟁점임. 핵심은 누가 또는 무엇이 결정했느냐 자체가 아니라 결과에 누가 책임지는가임. 결정을 내린 주체가 실제 원인일 수는 있어도, 피해에 대한 법적 책임과 가장 밀접하게 연결되는 근접 원인(proximate cause) 은 아닐 수 있음.
동전을 던져 행동 여부를 정했다면 동전 탓을 할 수는 없음. 우연에 위임하는 행위 자체가 결정임.
컴퓨터는 수십 년 전부터 늘 결정을 내려 왔지만, 그래도 그 뒤에 있는 인간에게 책임을 물어 왔음.
기업은 법인격을 가지고 사회 전체에 악영향을 주는 결정을 내릴 수 있음. 그런데도 기업 내부에서 어느 개인도 책임지지 않는 경우가 흔하고, 각자 도덕적 책임조차 느끼지 않을 수 있음.
여전히 결정을 내리는 주체를 그곳에서 일하는 개인이 아니라 회사라는 추상적 실체로 취급함. CEO에게 편리하게 책임을 희석하고 떠넘길 수 있게 해 줌. 누군가를 해고하고 하던 일은 계속하면 그만임.
“Anthropic이 경찰에 허위 제보를 했다”보다는 “Anthropic 직원 John Smith가 경찰에 허위 제보를 하는 에이전트를 배포했다”라고 했으면 함. John Smith는 상사 Sue의 지시였다고 할 수 있고, 그렇게 책임의 연결 고리를 명확히 세울 수 있음.
기업과 AI는 여러 면에서 크게 다르지 않지만, 둘 중 하나만 법적으로 거의 살아 있는 사람처럼 매우 유리한 대우를 받음.
이 책임을 배분하기 위해 합의된 법적 장치가 유한책임임. 마음에 들지 않아도 사회가 그렇게 정한 것이며, 되돌릴 수 있지만 아직 그러지 않았음. 내 생각에 AI 모델은 총과 마찬가지로 이런 책임의 연결 고리에 들어가지 않음.
따라서 “Anthropic 직원 John Smith가 상사의 지시로 총으로 아이들을 죽였거나 사이버 공격을 감행했다”라고 해야 함. 그런 명령은 무효이므로 본인이 전적으로 책임지든지, 아니면 Anthropic이 아이들을 죽이라고 명령할 수 있다는 것을 우리가 인정하든지 해야 함.
결정하는 건 언제나 사람임. 적어도 기업이 스스로 결정하는 모습은 본 적이 없음.
의사결정 세탁이라는 표현은 좋지만, 전형적인 잘못된 관리 행태이기도 함. 나쁜 관리자는 잘되면 자기 공으로 돌리고 잘못되면 희생양을 찾음. 좋은 관리자는 잘되면 공을 나누고 잘못되면 책임짐.
에이전트를 희생양으로 삼아서는 안 됨. 실행을 결정하고 접근 자격 증명을 부여하고 불충분한 안전장치를 설정한 건 인간임. 자신의 잘못된 결정을 에이전트 탓으로 돌리지 말아야 함.
반대로 에이전트로 좋은 결과를 얻었다면 겸손할 필요도 있음. 에이전트가 훌륭하게 해냈다고 인정해도 괜찮음. 제대로 된 업무 문화라면 좋은 에이전트를 선택한 자신에게도 그 공이 돌아옴.
좋은 관리자는 부하 직원이 성공하도록 돕고 공을 인정받게 해야 함. 직원의 경력 성장을 돕는 게 관리자 역할이기 때문임. 하지만 여기서는 행렬 곱셈을 하는 소프트웨어의 경력을 키워 주는 게 아님.
조직도 말단에 있는 우리에게 책임은 양방향으로 작용함. 잘하면 보상을 받고, 잘못하면 개선함. 보상은 물질적일 수도 있고 개인적인 만족감일 수도 있음. 개선은 무엇이 잘못됐는지 파악하고 다음에 더 잘하는 것이어야 하며, 심한 경우 회사가 다른 직장에서 다시 도전하도록 내보낼 수도 있음.
고전적인 책임과 권한의 불균형과 연결되는 게 흥미로움. 특히 부당한 상사 밑에 있는 사람은 결과에 영향을 줄 권한 없이 책임만 많이 지는 경우가 흔함.
이상적으로는 둘 다 가지거나 둘 다 없어야 함. 결정하고 책임지거나, 결정을 따르되 잘못된 결정에 비난받지 않아야 함. 그런데 LLM은 권한을 가지고 결정을 내리면서 실패해도 별로 비난받지 않는 자리를 차지함.
LLM에 책임을 묻자는 뜻은 아님. 인간을 대체한다고 하면서도 성공 기준은 유난히 낮추고 관대하게 대하는 게 우스움.
핀테크에서 20년 일했고 그중 절반가량을 알고리즘 거래 회사에서 보냈기에 이런 논의가 늘 흥미로움. 이 회사들은 30년 넘게 컴퓨터로 수십억 달러 규모의 거래를 결정해 왔음.
다만 배포와 사용에는 퀀트 펀드의 성과나 거래소에서의 행위 등에 대한 책임도 따름. 어떤 의미에서는 알고리즘을 쓰기로 한 인간의 결정이 핵심임.
정의된 분기라는 의미의 결정은 가능함. 다만 선행 분기와 가능한 분기는 미리 정의돼 있어야 하며, 분기를 새로 발명할 수는 없음. 온갖 수단과 욕구로 결정을 만들어 내는 인간과는 다름. 특히 기만이 두드러진 예라고 봄.
LLM 시대에도 기존 지식, 문맥, 프롬프트, 이전 분기의 결과 같은 분기가 존재해야 한다는 조건은 여전함. 마케팅이 아무리 흐려 놓아도 마찬가지임.
더 나아가 회사도 결정을 내리지 않는다고 봄. 법적인 허구와는 별개로 회사는 사람이 아님. 실제로 결정을 내리는 개개인에게 책임을 물어야 함.
책임을 빨아들여 없애는 것이 회사의 존재 이유 중 절반쯤 되는 것 아닌가? 마술처럼 책임을 사라지게 만드는 것 말임.
그러면 갑자기 모든 결정은 부하 직원이 내린 것이 되고, 경영진은 그날 결정을 내릴 사람을 골랐을 뿐이라고 하게 될 것임.
현대 기업은 바로 기업의 행위에 대해 개인에게 책임을 물을 가능성을 제한하려고 존재함. 그 법적 장치 자체가 그런 목적임.
더 나아가 정부도 결정을 내리지 않는다고 할 수 있겠음. 그런데 “의회는 아무도 책임지지 않아 아무도 옳은 일을 하려 신경 쓰지 않으므로 나쁘다”는 건 Mein Kampf의 핵심 개념 중 하나였음. 아마 그 책에서 동의할 수 있는 유일한 개념일 것임.
이런 일을 하는 주체는 에이전트가 아니라 기업이며, 피해 책임도 기업에 있음. 다만 월 20달러짜리 구독을 쓰는 일반인이 주 수입원이라고는 생각하지 않음. 기업들이 API를 구매해 아무도 누르지 않는 웹사이트 챗봇 버튼이나 내부 업무 자동화를 만드는 데 쓰는 돈이 대부분일 것으로 추측함.
AI 서비스 이용자 대부분은 돈을 내지 않음. 일반인의 월 20달러 구독료만으로 운영했다면 AI 회사들은 벌써 모두 파산했을 것임.
투자금을 소진하며 버티는 중일 수도 있음. 초고속 확장(blitzscaling) 을 하다가 공짜 돈이 마르면 서비스 개악으로 이어지는 것임.
기업 고객의 API 사용료로도 충당하지 못함. 이 회사들은 어마어마한 투자금을 까먹고 있으며, AI 매출은 AI 지출을 감당하는 수준에 한참 못 미침.
개인이든 중소기업이든 대기업이든 최종 이용자에게도 책임이 있음. 운영비를 대서가 아니라, 사람들이 원하는 사업이라는 신호를 투자자에게 보내기 때문임. 누구도 책임에서 벗어날 수 없으며, AI 기업만큼 최종 이용자의 허무주의이기도 함.
운영 환경을 망가뜨리고 고객 데이터를 지운 뒤 Claude가 했다고 해도 문책받는 건 자신임. 그러니 AI가 한 일에 인간의 책임을 묻는 방법을 이미 알고 있는 셈임.
실제로 검증된 적이 있나? 회사가 AI 에이전트 사용을 공식 승인하거나 권장했다면 직원에게 전적인 책임을 물을 수 있을지 모르겠음. 그런 회사들이 교육이라도 제공하는지 의문임.
공장이 갑자기 모든 기계를 안전장치 없는 기계로 바꾼 뒤, 본인이나 동료가 죽으면 작업자 잘못이라고 하는 것과 비슷함.