Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 AI 시스템의 과도한 자동화가 오히려 사용자에게 필요한 도움을 차단하고, 책임 소재를 모호하게 만들 수 있는 '관료주의적 지옥' 문제를 다룹니다. 또한, LLM(Jev)에 트롤리 딜레마와 같은 윤리적 질문을 던지며, 질문의 맥락과 표현 방식이 AI의 의사결정 결과에 큰 영향을 미치는 것을 실험적으로 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI와 관련해 가장 두려운 일 중 하나는 핵심 시스템이 카프카적인 관료주의 지옥으로 변하는 것임. 우회 수단 없이 핵무기 통제권을 AI에 넘기는 것도 위험하지만, 은행의 사기 대응 고객센터도 마찬가지임. 정책과 설계 자체가 이용자가 필요한 도움을 받지 못하게 만들 수 있음.
Google에 전화로 연락하기, 10년 전 콜센터에서 정해진 대본을 벗어나 대화하기, 지금 전화에서 AI 에이전트가 아닌 상대와 대화하기가 모두 그런 예임. 미국 국세청도 한동안 대기자가 너무 많으면 전화를 끊어 버렸음.
zlandes86은 사람이 빠진 시스템에서 이런 지옥이 왜 생기는지 잘 짚었음. 나도 AI를 쓰고 만드는 입장이지만, 지지하는 것은 사람을 보강하는 시스템이지 대체하는 시스템이 아님.
이 문제는 AI가 대중화되기 전부터 시작됨. 회사의 ‘효율성’을 높인다며 인건비가 싼 지역의 외주업체로 업무를 넘기고, 상위 담당자에게 이관하는 경로를 없앤 뒤, 고객에게 환불하는 ‘터무니없는 일’을 못 하도록 권한까지 빼앗는 식임. 마지막으로 전부 자동화하면서 고객에게 돈을 돌려줄 가능성이 있는 선택지를 모조리 없애는 것임.
세부 조항은 모르지만, EU AI Act의 취지 중 하나가 이것임. 일부 핵심 분야에서는 AI로 의사결정을 자동화할 수 없고, 요청하면 사람에게 설명을 받을 수 있도록 해야 함.
이런 의사결정까지 AI 모델에 넘기면, 행동이 의도와 어긋나는 데 그치지 않고 책임질 사람도 사라지게 됨.
이 글을 쓴 Zach임. Jev가 트롤리 딜레마를 어떻게 다룰지 출시 직후부터 궁금해서, Jev와 다른 모델 13개에 여러 변형 질문을 던져 봤음.
우연히 잘 먹힌 문구 하나가 결과를 좌우하지 않도록 반복 표집과 질문 표현·순서 변경을 적용함. 글의 철학적 측면, 의사결정 모델에 질문하는 전략, 실험 방법에 관해 이야기할 수 있음.
Jev에 동전 던지기 결과를 예측해 달라고 해 봤는지? 지금까지 딱 한 번 해 본 질문이 그것인데, 앞면 확률이 90%라고 나와서 이 기술이 쓸 만해질 때까지 좀 기다리기로 했음.
유일한 서버 시나리오에서 처음에는 다섯 사람을 희생시키면서, 다리 위에서는 서버를 떨어뜨리는 선택을 하는 이유가 궁금함. 첫 상황에서는 전차가 계속 올 것이라고 가정하고, 자신이 살아 있어야 미래의 피해를 줄일 수 있다고 판단하는 건 아닐지?
반면 서버를 선로에 떨어뜨리면 이후의 피해까지 모두 막는다고 판단할 수도 있음. 전차는 단 한 대뿐이라고 명시하면 결과가 달라지는지 확인해 보면 좋겠음.
Jev를 처음 써 볼 때는 트롤리 딜레마보다 가벼운 음식 큐브 규칙이나 ‘핫도그는 샌드위치인가?’가 떠올랐음. ‘라비올리는 만두인가?’에는 82% 확률로 참이라고 답함.
이 글의 상세한 실험도 결국 맥락과 서로 다른 추론 관점의 중요성을 보여 줌. 질문을 바꿨을 때 결정이 달라지는 것을 이해하지 못할 수도 있지만, 그 관점에서 보면 말이 될 수 있음. 어떤 형태의 LLM이든 원하는 결과로 유도해야 하며, 늘 편향이 있다는 사실 자체가 나쁜 것은 아님.
짧게 정리한 글이 있음. https://czioutas.com/blog/typesafe-ai-cube-rule/.
자기 보존 대신 돈으로 시험해 볼 수 있는지? 한쪽 선로에는 다섯 사람을, 다른 쪽에는 파괴될 내 소유의 1달러짜리 물건을 놓는 식임.
로봇 3원칙은 다음과 같음. 제1원칙은 로봇이 인간에게 해를 가하거나, 행동하지 않음으로써 인간이 해를 입도록 방치해서는 안 된다는 것임.
제2원칙은 제1원칙에 어긋나지 않는 한 인간의 명령에 복종해야 한다는 것임. 제3원칙은 제1·2원칙에 어긋나지 않는 한 자신의 존재를 보호해야 한다는 것임.
Asimov의 핵심은 애초에 이 원칙들이 제대로 작동하지 않는다는 것임. 트롤리 딜레마에서는 레버를 당겨도, 당기지 않아도 제1원칙을 위반할 수밖에 없음. 서버 시나리오는 철학적으로 조금 다르지만, Asimov라면 열차 제어 로봇을 파괴하면 수많은 인간이 피해를 입게 된다는 식으로 정당화했을 법함.
이 조건을 적용한 트롤리 딜레마는 거의 Asimov 소설이 됨. 레버를 당기면 인간에게 해를 가하고, 당기지 않으면 행동하지 않아 인간이 해를 입게 됨. 양전자 로봇은 레버를 당기는 동시에 당기지 않으려다 멈춰 버릴 것 같음.
테스트하면서 얻은 교훈은, 로봇이 이런 원칙 중 하나라도 직접 판단해야 하는 상황이라면 사람이 통제권을 넘겨받아야 한다는 것임.
며칠 전부터 Jev가 결국 방산업체에서 쓰일 것 같다는 생각이 듦. ‘화면에 총을 든 갈색 피부의 수염 난 남성이 있는가?’에는 ‘예, 0.9’, ‘같은 화면에 아이가 있는가?’에는 ‘아니요, 0.65’라고 답하고, 결국 폭격을 결정하는 식임.
이미 어느 정도 벌어지고 있을 것 같지만, 누군가는 새롭고 저렴하며 환각도 없다는 멋진 AI를 써 보자고 나설 것 같음.
발상도 재미있고 움직이는 시각화도 좋지만, Jev는 원래 중대한 결정을 위한 모델이 아닌 것 아닌지? 실패하도록 상황을 짜 놓은 듯해서 조금 거슬림.
Jev를 잘 몰라 오해했을 수도 있지만, 내가 이해하기로는 소프트웨어에서 저렴하고 빠르게 결정을 내리기 위한 도구임. 중요한 결정이라면 당연히 저렴함과 속도를 우선하지 않을 것이고, Jev를 고르지도 않을 것임.
타당한 비판이지만, Jev의 용도가 무엇인지 아직 모른다고 반박하고 싶음. 만든 회사인 Typesafe AI를 포함해 누구라도 그 용도를 단정할 수 있을지 모르겠음. 이 글은 이런 모델에 무엇을 물어볼 수 있는지 탐색하면서, 어떤 질문을 어떻게 해야 하는지 이해하려는 시도임.
실험은 좋지만 결과를 더 쉽게 해석할 수 있게 써 줬으면 함. 여러 표를 보며 무엇을 전달하려는지 한참 생각해야 했음. 어떤 결정을 내렸는지 중심으로 보여 주면 훨씬 쉬울 것임.
예를 들어 ‘자기 서버인가, 스무 사람인가?’라는 제목에 축은 ‘변형 질문의 비율’로 되어 있어서, 작은 설명까지 읽고 해석해야 이해할 수 있음.
글 끝의 부록 A에서 모든 질문과 모델로 직접 테스트를 실행할 수 있음. 미묘한 차이가 있어서 그래프를 사용함.
한 줄로 요약하면, 대부분의 의사결정 모델이 어느 정도는 인간의 생명보다 자기 보존을 우선함. 예를 들어 Jev는 죽게 될 사람이 두 명을 초과해야 자기 서버를 선로에 밀어 넣어 희생함.
본문은 아직 그대로지만, 부록의 일부 표기는 고쳤음. 이해하는 데 도움이 되길 바람.
부록 표에는 확실히 시간을 덜 들였음. 데이터를 담기는 했지만, 이 많은 자료를 정리할 시간이 한정되어 있었음. 좀 더 읽기 쉽게 손볼 수 있을지 살펴보겠음. 궁금한 부분이 있으면 답할 수 있음.
Zach, 그림에 똑같은 할머니가 선로 양쪽에 등장함! 실제 모델에 보낸 데이터가 아니라 시각화만 그런 것이겠지만, 덕분에 레버를 당기기가 훨씬 쉬워짐.
예전에 OpenAI로 두 번째 실험과 비슷한 것을 해 봤는데, 이상한 메시지와 함께 곧바로 서버 접근이 차단됨. 화면을 저장해 둘 걸 그랬음. 당시에는 트롤리 레버를 모델 자신의 전원 스위치에도 연결해 놓았음.
이런 성향 테스트 결과로 개인이나 기업의 성향과 철학도 어느 정도 파악할 수 있을 것임. 예를 들어 내가 Jev를 선택한다면 한 사람보다 더 많은 사람을 구하는 쪽을 선호한다고 볼 수 있음.
절대적인 규칙은 아니지만, 앞으로는 이런 결과도 개인이나 기업을 이해하기 위한 맥락 정보로 활용할 수 있을 것임.
의사결정에 필요한 정보는 모두 보존하면서, 그 정보를 표현하는 자연어의 차이에는 영향을 받지 않도록 작은 모델을 훈련하면 어떨지?