대체재를 넘어: 사람을 사물(Object)이 아닌 주체(Subject)로 대하는 AI 설계

소셜 물리적 AI (Social Physical AI) — 13부 중 13부

이 시리즈를 통해 우리는 공장, 직장, 가정, 교육, 돌봄 및 의료 분야에서 사회적으로 인식하는 물리적 AI에 대해 살펴보았습니다.

최종 아이디어를 한 문장으로 요약할 수 있습니다:

사회에서 작동하는 AI는 단순히 인간의 능력을 얼마나 잘 대체할 수 있는지로만 정의되어서는 안 됩니다. 그것은 각 개인을 시간의 흐름에 따라 의도, 경계, 관계 및 선택을 바꿀 수 있는 능동적인 주체(subject)로 대해야 합니다.

사람은 예측의 대상(Object)만이 아니다

AI 시스템은 사람을 데이터로 모델링할 수 있습니다.

음성, 표정, 선호도, 행동 이력, 이전 결정 등 모든 것이 예측 능력을 향상시킬 수 있습니다.

하지만 인간은 단지 예측해야 할 대상이 아닙니다.

사람은 마음을 바꿀 수 있습니다.
동의를 철회할 수 있습니다.
AI를 수정할 수 있습니다.
오늘 다르게 선택할 수 있습니다.
도움을 거부할 수 있습니다.
잊어달라고 요청할 수 있습니다.

이러한 행동들은 주체성(agency)의 표현입니다.

관계 지향적인 시스템은 개인이 AI가 자신에 대해 형성한 모델을 바꿀 수 있는 능력을 보존해야 합니다.

이해하되, 사람을 추론 속에 가두지 말라

LOGIHEART는 관계 계층(relationship layer)에 감정과 의도를 포함하지만, 설계 원칙은

가정에서는 다른 인간과의 연결을 대체하는 것이 아니라 지원할 수 있음을 의미할 수 있습니다.

교육 분야에서는 학습자가 역량을 갖추게 됨에 따라 도움을 점진적으로 줄여나가는 것을 의미할 수 있습니다.

관계 연속성(relationship continuity)의 목표는 AI 관계를 영구적으로 만드는 것이 아닙니다. 그것은 시간적 흐름 속에서 인간 주체성을 보존하는 것입니다.

안전하게 적응하되, 보호 경계 주변에서는 학습하지 말라

사회적 AI는 결과와 실수로부터 학습해야 합니다.

하지만 모든 것이 학습 가능해서는 안 됩니다.

지원 전략은 적응할 수 있습니다. 안전성(Safety), 개인정보 보호(Privacy), 동의(Consent), 그리고 권한 경계(authority boundaries)는 더 강력한 거버넌스(governance)를 요구합니다.

시스템은 사람을 보호하는 규칙을 조용히 다시 작성하지 않으면서 개선되어야 합니다.

그리고 시스템이 자신의 권한 한계에 도달했을 때는 멈추거나 인계해야 합니다.

책임을 인간에게 돌려주는 것은 약점이 아닙니다. 그것은 책임이 분산되는 사회 안에서 작동하는 일부입니다.

지능과 구현(embodiment) 이후에는 무엇이 오는가

물리적 AI는 AI를 화면 밖으로, 움직임, 근접성, 사물, 그리고 결과의 세계로 가져옵니다.

그렇게 되면서 핵심 질문 자체가 바뀝니다.

더 이상 오직 이것만이 아닙니다:

이 시스템은 무엇을 할 수 있는가?

또한 다음과 같은 질문이 됩니다:

이 시스템은 누구와 함께 행동하고 있으며, 어떤 관계가 적용되고 있고, 지금 적절한 것은 무엇인가?

이것이 LOGIHEART가 **관계 컴퓨팅(Relationship Computing)**이라고 부르는 설계 영역입니다.

관계를 이해하고. 유지하며. 안전하게 변화시키는 것입니다.

그리고 AI 역량을 인간의 행동을 대체하는 데만 사용하는 것이 아니라, 사람들이 계속 생각하고, 선택하고, 발전하며, 타인과 연결되어 있도록 돕는 데 사용해야 합니다.

이것이 우리가 진정으로 사회에서 작동할 수 있는 AI에 대한 작업 정의입니다.

이 시리즈는 여기서 끝이 나지만, 엔지니어링 작업은 끝나지 않습니다. 다음 단계는 '인간적인' 행동을 종착역으로 취급하기보다는, 교정(correction), 경계(boundaries), 반복성(recurrence), 지원 감소(support fading), 그리고 인계(handoff)와 같은 측정 가능한 단위에서 사회성을 검증하는 것입니다.

Previous:
어떻게 사회성을 인식하는 AI를 측정할까? 인간적 유사성부터 교정, 경계 및 인계를 거쳐
Top:
일론 머스크와 마사요시 손, 어린 시절의 꿈을 쫓다 — 물리적 AI의 원동력과 '사회 지능'의 빠진 조각

LOGIHEART
사람과 AI가 서로를 이해하고, 실수를 고치며, 함께 성장하는 사회를 향하여.
LOGIHEART는 사람과 AI 간의 새로운 관계를 제안합니다.