모두가 AI 거버넌스(AI governance)에 대해 이야기하고 있습니다.

대부분의 논의는 모델(model)에 집중됩니다.

• 더 나은 프롬프트 (Prompts).
• 더 나은 정렬 (Alignment).
• 더 나은 가드레일 (Guardrails).
• 인간의 감독 (Human oversight).

이러한 논의는 거버넌스가 AI 자체에 내장되는 무언가라고 가정합니다.

저는 아키텍처(architecture)가 다른 답을 제시한다고 생각합니다.

AI는 다른 종류의 작업에서 작동합니다

AI는 단 하나의 정답이 없는 곳에서 가장 가치가 있습니다.

디자인 (Design).

연구 (Research).

아키텍처 (Architecture).

근본 원인 분석 (Root cause analysis).

코드 리뷰 (Code review).

문서화 (Documentation).

이러한 활동들은 본질적으로 비결정론적 (non-deterministic)입니다.

사람마다 합리적으로 서로 다른 결론에 도달할 수 있습니다.

하지만 조직은 이러한 작업을 임의로 수행하는 경우가 거의 없습니다.

대부분의 조직은 이미 의사결정 프로토콜 (decision protocols)을 가지고 있습니다.

검토 체크리스트 (Review checklists).

디자인 원칙 (Design principles).

조사 절차 (Investigation procedures).

에스컬레이션 규칙 (Escalation rules).

정답은 존재하지 않을 수도 있습니다.

하지만 올바른 프로세스 (process)는 존재하는 경우가 많습니다.

따라서 AI는 미리 결정된 정답이 아니라 의사결정 프로토콜을 전달받아야 합니다.

다른 세상이 존재합니다

모든 활동이 AI에 속하는 것은 아닙니다.

조직에는 결정론적 (deterministic)인 세상도 존재합니다.

이것은 제도적 현실을 정의하는 세상입니다.

고객 기록 (Customer records).

금융 거래 (Financial transactions).

계약서 (Contracts).

접근 권한 (Access permissions).

구매 주문 (Purchase orders).

승인 (Approvals).

이것들은 단순히 정보의 조각이 아닙니다.

이것들은 권리, 책임, 권한 및 책무를 정의합니다.

이것들을 변경하는 것은 조직의 공식적인 상태를 변경하는 것입니다.

경계는 상태 변경 시점에 나타납니다

추론 (Reasoning)과 상태 변경 (state change)은 근본적으로 다릅니다.

AI는 추론해야 합니다.

AI는 대안을 비교해야 합니다.

AI는 조사해야 합니다.

AI는 권고해야 합니다.

하지만 AI가 제도적 상태를 직접 수정해서는 안 됩니다.

추론이 공식적인 조직의 행동이 되는 순간, 아키텍처가 변화합니다.

그 전환점이 바로 거버넌스가 시작되는 곳입니다.

API가 거버넌스의 경계입니다

엔터프라이즈 소프트웨어 (Enterprise software)는 이미 이 문제를 해결했습니다.

모든 상태 변경 작업은 이미 관리되는 API를 통해 통과합니다.

해당 API들은 다음을 강제합니다:

• 권한 부여 (Authorization)
• 검증 (Validation)
• 승인 워크플로우 (Approval workflows)
• 감사 로깅 (Audit logging)
• 트랜잭션 보장 (Transaction guarantees)

API는 단순히 통신 메커니즘이 아닙니다.

그것은 거버넌스의 경계입니다.

API 이전의 모든 것은 추론 (Reasoning)에 속합니다.

API 이후의 모든 것은 조직의 상태 (Institutional state)에 속합니다.

읽기와 쓰기는 근본적으로 다릅니다

읽기는 AI의 이해를 돕습니다.

쓰기는 조직의 현실을 변화시킵니다.

이 차이는 간과하기 쉽습니다.

AI가 고객 정보를 읽는 것은 공식적인 기록을 생성하지 않습니다.

AI가 고객 정보를 변경하는 것은 조직의 진실 (Institutional truth)을 생성합니다.

그 차이가 왜 추론에는 거버넌스가 필요하지 않은 반면, 쓰기 작업에는 거버넌스가 필요한지를 설명합니다.

조직은 이미 상태 변경을 관리하는 방법을 알고 있습니다.

AI가 이러한 메커니즘을 우회해야 할 이유는 없습니다.

AI 거버넌스는 책임을 정의하는 것입니다

질문은 AI가 신뢰할 수 있는지 여부가 아닙니다.

질문은 어떤 책임이 AI에 속하느냐 하는 것입니다.

AI는 확립된 의사결정 프로토콜 하에서 추론을 담당해야 합니다.

엔터프라이즈 시스템은 조직의 상태를 담당해야 합니다.

거버넌스는 모델에게 책임감 있게 행동하라고 요청함으로써 시작되는 것이 아닙니다.

그 경계를 정의함으로써 시작됩니다.

즉, 추론에서 조직적 행동으로 이어지는 모든 전환이 관리되는 시스템을 통과하도록 보장함으로써 시작됩니다.

AI는 엔터프라이즈 소프트웨어를 대체하지 않습니다

흔한 가정은 점점 더 유능해지는 AI 에이전트가 엔터프라이즈 애플리케이션을 대체할 것이라는 점입니다.

저는 그 반대라고 믿습니다.

AI의 추론 능력이 향상될수록, 관리되는 엔터프라이즈 시스템의 가치는 더욱 높아집니다.

AI는 더 많은 권장 사항을 생성할 것입니다.

더 많은 분석을 수행할 것입니다.

더 많은 제안된 행동을 만들어낼 것입니다.

하지만 모든 공식적인 상태 변경은 여전히 다음을 필요로 할 것입니다:

권한 부여 (Authorization).

검증 (Validation).

승인 (Approvals).

감사 가능성 (Auditability).

트랜잭션 무결성 (Transactional integrity).

이러한 책임은 언어 모델 (Language model) 내부에 속하지 않습니다.

그것들은 엔터프라이즈 소프트웨어 내부에 속합니다.

미래는 AI가 SaaS를 대체하는 것이 아닙니다.

미래는 추론이 조직적 행동이 될 때마다 그 거버넌스에 의존함으로써, AI가 SaaS의 가치를 높이는 것입니다.