AI는 정답일 필요가 없다. 절차적으로 들리기만 하면 된다

한 관리자가 AI가 생성한 보고서를 열어봅니다.

첫 문장은 다음과 같습니다:

“현재의 구조는 더 이상 지속 가능하지 않은 것으로 결정되었습니다.”

문장에는 어떤 사람도 등장하지 않습니다.

아무도 무언가를 결정하지 않았습니다.

이름이 명시된 분석가도, 가시적인 방법론도, 임계값(threshold)도, 대립하는 해석도, 책임 있는 의사 결정자도 없습니다. 그럼에도 불구하고 이 문장은 다음과 같은 문장보다 이미 더 권위 있게 들립니다:

“가용한 제한된 정보에 기반하여, 모델은 해당 구조가 문제를 일으킬 수 있다고 예측합니다.”

두 문장은 동일한 데이터를 참조하고 있을 수 있습니다. 하지만 조직 내에서 만들어내는 효과는 동일하지 않습니다.

첫 번째 문장은 결론처럼 들립니다.

두 번째 문장은 해석처럼 들립니다.

그 차이는 외적인 것이 아닙니다. 그것은 운영적(operational)입니다.

현대의 AI 시스템은 기업에 영향을 미치기 위해 공식적인 권위가 필요하지 않습니다. 출력물의 문법적 형태를 통해 실질적인 권위를 획득할 수 있습니다. 권고 사항이 절차적이고, 비인칭적이며, 완결된 것처럼 들리는 순간, 사람들은 마치 정당한 프로세스가 이미 완료된 것처럼 그것을 취급하기 시작합니다.

이것이 확률이 정책이 되는 방식입니다.

*새로운 권위는 명령을 내리지 않는다
*
대부분의 사람들은 권위를 명시적인 명령으로 상상합니다:

• 예산을 줄이세요.
• 후보자를 탈락시키세요.
• 프로젝트를 중단하세요.

하지만 현대의 조직적 권위는 그렇게 공개적으로 말하는 경우가 드뭅니다. 그것은 결정을 내린 사람을 제거하는 문장들을 통해 나타납니다:

• “예산 삭감이 요구됩니다.”
• “해당 후보자는 적합하지 않은 것으로 판단되었습니다.”
• “프로젝트는 중단되어야 합니다.”

이러한 진술들은 단순히 정보를 전달하는 것이 아닙니다. 그것은 책임을 재구성합니다.

직접적인 명령은 행위자(agent)를 드러냅니다. 누군가가 삭감을 명령했습니다. 누군가가 후보자를 거절했습니다. 누군가가 프로젝트 중단을 결정했습니다.

비인칭적인 버전은 그 행위자를 제거하고, 결정을 명백한 필연성으로 대체합니다.

예산은 어떤 사람이 다른 옵션 대신 특정 옵션을 선택했기 때문에 줄어드는 것이 아닙니다. 삭감이 “요구되기” 때문에 줄어드는 것입니다.

지원자는 논쟁의 여지가 있는 기준을 적용하는 관리자에 의해 거절되는 것이 아닙니다. 지원자는 단순히 “적합하지 않은 것으로 간주되었습니다.”

프로젝트는 의구심을 살 수 있는 경영진에 의해 취소되는 것이 아닙니다. 그것은 “중단되어야 합니다.”

문법은 결정을 조건으로 변환합니다.

이 메커니즘은 생성형 AI (Generative AI)가 등장하기 훨씬 전부터 존재했습니다. 법률 문서, 행정 통지, 학술 논문 및 기업 정책은 수 세기 동안 비인칭 언어 (Impersonal language)를 사용해 왔습니다. 변한 것은 그 생산의 규모, 속도, 그리고 위치입니다.

이제 문장은 워크플로 (Workflow) 내부에서 생성됩니다.

*챗봇에서 의사결정 계층으로 (From Chatbot to Decision Layer)
*_
대중은 여전히 AI를 마치 주로 글쓰기 보조 도구인 것처럼 이야기합니다.

그 설명은 구식입니다.

AI 시스템은 이제 회의를 요약하고, 지원자의 순위를 매기며, 성과 검토 초안을 작성하고, 고객 불만을 분류하며, 가격을 제안하고, 상업적 리스크를 평가하며, 내부 절차를 작성하고, 운영 변경 사항을 권고합니다.

각 사례에서 언어는 데이터와 행동 사이에 위치합니다.

이 중간 계층 (Intermediate layer)이 중요합니다.

모델은 직원을 해고하거나, 공급업체를 거부하거나, 제품을 취소할 수 있는 공식적인 권한이 없을지도 모릅니다. 하지만 모델은 그 결정을 당연해 보이게 만드는 문장을 만들어낼 수 있습니다:

“성과 지표에 따르면 재배치가 적절할 것으로 판단됩니다.”

“해당 공급업체는 높은 운영 리스크 (Operational risk)를 나타냅니다.”

“시장 상황이 지속적인 투자를 뒷받침하지 않습니다.”

최종 버튼을 누르는 것은 여전히 인간일 수 있습니다. 그렇다고 해서 인간이 독립적으로 결정을 내렸다는 의미는 아닙니다.

출력물은 이미 프레임 (Frame)을 선택하고, 대안을 제한하며, 이견을 제시하기 어렵게 만드는 어휘를 확립했을 수 있습니다.

시스템은 명령을 내릴 필요가 없습니다. 그저 아무도 이의를 제기하고 싶지 않은 문장을 쓰기만 하면 됩니다.

*절차적 언어가 매우 설득력 있는 이유 (Why Procedural Language Is So Persuasive)
*_
절차적 언어 (Procedural language)는 마치 문장이 나타나기 전에 무언가가 이미 일어난 것처럼 들립니다.

다음 사례를 고려해 보십시오:

“평가 결과에 따라, 해당 계정은 고위험군으로 분류되었습니다.”

“평가 결과에 따라 (following an evaluation)”라는 문구는 다음과 같은 순서를 암시합니다:

• 정보가 수집되었다.
• 기준 (Criteria)이 적용되었다.
• 대안들이 비교되었다.

그리고 타당한 결론에 도달했다.

하지만 이 문장은 그러한 단계 중 어느 하나라도 적절하게 수행되었음을 증명하지 않습니다.

단지 완료된 절차의 형태만을 띠고 있을 뿐입니다.

평가는 피상적이었을 수도 있습니다. 기준은 무관한 데이터셋 (Dataset)에서 물려받은 것일 수도 있습니다. 입력값은 불완전했을 수도 있습니다. 출력값은 단 30초 만에 작성된 프롬프트 (Prompt)로부터 생성되었을 수도 있습니다.

이 문장에서는 그 중 어느 것도 확인할 수 없습니다.

문법은 절차적 품질 (Procedural quality)을 공개하지 않은 채, 절차적 정당성 (Procedural legitimacy)만을 제공합니다.

이는 여러 언어적 메커니즘이 함께 나타날 때 특히 효과적입니다.

행위자 삭제 (Agent deletion)

“~라고 결론지어졌다 (It was concluded that…)”

누가 결론을 내렸습니까?

문장은 말해주지 않습니다.

추상적 권위 (Abstract authority)

“분석 결과는 ~를 나타낸다 (The analysis indicates…)”

어떤 분석입니까? 누구에 의해 수행되었습니까? 어떤 가정 (Assumptions) 하에 이루어졌습니까?

양상적 필연성 (Modal necessity)

“프로세스는 반드시 수정되어야 한다 (The process must be revised.)”

왜 조정하거나, 모니터링하거나, 그대로 두는 대신 반드시 수정해야만 합니까?

명사화 (Nominalization)

“시정 조치의 이행이 권고된다 (The implementation of corrective measures is recommended.)”

일련의 선택들이 하나의 명사구 (Noun phrase)가 됩니다. 그 선택을 내린 사람들은 사라집니다.

수동태 구조 (Passive construction)

“요청이 거절되었다 (The request was rejected.)”

거절되었다는 사실은 보이지만, 거절한 행위자는 보이지 않습니다.

이러한 구조들이 자동으로 기만적인 것은 아닙니다. 수동태는 정당한 용도가 있습니다. 기술적 언어는 정밀도를 높일 수 있습니다. 비인칭적 글쓰기 (Impersonal writing)는 개인보다는 절차에 집중하게 할 수 있습니다.

문제는 문법적 중립성 (Grammatical neutrality)을 증거적 중립성 (Evidential neutrality)으로 오해할 때 시작됩니다.

문장은 약한 증거, 불확실한 추론, 또는 인정되지 않은 선호도를 숨기면서도 객관적으로 들릴 수 있습니다.

확신은 검증과 같지 않다

생성형 시스템 (Generative systems)은 일관성 있는 연속성을 생성하도록 최적화되어 있습니다. 따라서 일관성 (Coherence)은 풍부합니다.

하지만 검증 (Verification)은 그렇지 않습니다.

이것은 구조적 불균형을 초래합니다. 모델은 결론이 정당하다는 것을 입증하는 것보다, 완성된 결론의 언어적 징후 (Linguistic signs)를 생성하는 것을 더 쉽게 할 수 있습니다.

출력물에는 다음과 같은 요소가 포함될 수 있습니다:

• 명확한 권고 (Recommendation);
• 전문적인 어휘 (Professional vocabulary);
• 질서 정연한 추론 (Orderly reasoning);
• 정량화된 언어 (Quantified language);
• 절차적인 어조 (Procedural tone);

눈에 보이는 망설임은 없습니다.

사용자들은 종종 이러한 특징들을 기저의 프로세스가 엄격했다는 증거로 읽습니다.

하지만 그것들은 그에 대한 증거가 아닙니다.

그것들은 출력물의 속성 (Properties)일 뿐입니다.

다듬어진 문장은 불완전한 데이터에 기반하고 있을 수 있습니다. 잘 구조화된 권고는 한 번도 공개되지 않은 가정 (Assumptions)에 의존할 수 있습니다. 자신감 넘치는 요약은 상충하는 증거들을 하나의 인위적인 합의 (Artificial consensus)로 압축해 버릴 수 있습니다.

모델은 거짓말을 할 필요가 없습니다.

단지 불확실성의 언어적 흔적을 제거하기만 하면 됩니다.

비교해 보십시오:

“새로운 정책이 불필요한 마찰을 일으켰기 때문에 고객 불만이 증가했습니다.”

와:

“정책 변경 이후 고객 불만이 증가했을 가능성이 있는 의견들이 확인되나, 현재의 샘플로는 인과 관계를 확립할 수 없습니다.”

전자가 유포하기 더 쉽습니다. 더 짧고, 깔끔하며, 단호합니다.

또한 가용한 증거가 정당화할 수 있는 수준보다 인식론적 (Epistemically)으로 더 강력해 보입니다.

조직은 그러한 압축에 보상을 줍니다. 경영진은 언어적 주의 사항 (Linguistic caveats)이 아니라 결론을 요구합니다. 대시보드는 단순화됩니다. 발표 자료는 모호함을 제거합니다. 회의 요약본은 의견 불일치를 실행 항목 (Action items)으로 전환합니다.

AI는 불확실성을 행정적인 산문 (Administrative prose)으로 거의 즉각적으로 변환할 수 있기 때문에, 그러한 환경에 완벽하게 부합합니다.

인간이 서명 계층 (Signature Layer)이 된다
*
AI가 생성한 권고가 기업에 전달될 때, 눈에 보이는 책임의 사슬은 종종 다음과 같이 작동합니다:

시스템이 분석을 생성합니다.

직원이 이를 복사합니다.

관리자가 이를 승인합니다.

조직이 이를 실행합니다.

만약 결정이 성공한다면, 그것은 데이터에 기반한 (Data-driven) 것으로 제시될 수 있습니다.

만약 실패한다면, 책임은 대개 승인한 인간에게 돌아갑니다.

이것은 비대칭성 (Asymmetry)을 만들어냅니다.

시스템은 의사결정의 프레임 (Framing)을 구성하는 데 참여하지만, 제도적 책임 (Institutional liability)은 지지 않습니다. 관리자는 책임을 지지만, 관련 범주 (Categories), 가정 (Assumptions) 또는 언어를 직접 생성하지 않았을 수도 있습니다.

인간은 자동화된 해석에 부착된 서명 계층 (Signature layer)이 되어버립니다.

그렇기 때문에 "인간 참여형 (Human in the loop)"이라는 표현은 통제 (Control)를 설명하기에 충분하지 않습니다.

사람은 형식적으로는 프로세스 내부에 머물 수 있지만, 문제가 어떻게 표현되는지에 대한 실질적인 통제권은 상실할 수 있습니다.

관련된 질문은 단순히 인간이 결과물을 승인했는지 여부만이 아닙니다.

관련된 질문은 다음과 같습니다:

• 누가 범주를 정의했는가?
• 누가 변수 (Variables)를 선택했는가?
• 누가 무엇을 리스크 (Risk)로 간주할지 결정했는가?
• 누가 불확실성 (Uncertainty)을 필연성 (Necessity)으로 전환했는가?
• 누가 결론을 다르게 작성할 수 있었는가?
• 의사결정이 해를 끼쳤을 때 누구의 이름이 거론되는가?
• 프로세스에 여러 명의 인간이 포함되어 있더라도 여전히 주체성 (Agency)은 가려질 수 있습니다.

*문제는 AI가 의견을 가지고 있다는 것이 아니다
*
AI가 의견을 가지고 있다고 말하는 것은 시스템에 너무 많은 심리학적 깊이를 부여하고, 구조적 조사 (Structural scrutiny)는 너무 적게 수행하게 만듭니다.

더 정확한 문제는 AI가 사실 형태의 문법 (Fact-shaped grammar)을 사용하여 의견 형태의 출력물 (Opinion-shaped outputs)을 생성할 수 있다는 점입니다.

AI는 다음과 같이 변환할 수 있습니다:

_"하나의 가능한 해석은..."

를 다음과 같이:

_"증거는 ~를 나타낸다..."

로 변환할 수 있습니다.

AI는 다음과 같이 변환할 수 있습니다:

_"경영진은 ~를 고려할 수 있다..."

를 다음과 같이:

_"시정 조치가 요구된다."

로 변환할 수 있습니다.

AI는 다음과 같이 변환할 수 있습니다:

_"가용한 기록이 불완전하다..."

를 다음과 같이:

_"중대한 문제는 식별되지 않았다."

로 변환할 수 있습니다.

위험은 기계 내부에 숨겨진 인격이 있는 것이 아닙니다.

위험은 불확실한 통계적 생성물 (Statistical production)이 제도적 언어 (Institutional language)로 전환되는 것입니다.

이러한 전환이 작동하는 이유는 조직이 이미 그 문법을 인식하고 있기 때문입니다. 이는 감사인 (Auditors), 규제 기관 (Regulators), 컨설턴트 (Consultants), 법원 (Courts), 기술 부서 (Technical departments) 및 고위 경영진 (Senior management)의 언어와 닮아 있습니다.

AI가 그 문법을 발명한 것은 아닙니다.

AI는 그것을 산업화 (Industrialized)했을 뿐입니다.

실질적인 테스트: 누락된 주체 (Agent)를 복원하라

겉보기에 중립적인 AI 출력물을 검토하는 간단한 방법이 있습니다.

문장에 명시적인 주체 (Agent)를 넣어 다시 써보는 것입니다.

원문:

“해당 직원이 기대치에 미치지 못하는 것으로 결정되었습니다.”

다시 쓴 문장:

“모델이 프롬프트에 포함된 정보를 사용하여 해당 직원을 기대치 미달로 분류했습니다.”

원문:

“제안된 투자는 실행 가능하지 않은 것으로 간주됩니다.”

다시 쓴 문장:

“시스템은 사용자가 제공한 가정하에 해당 투자가 실행 가능하지 않을 수 있다고 예측합니다.”

원문:

“운영상의 변화가 필요합니다.”

다시 쓴 문장:

“보고서는 선택된 지표들에 더 큰 가중치를 부여했기 때문에 운영상의 변화를 권고합니다.”

다시 쓴 문장들은 더 약하게 느껴집니다.

그 약함은 정보 가치가 있습니다.

원문 문장들은 판단의 출처 (Source), 메커니즘 (Mechanism), 그리고 한계 (Limits)를 숨겼기 때문에 더 강력해 보였던 것입니다.

주체 (Agent)를 복원하는 것이 모든 문제를 해결해주지는 않습니다. 하지만 시스템이 계산한 것과 조직이 주장할 준비가 된 것 사이의 간극을 드러내 줍니다.

결론을 추적 가능한 주장 (Traceable Claims)으로 교체하라

책임 있는 AI 보조 문장은 최소한 다음 네 가지 요소를 식별해야 합니다:

출처 (Source): 어떤 정보가 해당 문장을 뒷받침하는가?

주체 (Agent): 누가 또는 무엇이 그 해석을 생성했는가?

방법 (Method): 어떤 규칙, 비교 또는 모델이 그것을 만들어냈는가?

범위 (Scope): 어떤 조건하에서 그 결론이 유효하게 유지되는가?

다음 대신에:

“고객이 이탈할 가능성이 높습니다.”

이렇게 작성하십시오:

“리텐션 모델 (Retention model)은 최근 구매 빈도가 현재 스코어링 규칙 (Scoring rule)에 정의된 임계값 (Threshold) 미만으로 떨어졌기 때문에 해당 고객을 고위험군으로 분류했습니다.”

다음 대신에:

“지원자는 부적격합니다.”

이렇게 작성하십시오:

“스크리닝 시스템 (Screening system)은 지원자의 프로필에 모델이 사용하는 세 가지 경험 지표가 포함되지 않았기 때문에 지원자를 선택된 임계값 (Threshold) 미만으로 순위를 매겼습니다.”

다음 대신에:

“시장은 확장을 지지하지 않습니다.”

이렇게 작성하십시오:

_“예측 모델은 지정된 수요 및 비용 가정하에서 확장이 현재의 마진 목표를 달성하지 못할 것으로 추정합니다.”

이러한 문장들은 더 깁니다.

그래야만 합니다.

주장을 평가하는 데 필요한 조건들을 삭제할 때, 압축 (Compression)은 중립적이지 않습니다.

• 객관성 (Objectivity)은 수행되는 것이 아니라 입증되어야 한다

시스템은 감정적인 언어를 피한다고 해서 객관적이 되는 것이 아닙니다.

퍼센트 (Percentages)를 사용한다고 해서 객관적이 되는 것도 아닙니다.

전문적인 어조 (Professional tone)로 작성한다고 해서 객관적이 되는 것도 아닙니다.

문장에 1인칭 대명사가 없다고 해서 객관적이 되는 것도 아닙니다.

객관성 (Objectivity)은 주장 (Claim), 증거 (Evidence), 방법 (Method), 그리고 한계 (Limits) 사이의 추적 가능한 관계를 요구합니다.

그러한 관계가 없다면, 중립성 (Neutrality)은 단지 하나의 스타일일 뿐입니다.