음, 어디까지 이야기했었죠?

최근 작성한 글인 "AI, 새로운 API가 아닌 새로운 UI"에 댓글을 하나 받았습니다.

댓글 내용은 다음과 같습니다:

우리는 이미 슈퍼마켓이 AI로 인한 제품 대체 책임을 주문한 고객에게 전가하는 단계에 도달했습니다... 이제 이를 모든 도메인으로 확장해 보세요... 그리고 그 비용을 상상해 보세요!

이 사용 사례(use-case)는 지름길을 택했을 때 발생하는 실제적인 증상, 즉 아키텍처 문제(architectural problem)를 잘 보여줍니다. 즉, 엄격한 제약 조건(constraints) 없이 확률적 에이전트(probabilistic agent)가 구체적인 시스템 변경을 실행하도록 내버려 두면 어떤 일이 벌어질까요?

암묵적 지식 (Tacit Knowledge)

이전 포스트에서 저는 인간을 "엔트로피 감소기(entropy reducers)"라고 불렀습니다. AI가 확률적 감소기(probabilistic reducer)인 것처럼, 인간 또한 그렇습니다. 차이점은 인간은 알고 있든 모르고 있든 자신이 가진 많은 맥락(context)을 드러내지 않는다는 점입니다. AI는 유사한 결정을 내리기 위해 필요한 그 맥락에 접근할 수 없습니다. 이는 AI 연구 분야에서 매우 논쟁적인 주제인 암묵적 지식(tacit knowledge)과 숨겨진 상태(hidden state)를 건드리는 문제입니다.

숨겨진 상태 (Hidden State)의 힘

식료품 대체 사용 사례에서 인간이 결정을 내릴 때, 인간은 학습된 경험을 지닌 채 이를 적용하여 결과를 도출합니다. 인간 쇼핑객은 다음과 같이 알고 있습니다: "가게에 일반 우유(whole milk)가 없네. 저지방 우유(toned milk)를 고르겠지만, 배우자가 그 맛을 싫어하니까 두유(soy milk)는 절대 안 돼."

이러한 선호도는 숨겨진 상태(hidden state)입니다. 인간은 이에 접근할 수 있지만, 식료품 목록에는 이 정보가 없습니다. 슈퍼마켓 앱에서 대체를 수행하는 AI는 자신에게 주어진 명시적인 컨텍스트 창(context window)(사용자의 장바구니, 매장 재고, 일반적인 유사성 매칭 알고리즘)만을 가지고 있습니다. AI가 실패하는 이유는 인간이 지니고 다니는 평생의 멀티모달(multimodal) 학습 데이터가 부족하기 때문입니다. 선호도가 등록되면 AI도 결국 따라잡겠지만, 그때까지 사용자는 두유를 받게 될 것입니다.

컨텍스트 병목 현상 (The Context Bottleneck)

이것은 시스템 설계에서 거대한 병목 현상 (bottleneck)을 만들어냅니다. 우리는 AI가 모호하고 확률적인 (probabilistic) 작업을 처리하기를 원하지만, 우리의 방대한 인간적 컨텍스트 (context)를 기계의 컨텍스트 윈도우 (context window)로 마찰 없이 전달할 수 있는 방법은 아직 없습니다.

인간이 자신도 모르게 이러한 컨텍스트를 드러내지 못할 때, AI는 일반적인 확률 (generic probabilities)에 의존하게 됩니다. AI가 "잘못된" 결정을 내리는 것이 아닙니다. 극도로 제한된 데이터셋을 기반으로 수학적으로 가장 가능성이 높은 결정을 내리는 것입니다.

인간: 진정으로 궁극의 엔트로피 감소기인가?

제 글들을 되돌아보니, 인간은 사실 컨텍스트 앵커 (Context Anchors)에 더 가깝다는 생각이 듭니다. 우리는 엄격하고 개인화된 현실에 우리의 확률적 결정을 고정시킵니다. AI가 잘못된 식료품 대체품을 환각 (hallucinate)할 때, 시스템은 인간이 개입하여 숨겨진 컨텍스트를 적용해 오류를 거부함으로써, 확률 파동을 확정적이고 결정론적인 (deterministic) 결과로 붕괴시키기를 기대합니다.

하지만 컨텍스트 비대화 (Context Bloat)가 있다

사용자 선호도 문제를 해결할 수 있을까요? 네, 물론입니다. AI의 의사결정을 유도하기 위해 교정용 마이크로 프롬프트 (corrective micro-prompts)를 도입할 수 있습니다. 문제는 교정용 프롬프트는 사후적인 (post facto) 방식이며, 상태가 유지되지 않는 (stateless) 대화에서는 완전히 무용지물이라는 점입니다. 게다가 이들을 모두 덧붙이는 것은 그저 컨텍스트를 비대하게 (bloated) 만들 뿐입니다.

RAG (Retrieval-Augmented Generation, 검색 증강 생성)의 등장

컨텍스트 비대화로 AI를 압도하고 싶지는 않을 것입니다. 간단한 대안은 추가적인 컨텍스트를 가지고 AI를 다시 학습시키는 것처럼 보입니다. 그러면 예상대로 작동할 것입니다. 하지만 그 비용은 어떨까요? AI를 재학습시키는 것은 악명 높게 비싼 작업이며, FinOps의 악몽입니다.

여기서 RAG가 도움이 됩니다. 재학습시키는 대신, 고정된 (frozen) 모델이 사용자 선호도 데이터베이스를 쿼리하여 의미 있는 컨텍스트 조각들만 검색하고, AI가 더 나은 결정을 내릴 수 있도록 적시에 (just-in-time) 이를 주입합니다.

종합하기

사실, 모든 것을 하나로 묶기 위해 AI 사례조차 필요하지는 않습니다.

문제: 멘탈 모델 불일치 (Mental Model Mismatch)

로비에 있는 전형적인 상/하(Up/Down) 버튼은 고전적인 UX 실패 사례를 보여줍니다. 이 버튼들은 사용자가 자신의 목표를 경직된 시스템 명령어로 변환하도록 요구하며, 이는 종종 "잘못된 지시"로 이어집니다. 저 버튼들은 의도(Intent)를 등록하기 위한 것인가요, 아니면 엘리베이터를 사용자의 층으로 오라고 명령하는 호출 버튼인가요? 아무런 힌트도 없으며, UX는 단순히 그 목적을 전달하는 데 실패하고 있습니다.

사용자가 3층에 있고 10층으로 가고 싶을 때, 사용자는 위(UP, 이동하고자 하는 의도된 방향) 버튼을 눌러야 합니다. 하지만 엘리베이터가 현재 15층에 있는 것을 보면, 많은 사용자가 "엘리베이터를 내 쪽으로 내려오게 해야 한다"고 생각하여 아래(DOWN) 버튼을 누를 것입니다.

시스템의 API는 사용자의 원하는 궤적(Trajectory)을 기대하지만, 사용자는 기계에 기계적인 명령을 내리려고 시도합니다. 이는 오류를 유발하는 저맥락(Low-context) 상호작용입니다.

해결책: 목적지 배차 (Destination Dispatch)

기술의 발전과 충분한 자원이 있다면, 이제 로비에 모든 층에 대한 개별 버튼을 직접 추가하는 것이 가능합니다. UX는 "몇 층으로 가시나요?"로 단순화됩니다. 더 이상 버튼의 의미를 추측할 필요가 없습니다.

이 해결책은 UX가 여전히 중요하다는 사실을 강조합니다. 정제된 의도(Sanitized intent)를 사전에 포착하는 것이야말로 AI가 더 나은, 더 안전한 결정을 내릴 수 있게 해주는 바로 그 핵심입니다.