AI의 미래가 더 많이 생성하는 것이 아니라, 더 적게 생성하는 것이라면 어떨까요?

모두가 더 큰 언어 모델 (Language Models)을 구축하기 위해 경쟁하고 있습니다.

더 많은 파라미터 (Parameters).

더 긴 컨텍스트 윈도우 (Context Windows).

더 나은 추론 (Reasoning).

그리고, 당연하게도...

더 많은 생성 텍스트 (Generated Text).

하지만 최근 저는 스스로에게 다른 질문을 던지기 시작했습니다:

우리가 파이프라인 (Pipeline)의 잘못된 부분을 최적화하고 있는 것이라면 어떨까요?

텍스트 생성 (Text Generation)이 가치 없기 때문이 아닙니다. 그것은 분명히 가치가 있습니다.

하지만 많은 실제 AI 시스템들은 실제로 새로운 텍스트를 필요로 하지 않습니다.

그들에게 필요한 것은 올바른 텍스트입니다.

생성 (Generation) vs. 선택 (Selection)

다음과 같은 분야를 위한 AI 어시스턴트를 구축한다고 상상해 보세요:

• 고객 지원 (Customer Support)
• 제품 문서 (Product Documentation)
• 뱅킹 (Banking)
• 헬스케어 (Healthcare)
• 엔터프라이즈 지식 (Enterprise Knowledge)
• 법적 준수 (Legal Compliance)

대부분의 답변은 이미 존재합니다.

모델은 지식을 발명하는 것이 아닙니다.

이미 작성되고 승인된 지식을 재구성하는 것입니다.

그 점이 저를 궁금하게 만들었습니다...

왜 LLM (Large Language Model)이 지식 베이스 (Knowledge Base) 내부 어딘가에 이미 존재하는 문단을 생성하기 위해 값비싼 컴퓨팅 자원 (Compute)을 소모해야 할까요?

아키텍처 (Architecture) 뒤집기

모델에게 다음과 같이 쓰도록 요청하는 대신:

"주문을 취소하려면 프로필로 이동하세요... 환불은 24~72시간이 소요됩니다..."

단순히 다음과 같이 반환한다면 어떨까요?

[A12, A13]

그 이상은 없습니다.

이 ID들은 검증된 지식 블록 (Knowledge Blocks)을 가리킬 것입니다.

클라이언트 애플리케이션 (Client Application)이 해당 블록들로부터 최종 응답을 조립할 것입니다.

언어 모델은 답변을 직접 쓰지 않습니다.

단지 어떤 지식 조각들이 사용되어야 하는지를 결정할 뿐입니다.

LLM은 플래너 (Planner)가 된다

이것은 모델의 역할을 완전히 바꿉니다.

텍스트 생성기 (Text Generator) 대신...

**시맨틱 플래너 (Semantic Planner)**가 됩니다.

모델의 작업은 다음과 같습니다:

1. 사용자의 의도 (Intent)를 이해합니다.
2. 관련 있는 최소한의 지식 블록 세트를 선택합니다.
3. 오직 그 식별자 (Identifiers)들만 반환합니다.

그게 전부입니다.

문단도 없습니다.

재작성도 없습니다.

불필요한 토큰 (Tokens)도 없습니다.

이것이 왜 중요한가

이 접근 방식에는 몇 가지 실질적인 이점이 있습니다.

더 낮은 추론 비용 (Inference Cost)

출력 토큰 (Output Tokens)은 종종 입력 토큰 (Input Tokens)보다 더 비쌉니다.

반환되는 값:

[A12, B7]

은(는) 전체 문단을 생성하는 것보다 극적으로 작습니다.

더 빠른 응답 (Faster responses)

텍스트를 생성하는 것은 순차적 (Sequential)입니다.

식별자 (Identifiers)를 선택하는 것은 훨씬 더 간단합니다.

생성량이 적다는 것은 종종 더 낮은 지연 시간 (Latency)을 의미합니다.

더 적은 환각 (Fewer hallucinations)

만약 모델이 새로운 텍스트를 지어낼 수 없다면...

실수로 새로운 사실을 지어낼 수도 없습니다.

모든 것이 검증된 콘텐츠 (Verified content)로부터 나옵니다.

더 쉬운 유지보수 (Easier maintenance)

환불 정책을 업데이트해야 하나요?

지식 블록 (Knowledge block) 하나만 수정하세요.

이후의 모든 응답에 변경 사항이 자동으로 반영됩니다.

재학습 (Retraining)도 필요 없습니다.

프롬프트 엔지니어링 (Prompt engineering)도 필요 없습니다.

중복된 콘텐츠도 필요 없습니다.

이것은 RAG의 대체제가 아닙니다

어떤 사람들은 이것을 읽고 이렇게 생각할지도 모릅니다:

"이것은 그냥 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 아닌가요?"

정확히는 아닙니다.

RAG는 문서를 검색하고...

모델은 여전히 최종 답변을 생성합니다.

이 아키텍처 (Architecture)에서 생성은 더 이상 마지막 단계가 아닙니다.

LLM은 **의사 결정 엔진 (Decision engine)**이 되고, 렌더링 (Rendering)은 다른 곳에서 일어납니다.

미묘한 변화이지만, 시스템 내부에서 지능이 머무는 위치를 바꿉니다.

이 방식이 가장 잘 어울린다고 생각하는 곳

저는 이 아키텍처가 창의적인 글쓰기에 이상적이라고 생각하지 않습니다.

또는 스토리텔링.

또는 브레인스토밍 (Brainstorming).

그 영역에서는 여전히 생성이 적절한 도구입니다.

하지만 답변이 다음과 같아야 하는 시스템의 경우:

• 결정론적 (Deterministic)
• 감사 가능 (Auditable)
• 버전 관리 가능 (Version-controlled)
• 다국어 지원 (Multilingual)
• 규제 친화적 (Regulation-friendly)

...이 접근 방식은 매력적인 대안이 될 수 있습니다.

한 단계 더 나아가기

반환되는 블록이 텍스트만이 아니라면 아이디어는 훨씬 더 흥미로워집니다.

모델이 다음과 같은 것을 반환한다고 상상해 보세요:

[TEXT_21]
[IMAGE_5]
[API_2]
...

이제 응답은 단순히 조립되는 것이 아닙니다.

**실행 (Executed)**되는 것입니다.

클라이언트는 어떤 UI 컴포넌트, API, 문서 또는 워크플로 (Workflow)를 활성화해야 하는지 정확히 알게 됩니다.

그 시점에서 LLM은 더 이상 챗봇처럼 작동하지 않습니다.

**AI 실행 플래너 (AI execution planner)**처럼 작동합니다.

마치며

저는 AI의 미래가 단 하나의 아키텍처에 의해 정의될 것이라고 믿지 않습니다.

생성형 AI (Generative AI)는 우리가 기계와 상호작용하는 방식을 변화시켰으며, 앞으로도 중심적인 역할을 계속 수행할 것입니다.

하지만 저는 지능이 항상 새로운 단어를 생성하는 것이 아니라, **적절한 지식을 선택하는 것 (selecting the right knowledge)**에서 오는 아키텍처를 탐구할 여지가 있다고 생각합니다.

저는 이 아이디어를 **역 AI (Inverse AI)**라고 부릅니다. 이는 초점을 생성에서 의미론적 선택 (semantic selection)으로 전환함으로써 언어 모델 (language models)의 역할을 재고하는 방식입니다.

이는 여전히 아키텍처 개념 단계이며, 검색 (retrieval), 인덱싱 (indexing), 확장성 (scalability), 그리고 평가 (evaluation)와 관련하여 해결해야 할 질문들이 남아 있습니다. 하지만 바로 그 점이 이 논의를 가치 있게 만듭니다.

때때로 혁신은 모델이 더 많은 말을 하게 만드는 것이 아닙니다.

때때로...

그것은 모델에게 언제 말하지 말아야 할지를 가르치는 것입니다.

여러분의 관점을 듣고 싶습니다.

이러한 아키텍처가 어디에서 가장 큰 가치를 창출할 수 있다고 생각하시나요? "선택 우선 (selection-first)" AI가 오늘날의 생성형 시스템과 나란히 중요한 디자인 패턴 (design pattern)이 될 수 있을까요?

#ArtificialIntelligence #LLM #AIArchitecture #GenerativeAI #AgenticAI #SystemDesign #KnowledgeGraphs #SemanticSearch #RAG #InferenceOptimization #CostOptimization #EnterpriseAI #SoftwareEngineering #MachineLearning #AIResearch #Innovation #FutureOfAI #OpenSource