제가 듣는 가장 흔한 질문 중 하나는 다음과 같습니다:

"어떤 LLM (Large Language Model)을 사용해야 할까요?"

이해할 수 있는 질문입니다.

모델의 성능 (Model capability)은 중요합니다.

하지만 실제 운영 시스템에서 AI 에이전트가 어떻게 작동하는지 검토하며 시간을 보낸 결과, 저는 모델의 선택보다 컨텍스트 (Context)의 품질이 신뢰성에 훨씬 더 자주 영향을 미친다는 확신을 갖게 되었습니다.

더 똑똑한 모델이라 할지라도 저급한 컨텍스트를 일관되게 보완할 수는 없습니다.

오해: 더 많은 컨텍스트가 더 나은 답변을 의미한다

많은 팀이 AI 에이전트가 가능한 한 많은 정보를 받아야 한다고 가정합니다.

더 많은 문서.

더 많은 채팅 기록.

더 많은 데이터베이스.

더 많은 통합 (Integrations).

논리는 명백해 보입니다. 모델이 모든 것을 알면 무엇이든 답할 수 있다는 것입니다.

불행히도, 엔터프라이즈 시스템은 그런 식으로 작동하는 경우가 거의 없습니다.

방대한 컨텍스트는 종종 동일한 정보에 대한 상충하는 버전들을 도입합니다.

오래된 정책.

더 최신인 문서.

초안 제안서.

보관된 회의록.

이제 모델은 어떤 소스가 가장 신뢰할 만한지 결정해야 합니다.

이것은 더 이상 검색 (Retrieval)의 문제가 아닙니다.

이것은 모호성 (Ambiguity)의 문제입니다.

컨텍스트에는 비용이 따른다

AI 에이전트에 추가되는 모든 문서는 또 다른 잠재적인 충돌 원인을 생성합니다.

인사(HR) 정책을 상상해 보십시오.

버전 2에는 직원이 연간 18일의 휴가를 받는다고 되어 있습니다.

버전 3에서는 이를 20일로 업데이트합니다.

두 문서 모두 검색 가능한 상태로 남아 있습니다.

검색 시스템은 메타데이터, 랭킹(Ranking), 또는 문서 유사도(Document similarity)에 따라 둘 중 하나를 노출할 수 있습니다.

언어 모델은 "환각 (Hallucinating)"을 일으키는 것이 아닙니다.

상충하는 증거를 바탕으로 답변하고 있는 것입니다.

진짜 문제는 추론 (Inference)이 일어나기도 전에 시작되었습니다.

검색은 이해가 아니다

검색 증강 생성 (RAG, Retrieval-Augmented Generation)은 많은 엔터프라이즈 AI 애플리케이션의 기본 아키텍처가 되었습니다.

그 목적은 명확합니다:

첫째, 관련 정보를 검색합니다.

둘째, 답변을 생성합니다.

그 방식은 잘 작동합니다.

하지만 검색만으로는 정확성을 보장할 수 없습니다.

검색 시스템은 다섯 개의 문서를 성공적으로 찾아낼 수 있습니다.

더 어려운 질문은 이것입니다:

그 다섯 개 중 모델은 어떤 것을 신뢰해야 할까요?

문서 거버넌스 (Governance), 최신성 지표 (Freshness indicators), 소유권 메타데이터 (Ownership metadata) 또는 명확한 출처 계층 구조 (Source hierarchy)가 없다면, 검색 품질 (Retrieval quality)은 결국 한계에 도달하게 됩니다.

모델은 오직 주어진 증거를 바탕으로만 추론할 수 있습니다.

작은 지식 베이스 (Knowledge bases)가 종종 더 나은 성능을 발휘합니다

이는 직관에 어긋나는 것처럼 들립니다.

많은 조직이 자신들이 소유한 모든 저장소 (Repository)를 연결하는 것을 축하합니다.

하지만 실제로 더 좁은 지식 영역 (Knowledge domains)이 종종 더 신뢰할 수 있는 답변을 생성합니다.

왜일까요?

신호 대 잡음비 (Signal-to-noise ratio)가 개선되기 때문입니다.

모든 부서를 가로질러 검색하는 대신, 오직 재무 (Finance) 부서만을 전담하는 AI 어시스턴트를 상상해 보십시오.

이 어시스턴트가 검색 가능한 정보는 다음과 같습니다:

• 회계 절차 (Accounting procedures)
• 예산 가이드라인 (Budget guidelines)
• 승인된 재무 정책 (Approved financial policies)
• 재무 문서 (Finance documentation)

그 외에는 아무것도 없습니다.

이제 에이전트는 충돌하는 문서와 무관한 검색 결과 (Retrieval results)가 줄어들었습니다.

모델을 변경하지 않고도 정확도가 향상됩니다.

컨텍스트 경계 (Context boundaries)는 아키텍처 결정 사항입니다

기업용 AI 시스템을 검토하며 제가 얻은 교훈 중 하나는, 컨텍스트는 축적되는 것이 아니라 설계되어야 한다는 것입니다.

다음과 같은 질문을 던져보십시오:

• 이 에이전트가 절대 읽어서는 안 되는 문서는 무엇인가?
• 이 지식 소스 (Knowledge source)의 소유자는 누구인가?
• 이 정보는 얼마나 자주 업데이트되는가?
• 어떤 문서가 권위 있는 (Authoritative) 문서인가?
• 두 소스의 내용이 상충할 때 어떤 일이 발생하는가?

이러한 질문들은 아키텍처 논의 단계에서 다뤄져야 합니다.

배포한 이후가 아니라,

배포하기 전에 말입니다.

진정한 최적화 대상

팀들은 종종 모델의 지능 (Model intelligence)을 최적화하려고 합니다.

하지만 저는 그들이 의사결정 신뢰도 (Decision confidence)를 최적화해야 한다고 생각합니다.

신중하게 큐레이션된 지식 베이스를 검색하여 질문의 95%에 올바르게 답하는 모델이, 통제되지 않은 정보 창고 (Information warehouse)를 검색하는 더 큰 모델보다 대개 더 가치 있습니다.

그 이유는 신뢰는 누적되기 때문입니다.

사용자들은 백 개의 정답을 기억하지 않습니다.

그들은 구식 정책을 자신 있게 인용한 단 하나의 답변을 기억합니다.

요점 (Takeaway)

모델을 업그레이드하기 전에, 여러분의 컨텍스트를 점검하십시오.

스스로에게 질문하십시오:

• 중복된 문서가 여전히 검색 가능한가?
• AI가 현재 정책과 보관된 정책을 구분할 수 있는가?
• 모든 지식 소스(knowledge source)가 활발하게 관리되고 있는가?
• 더 작고 집중된 지식 베이스(knowledge base)가 더 나은 답변을 생성할 것인가?

엔터프라이즈 AI (Enterprise AI)는 단순히 더 똑똑한 모델을 구축하는 것만이 아닙니다.

그보다는, 모델이 추론할 수 있도록 더 나은 근거를 제공하는 시스템을 구축하는 것이 훨씬 더 중요합니다.