엔터프라이즈 AI가 기업의 지식 관리 방식을 변화시키는 방법

직원이 회사 정책에 대한 답변이 필요합니다.

정보는 존재합니다. 2년 전에 업로드된 PDF 파일 안에 있을 수도 있고, HR 포털 어딘가에 있을 수 있습니다. 또 다른 버전은 공유 드라이브에 놓여 있을 수 있으며, 관련 프로세스는 내부 지식 기반(knowledge base)에 문서화되어 있을 수 있습니다.

문제는 조직이 정보가 부족해서가 아닙니다. 문제는 적시에 올바른 정보를 찾는 것입니다.

이것은 엔터프라이즈 AI가 기업들이 지식 관리에 대해 생각하는 방식을 변화시키고 있는 영역 중 하나입니다. 조직들은 직원들에게 저장소, 폴더, 인트라넷(intranet), 데이터베이스를 검색하도록 요구하는 대신, AI를 사용하여 내부 지식을 더 쉽게 발견하고, 이해하고, 적용할 수 있게 할 수 있습니다.

하지만 이것을 신뢰성 있게 작동하게 하려면 단순히 챗봇을 문서 모음집에 연결하는 것 이상의 것이 필요합니다.

엔터프라이즈 지식이 사용하기 어려운 이유

대규모 조직은 수년에 걸쳐 정보를 축적합니다.

제품 문서, 운영 절차(operating procedures), 계약서, 고객 기록, 기술 가이드, 직원 정책, 회의록, 연구 자료, 프로젝트 문서는 모두 서로 다른 시스템에 존재할 수 있습니다.

또한 정보는 서로 다른 소유자나 접근 규칙을 가질 수도 있습니다.

이것은 익숙한 문제입니다. 직원들은 답변이 어딘가에 있을 것이라는 것을 알지만, 그것을 찾는 데 작업 자체를 하는 것보다 더 오랜 시간이 걸릴 수 있습니다.

전통적인 엔터프라이즈 검색(enterprise search)은 문서를 찾는 데 도움을 줄 수 있지만, 문서를 찾는 것이 반드시 답변을 찾는 것과 같지는 않습니다.

직원은 여러 문서를 열고, 어떤 버전이 최신인지 판단하고, 관련 섹션을 읽어보고, 자신의 질문의 맥락에서 정보를 해석해야 할 수도 있습니다. AI는 이러한 상호작용을 변화시킬 수 있습니다.

문서 검색에서 답변 찾기로

생성형 AI(Generative AI)는 직원들이 엔터프라이즈 지식과 대화적으로 상호작용할 수 있게 합니다.

특정 문서를 검색하는 대신, 직원은 다음과 같이 질문할 수 있습니다:

3일 이상 해결되지 않은 고객 문제에 대한 에스컬레이션(escalating) 프로세스는 무엇인가요?

시스템은 관련 정보를 검색하고, 이를 요약하며, 조직 자체의 지식을 기반으로 답변을 제시할 수 있습니다.

이러한 접근 방식은 종종 검색 증강 생성(Retrieval-Augmented Generation, RAG)과 연관됩니다.

RAG 시스템은 모델의 학습 데이터에 포함된 정보에만 의존하는 것이 아니라, 관련 기업 정보를 검색하여 답변을 생성할 때 해당 컨텍스트를 사용합니다. 이 차이점은 중요합니다.

목표는 단순히 AI 모델을 더 지식 있게 만드는 것이 아닙니다. 조직 및 현재 운영과 관련된 정보와 모델을 연결하는 것입니다.

기업의 지식에는 컨텍스트가 필요하다

문서 자체만으로는 항상 충분한 컨텍스트를 제공하지 못합니다.

다른 지역, 직원 그룹, 제품 또는 고객 세그먼트에 대해 서로 다른 정책을 가진 회사를 생각해 보세요.

유용한 AI 시스템은 어떤 정보가 질문에 적용되는지 이해해야 합니다.

이는 기업 AI 지식 시스템이 다음과 같은 요인들을 고려해야 함을 의미합니다:

• 누가 질문하는지
• 그들이 접근 권한을 가진 정보는 무엇인지
• 어느 부서 또는 사업 단위에 속해 있는지
• 문서의 어떤 버전이 최신인지
• 질문이 어떤 지역이나 시장과 관련된지
• 서로 다른 정보 조각들이 어떻게 관련되는지

이것이 바로 기업 지식 관리가 AI 도전 과제만큼이나 데이터 및 아키텍처 도전 과제가 되고 있는 이유입니다.

기업 정보를 최신 상태로 유지하기

기업 지식 시스템의 위험 요소 중 하나는 오래된 정보(stale information)입니다.

정책이 변경되었을 수 있습니다. 제품 사양이 업데이트되었을 수 있습니다. 프로세스가 한 애플리케이션에서 다른 애플리케이션으로 이동했을 수도 있습니다.

만약 AI 시스템이 구식 정보를 검색한다면, 설득력 있게 들리지만 더 이상 정확하지 않은 답변을 생성할 수 있습니다.

최신 기업 RAG 아키텍처는 단순히 정적인 문서 컬렉션에 의존하기보다, 기반 정보가 변경됨에 따라 지식을 동기화하는 방식으로 설계되고 있습니다. 이로 인해 데이터 파이프라인이 중요해졌습니다.

조직은 변경 사항을 식별하고, 필요한 경우 인덱스나 임베딩을 업데이트하며, 메타데이터를 보존하고, AI 시스템이 최신 승인된 정보를 검색할 수 있도록 하는 메커니즘이 필요합니다.

보안은 사후 고려사항일 수 없다 (Security Cannot Be an Afterthought)

기업 지식은 공개적인 지식이 아닙니다.

직원은 다른 직원이 절대 볼 수 없는 정보에 접근할 수 있을 수 있습니다. 재무팀은 민감한 금융 문서로 작업하고, 인사(HR) 부서는 기밀 직원 정보를 처리합니다.

따라서 AI 지식 시스템은 근본적인 정보가 가진 것과 동일한 접근 경계를 존중해야 합니다.

직원이 문서에 직접 접근할 수 없다면, AI 시스템이 그 문서를 검색할 수 있다는 이유만으로 그 내용을 제공해서는 안 됩니다.

그러므로 권한 인식 검색(Permission-aware retrieval)은 엔터프라이즈 AI 아키텍처의 중요한 부분입니다.

AI 계층은 별도의 더 취약한 경로를 만들어 기업 정보에 접근하기보다는, 기존의 신원(identity), 접근(access), 보안(security) 제어와 연동하여 작동해야 합니다.

시스템 전반의 지식 연결 (Connecting Knowledge Across Systems)

또 다른 과제는 기업 지식이 한 곳에 존재하지 않는 경우가 많다는 것입니다. 조직은 다음과 같은 여러 곳에 정보를 분산하고 있을 수 있습니다:

• 문서 관리 플랫폼(Document management platforms)
• CRM 시스템(Customer Relationship Management systems)
• ERP 애플리케이션(Enterprise Resource Planning applications)
• 내부 위키(Internal wikis)
• 클라우드 스토리지(Cloud storage)
• 데이터 웨어하우스(Data warehouses)
• 고객 지원 시스템(Customer support systems)
• 프로젝트 관리 도구(Project management tools)
• 협업 플랫폼(Collaboration platforms)

유용한 지식 계층을 구축한다는 것은 이러한 소스들을 연결하는 동시에 그 맥락과 권한을 보존하는 것을 의미합니다.

예를 들어, IBM은 서로 다른 문서 소스와 파일 형식에 걸쳐 정보를 연결하여 접지된 AI(grounded AI) 사용 사례를 지원하는 엔터프라이즈 AI 지식 애플리케이션을 설명합니다.

목표는 반드시 모든 것을 하나의 저장소로 옮기는 것이 아닙니다. 기존의 지식을 통제되고 유용한 방식으로 AI가 접근할 수 있도록 만드는 것입니다.

지식 검색에서 행동으로 (From Knowledge Retrieval to Action)

엔터프라이즈 AI가 적절한 정보를 검색할 수 있게 되면, 조직은 질문과 답변을 넘어 생각하기 시작할 수 있습니다.

직원 한 명이 구매 정책에 대해 질문하면서 동시에 구매 요청을 시작해야 할 수도 있습니다.

고객 지원 담당자는 제품 정보를 검색한 다음 서비스 티켓을 업데이트해야 할 수도 있습니다.

개발자는 내부 API에 대해 문의하고 나중에 변경 요청을 생성할 수도 있습니다.

바로 이 지점에서 지식 시스템이 워크플로우와 연결되기 시작합니다.

AI는 단순히 무엇이 되어야 하는지 설명하는 데 그치지 않습니다. 직원들이 다음 단계를 밟도록 잠재적으로 도울 수 있습니다. 따라서 근간이 되는 지식의 품질, 권한, 거버넌스가 훨씬 더 중요해집니다.

AI 기반 지식의 가치 측정하기

기업 지식 시스템의 성공은 단순히 직원들이 얼마나 많은 질문을 하는지로만 측정되어서는 안 됩니다.

더 유용한 측정 항목에는 다음이 포함될 수 있습니다:

• 정보를 찾는 데 걸리는 시간
• 내부 문의를 해결하는 데 필요한 시간
• 지원팀에 제출되는 반복적인 질문
• 직원 검색 포기율(search abandonment)
• 검색된 정보의 정확성
• 부서 전반의 도입률(Adoption)
• 수동 지식 공유 작업 감소 정도
• 신규 직원을 온보딩하는 데 필요한 시간

이러한 측정 항목들은 AI 역량을 실제 비즈니스 성과와 연결합니다.

직원들이 20분이 아닌 2분 만에 신뢰할 수 있는 정보를 찾을 수 있다면, 그 가치는 훨씬 더 쉽게 입증될 수 있습니다.

강력한 기업 지식 기반 구축하기

엔터프라이즈 AI는 조직의 지식을 사용하기 훨씬 쉽게 만들 수 있지만, 경험의 품질은 인터페이스 뒤에 무엇이 자리 잡고 있는지에 달려 있습니다.

데이터는 구조화되고 접근 가능해야 합니다. 정보는 최신 상태를 유지해야 합니다. 권한(Permissions)은 보존되어야 합니다. 검색은 정확해야 합니다. AI가 생성한 응답은 신뢰할 수 있는 기업 소스에 기반을 두고 있어야 합니다.

이것이 바로 enterprise AI services가 조직이 AI를 기업 데이터, 검색 인프라, 애플리케이션 및 거버넌스 요구 사항과 연결하는 지식 시스템을 설계하고 구현하는 데 도움을 줄 수 있는 부분입니다.

더 큰 기회는 단순히 더 스마트한 검색 상자를 만드는 것이 아닙니다.

이미 조직 내에 존재하는 정보를 직원들이 필요할 때 실제로 사용할 수 있는 무언가로 바꾸는 것입니다.

엔터프라이즈 AI가 성숙해짐에 따라, 지식 관리는 더 이상 많은 정보를 저장하는 것에 관한 것이 아니라, 올바른 정보가 이용 가능하고(available), 이해하기 쉬우며(understandable), 실행 가능한(actionable) 상태로 제공되는 것에 관한 것이 될 것입니다.