• 생성형 AI가 신뢰할 수 있는 데이터로 작동하지 않으면 분석 결과도 신뢰하기 어려워지면서, 데이터 관리는 기술 지원 업무에서
  전략적 핵심 기능으로 격상됨
• 초기 애플리케이션 개발자가 데이터 구조까지 맡던 단계에서 데이터베이스 설계자/관리자, CIO, CDO로 역할이 분화됐으며, 데이터 무결성과 기업 전체의 일관된 이해가 주요 과제가 됨
• 정형 데이터에서는 데이터 모델과 데이터베이스를 직접 수정하지만, 생성형 AI 환경에서는 LLM에 들어가는 텍스트를 선별하고 정제하는 방식으로
  간접 통제함
• 비정형 텍스트에는 전통적인 데이터 모델 대신
  온톨로지/분류체계가 필요하며, 이를 기업 논리 데이터 모델(ELDM)과 결합하고 지속적으로 갱신해야 함
• 데이터가 여러 시스템/PC/인터넷에 분산되면서 물리적 중앙집중은 불가능해졌고, 기업 차원의 의미를 ELDM으로 통합하는
  의미론적 중앙집중이 중요해짐

애플리케이션 개발 업무에서 시작된 데이터 관리

• 초기 컴퓨터 시스템에서는 애플리케이션 개발자가 요구사항 수집, 방법론 준수, 프로그래밍, 테스트와 함께 시스템이 사용할 데이터와 그 구조도 정의함
• 데이터 설계는 독립적인 기업 기능이 아니라 개발 과정에 포함된 여러 작업 중 하나였음

트랜잭션 처리와 데이터베이스 전문 역할의 등장

• 트랜잭션 처리 시스템이 확산되면서 응답 시간, 시스템 가용성, 트랜잭션 실행 무결성을 데이터베이스 설계에 반영해야 했음
• 이러한 요구를 전문적으로 다루는
  데이터베이스 설계자가 등장하면서 데이터 관리가 독립된 업무로 인식되기 시작함
• 트랜잭션 처리 데이터베이스가 급증하자 여러 데이터베이스를 통제하고 조정하는
  데이터베이스 관리자가 필요해짐

데이터 무결성 문제와 데이터 웨어하우스

• 서로 연결된 수많은 애플리케이션에 동일한 데이터 요소가 반복 저장되면서, 위치마다 서로 다른 값을 갖는 문제가 발생함
• 기업의 문제는 데이터를 보유하는 것에서 어떤 데이터를 믿어야 하는지를 판단하는 것으로 바뀜
• 애플리케이션과 기술을 추가하는 것만으로는 무결성 문제가 해결되지 않았으며, 오히려 문제를 확대하고 가속함
• 기술적 수정이 아니라 운영 데이터와 분석 데이터를 분리하는
  아키텍처적 해결책이 필요해졌고, 그 결과 데이터 웨어하우스가 등장함

데이터 모델과 정형 데이터 환경

• 운영 데이터를 분석 데이터와 데이터 웨어하우스로 변환하려면 현재 존재하거나 앞으로 필요할 데이터 유형을 추상화한
  데이터 모델이 필요함
• 운영 시스템과 데이터 웨어하우스는 각 레코드의 형식은 같고 내용만 달라지는 정형 데이터 환경으로 구성됨
• 애플리케이션, 데이터베이스, 트랜잭션 처리 데이터베이스의 정형 데이터는 데이터베이스 관리 시스템(DBMS)으로 관리됨
• 트랜잭션 시스템의 장애가 ATM, 항공 예약 시스템과 같은 실제 업무와 고객에게 직접 영향을 주면서 정확하고 안정적인 시스템과 데이터 관리의 가치가 높아짐

정형 데이터 관리자의 업무

• 데이터 모델을 구축한 뒤 경제 상황, 경쟁, 기술, 법률, 시장 변화에 맞춰 지속적으로 유지하고 수정함

• 데이터베이스 설계에서는 정규화 원칙을 따르되, 트랜잭션 처리 성능을 위해 필요한 수준의 비정규화를 적용함

• 데이터 관리자는
  정규화와 비정규화 사이에서 시스템의 목표와 성능 요구를 조정함

• 데이터 모델을 기반으로 데이터베이스를 정의하는 DDL을 작성함

• 트랜잭션 처리 장비가 언제 용량 한계에 도달할지를 예측하는 용량 계획을 수행함

• 데이터베이스 활동과 데이터 증가량을 지속적으로 감시함

• 문제가 발견되면 해당 데이터 모델이나 데이터베이스에 직접 접근해 수정하는
  직접 통제 방식을 사용함

비정형/텍스트 데이터의 확대

• 기업에는 정형 데이터뿐 아니라 광범위한 비정형/텍스트 데이터가 존재하며, 기업 데이터의 최대 90%가 텍스트라는 추정도 있음
• 중요한 기업 정보 상당수가 텍스트 형태로 존재하므로 데이터 관리 조직이 이를 함께 관리해야 함
• 정형 데이터와 텍스트 데이터는 구조와 관리 방법이 근본적으로 다름

텍스트 환경의 온톨로지와 분류체계

• 텍스트 환경에는 전통적인 정형 데이터 모델을 그대로 적용하기 어려움
• 정형 데이터에서 데이터 모델이 맡는 역할을 텍스트 환경에서는
  온톨로지/분류체계(ontology/taxonomy) 가 수행함
• 두 모델은 대응되는 역할을 하지만 구조와 관리 기법은 크게 다름
• 정형 데이터 모델링과 관리 기술을 텍스트에 그대로 적용하는 것은 적합하지 않으며, 실질적인 성과도 거의 내지 못함

LLM 입력 텍스트의 선별과 정제

• 생성형 AI 환경에서 가장 중요한 데이터 관리 업무는 원문 텍스트가 LLM에 들어가기 전에 검토하는 것임
• 기업 업무와 관련 없는 불필요한 텍스트가 LLM에 유입되지 않도록 제거해야 함
• 불필요한 텍스트를 제거하면 쿼리를 실행할 때마다 처리해야 할 데이터가 줄어
  비용을 절감할 수 있음
• 업무 관련 텍스트만 남기면 LLM이 무엇을 표현하고 다루는지 범위가 명확해짐

ELDM과 정형/비정형 데이터의 연결

• 생성형 AI 환경의 데이터 관리자는 온톨로지/분류체계를 기업 전체의
  ELDM(Enterprise Logical Data Model) 과 결합해야 함
• ELDM은 전통적인 정형 데이터 모델과 텍스트 환경의 온톨로지/분류체계를 통합하는 데 사용됨
• 기업의 업무 요구가 바뀌면 온톨로지/분류체계도 함께 갱신해야 함

외부 텍스트 수집과 지속적인 유지보수

• 인터넷과 같은 출처에서 넓은 범위의 원문 텍스트를 먼저 선택해야 함
• 이후 선택된 텍스트에서 기업 업무와 관련된 데이터를 다시 추리는 2단계 선별 과정이 이어짐
• 업무 환경과 세계 상황이 계속 변하므로 온톨로지/분류체계를 지속적으로 감시하고 관리해야 함
• 변화한 조건과 분류체계가 서로 일치하도록 반복적인 유지보수가 필요함

LLM에 대한 간접 통제

• 정형 데이터 관리자는 데이터 모델과 데이터베이스를 직접 변경할 수 있지만, 생성형 AI 환경에서는 LLM 자체를 같은 방식으로 직접 통제하지 못함
• 생성형 AI의 결과를 통제하는 수단은 LLM에
  어떤 텍스트를 입력할지 관리하는 것임
• 따라서 생성형 AI 데이터 관리는 직접 수정이 아니라 입력 데이터의 선택과 정제를 통한 간접 통제에 가까움

기업 조직에서 데이터 관리 역할의 변화

• 초기에는 데이터 관리가 시스템 개발자가 수행하는 여러 작업 중 하나였으며 별도의 기업 조직이나 직무가 없었음
• 트랜잭션 처리가 중요해지면서 데이터베이스 설계가 독립적인 업무로 분리되고 데이터베이스 설계자 역할이 생김
• 데이터베이스가 급증하고 관리할 데이터 요소가 늘어나면서 데이터베이스 관리자 역할이 확대됨
• 여러 시스템의 데이터가 일치하지 않는 문제가 커지면서 기업 차원의 정보 통합을 담당하는
  CIO(Chief Information Officer) 가 등장함
• 정형 데이터와 텍스트 데이터를 통합해 기업 데이터를 전체적으로 이해할 필요가 생기면서
  CDO(Chief Data Officer) 역할로 발전함
• 데이터 형태가 다양해질수록 관리의 복잡성과 중요성, 활용 기회와 과제가 함께 증가함

물리적 중앙집중에서 의미론적 중앙집중으로

• 기업 전체에서 데이터와 그 의미를 일관되게 이해하려면 중앙화된 데이터 이해 체계가 필요함
• 초기 컴퓨팅에서 중앙집중은 데이터베이스를 대형 메인프레임에 모으는
  물리적 중앙집중을 뜻했음
• 이후 데이터가 개인용 컴퓨터, 인터넷, 기업 시스템 등 여러 위치로 분산되면서 물리적 중앙집중은 불가능해짐
• 데이터가 분산될수록 인터넷과 기업 내부에서 같은 대상을 같은 의미로 이해하도록 조정할 필요는 더 커짐
• 중앙집중의 대상은 데이터가 저장된 위치에서 데이터의
  의미와 정의로 이동함
• ELDM은 데이터가 여러 물리적 위치에 존재하더라도 기업 차원의 공통 데이터 의미를 중앙에서 유지하는 수단으로 사용됨

댓글과 토론