피처 스토어 아키텍처: 트레이닝-서빙 격차 해소

머신러닝 팀은 지속적인 문제에 직면합니다. 모델 학습 과정에서 계산된 피처(feature)가 서비스 시점에 생성되는 피처와 일치하지 않아 프로덕션 환경에서 모델이 실패하는 것입니다. 피처 스토어는 ML 피처의 단일 진실 공급원(single source of truth)을 만들어, 트레이닝 파이프라인, 배치 추론(batch inference), 실시간 서비스 전반에 걸쳐 일관성을 보장함으로써 이 문제를 해결합니다. 이 아키텍처 계층 없이는 팀들이 불일치를 디버깅하고 모델에 대한 신뢰를 재구축하는 데 엄청난 시간을 낭비하게 됩니다.

아키텍처 개요

피처 스토어는 원시 데이터 소스(raw data sources)와 트레이닝 및 서비스 시스템 사이에 위치합니다. 이는 함께 작동하는 세 가지 주요 계층으로 구성됩니다. **잉게션 레이어(ingestion layer)**는 데이터베이스, 데이터 레이크, 이벤트 스트림에서 데이터를 가져온 다음, 공유된 변환 로직을 사용하여 피처를 계산합니다. **스토리지 레이어(storage layer)**는 두 가지 중요한 구성 요소를 유지합니다: 트레이닝 데이터셋에 사용되는 과거 피처 스냅샷을 위한 오프라인 스토어(offline store)와 실시간 추론 중 밀리초 지연 시간 검색에 최적화된 온라인 스토어(online store)입니다.

**서빙 레이어(serving layer)**가 마법이 일어나는 곳입니다. 트레이닝 중에는 데이터 과학자들이 오프라인 스토리를 쿼리하여 특정 타임스탬프의 과거 값을 가진 피처 행렬을 구성합니다. 추론 중에는 애플리케이션들이 온라인 스토리를 쿼리하여 주어진 엔티티에 대한 최신 사전 계산된 피처를 가져옵니다. 핵심 통찰은 두 계층 모두 동일한 피처 정의로부터 채워진다는 것이며, 이는 악명 높은 트레이닝-서빙 편향(training-serving skew)을 제거합니다.

이 아키텍처를 지원하는 몇 가지 중요한 구성 요소들이 있습니다. **피처 레지스트리(feature registry)**는 모든 피처를 문서화하는 카탈로그 역할을 합니다. 여기에는 계산 로직, 의존성, 업데이트 빈도 및 소유자가 포함됩니다. **컴퓨트 엔진(compute engine)**은 예약된 간격으로 배치 피처 계산을 처리하며, **스트리밍 파이프라인(streaming pipeline)**은 선택적으로 근 실시간(near real-time)으로 피처를 계산하고 업데이트할 수 있습니다. 마지막으로, **모니터링 레이어(monitoring layer)**는 피처 품질, 오래됨(staleness), 데이터 드리프트(data drift)를 추적하여 문제가 모델 성능에 영향을 미치기 전에 포착합니다.

설계 통찰: 동일한 피처 계산 보장

트레이닝-서빙 일관성(training-serving consistency)의 핵심은 관심사 분리(separation of concerns)와 버전 제어에 있습니다. 피처 변환은 선언적 방식(declarative way)으로 한 번 정의되며, 이후 트레이닝 경로와 서빙 경로 모두에서 참조됩니다. 트레이닝 중에는 시스템이 시점별 정확성(point-in-time correctness)을 가진 과거 피처 값을 검색합니다. 즉, 레이블이 생성된 날짜에 실제로 피처가 어떠했는지를 포착합니다. 서빙의 경우, 동일한 변환 로직이 현재 데이터에 실행되어 예측값을 생성합니다.

이는 피처 스토어가 정의를 버전 제어하기 때문에 가능합니다. 팀이 피처 로직에서 버그를 발견하면 레지스트리에서 수정하고, 이는 즉시 새로운 트레이닝 작업과 추론 요청 모두에 영향을 미칩니다. 일부 성숙한 구현체는 시맨틱 버전 관리(semantic versioning)를 사용한 불변 피처 스키마(immutable feature schemas)를 사용하여, 필요할 경우 팀이 의도적으로 오래된 피처 버전을 가지고 재학습할 수 있도록 합니다. 핵심적인 관행은 피처 정의를 코드로 취급하는 것입니다: 임시 SQL 스크립트가 아닌 적절한 CI/CD 파이프라인을 통해 검토(reviewed), 테스트(tested)하고 배포(deployed)해야 합니다.

전체 설계 프로세스 확인하기

저는 최근 AI를 사용하여 완전한 시스템 설계를 생성하는 실시간 과정을 탐구했습니다. 피처 스토어 구성 요소, 데이터 흐름, 일관성 메커니즘이 어떻게 결합되는지 확인해 보세요:

• LinkedIn
• YouTube
• X (Twitter)
• Facebook
• TikTok
• Threads
• Instagram

이것은 365일 시스템 설계 챌린지의 102일차이며, 피처 스토어(Feature Store)는 많은 ML 조직들이 도달하기를 열망하는 성숙도 수준을 나타냅니다.

직접 시도해 보기 (Try It Yourself)

사용 사례에 맞는 피처 스토어 아키텍처를 설계하고 있나요? InfraSketch로 이동하여 시스템을 일반 영어로 설명하세요. 몇 초 만에 디자인 문서와 함께 전문적인 아키텍처 다이어그램을 얻게 될 것입니다.