클라우드 네이티브 ELT 파이프라인의 자동화된 데이터 품질 보증을 위한 다층 테스트 프레임워크

이질적인 데이터 소스, 진화하는 스키마(Schema), 그리고 다중 백엔드 실행 환경으로 인해 클라우드 네이티브 추출-로드-변환 (ELT) 파이프라인에서 데이터 품질을 보장하는 것이 점점 더 어려워지고 있습니다. 본 논문은 오케스트레이션 레벨의 검증, 선언적 dbt 테스트, 대규모 언어 모델 (LLM) 기반의 의미론적 테스트 생성, 그리고 Apache Airflow를 통해 오케스트레이션되는 DuckDB와 Snowflake 간의 교차 스토어 일관성 검사를 통합하는 통합된 다층 테스트 프레임워크를 제시합니다. 제어된 이상치 주입 (Anomaly-injection) 실험 결과, 수동으로만 수행한 베이스라인은 주입된 16개의 이상치 중 7개만을 탐지했습니다. 반면, 수동으로 확장된 비교군과 제안된 LLM 증강 구성은 16개 모두를 탐지하여 베이스라인 대비 탐지율에서 128.57%의 상대적 향상을 보여주었습니다. 마이그레이션 후 교차 스토어 검증을 통해 큐레이션된 세 개의 테이블 모두에서 정확한 일치함을 확인했습니다. LLM이 생성한 25개의 테스트 어설션 (Assertion) 중 9개는 유용함, 4개는 중복됨, 12개는 실행 가능하지만 가치가 낮음으로 분류되었습니다. 전체 워크플로우는 8개의 계측된 파이프라인 단계에 걸쳐 106.58초 동안 실행되었습니다. 이러한 결과는 LLM 기반의 의미론적 테스트 합성이 운영 측면에서 실용성을 유지하면서도 검증 범위를 실질적으로 강화할 수 있음을 입증합니다.