클라우드 네이티브 ELT 파이프라인의 자동화된 데이터 품질 보증을 위한 다층 테스트 프레임워크

요약

클라우드 네이티브 ELT 파이프라인의 데이터 품질을 보장하기 위해 오케스트레이션, dbt, LLM 기반 의미론적 테스트, 교차 스토어 검증을 통합한 다층 테스트 프레임워크를 제안합니다. 실험 결과, LLM 증강 구성을 통해 기존 수동 방식 대비 이상치 탐지율을 128.57% 향상시켰으며, DuckDB와 Snowflake 간의 데이터 일관성을 성공적으로 검증했습니다.

핵심 포인트

• 오케스트레이션, dbt, LLM, 교차 스토어 검증을 결합한 통합 테스트 프레임워크 구축
• LLM을 활용한 의미론적 테스트 생성으로 데이터 검증 범위의 실질적 강화
• 수동 방식 대비 이상치 탐지율 128.57% 향상 및 16개 이상치 전량 탐지
• DuckDB와 Snowflake 간의 데이터 마이그레이션 및 일관성 검증 성공
• LLM 생성 테스트의 유용성 및 실행 가능성에 대한 정량적 분석 수행