본 제출물은 Kaggle 벤치마킹 챌린지(Kaggle Benchmarking Challenge)를 위한 것입니다.
제가 벤치마킹한 내용
데이터 파이프라인은 명백하게 실패하는 경우가 드뭅니다. 스키마 변경(Schema changes)은 다운스트림 변환(downstream transformations)을 망가뜨릴 수 있고, 중복 이벤트는 지표를 부풀릴 수 있으며, 잘못된 시간대 처리(timezone handling)는 기록을 조용히 잘못된 보고 기간으로 이동시킬 수 있습니다.
저는 대규모 언어 모델(LLMs)이 데이터 엔지니어링 사고를 얼마나 잘 진단하고 안전한 복구 방안을 추천하는지 평가하는 벤치마크인 SchemaShift를 구축했습니다. 이 벤치마크는 다음 여덟 가지 실패 시나리오를 다룹니다:
- 스키마 드리프트 (Schema drift)
- Null 값
- 중복 이벤트
- 조인 폭발 (Join explosions)
- 시간대 이동 (Timezone shifts)
- 안전하지 않은 정리 (Unsafe cleanup)
- 타입 강제 변환 (Type coercion)
- 지연 도착 데이터 (Late-arriving data)
각 사고에 대해 모델은 근본 원인(ROOT CAUSE) 설명과 함께 복구 단계, 검증 체크리스트, 그리고 피해야 할 위험을 포함하는 안전한 수정 방안(SAFE FIX)을 제공해야 합니다. 제가 이 작업을 선택한 이유는 그럴듯한 설명을 생성하는 것이 엔지니어링 문제를 안전하게 해결하는 것과는 다르기 때문입니다. 실제 데이터 시스템에서 제안된 수정 사항은 정확성, 데이터 무결성, 그리고 다운스트림 영향을 고려해야 합니다. 저의 목표는 이러한 실질적인 엔지니어링 시나리오에 대해 LLM을 비교할 수 있는 재현 가능한 출발점을 만드는 것이었습니다.
테스트한 모델들
저는 Kaggle 벤치마크를 사용하여 여섯 개의 모델을 실행했습니다:
9. DeepSeek-R1
10. Claude Haiku 4.5
11. Gemini 3.7 Flash
12. Gemini 2.5 Flash
13. GPT-5.4 mini
14. Qwen3-Coder-480B-A35B-Instruct
이 라인업에는 코드 중심 모델을 포함하여 여러 제공업체와 모델 계열의 모델들이 포함되어 있습니다. 저는 일반적인 모델 순위에 의존하기보다는 일관된 일련의 사고 프롬프트 하에서 그들의 성능을 비교하고 싶었습니다. 여섯 번의 실행 모두 완료되었습니다. 보이는 리더보드 발췌문에는 다섯 개의 수치 점수가 제공되었으며, 누락된 여섯 번째 점수는 추론하지 않았습니다.
발견된 내용은 공개된 Kaggle 페이지에 다음과 같은 결과로 나타났습니다: 모델 점수 DeepSeek-R1 100.00 Claude Haiku 4.5 100.00 Gemini 3.7 Flash 100.00 Gemini 2.5 Flash 93.75 GPT-5.4 mini 93.75 Qwen3-Coder-480B-A35B-Instruct 가시적인 결과에서는 확인되지 않음 세 개의 모델이 100.00을 달성했고, Gemini 2.5 Flash와 GPT-5.4 mini는 93.75를 기록했습니다. 가장 중요한 통찰은 완벽한 벤치마크 점수가 자동으로 완벽한 추론을 의미하지 않는다는 것입니다. SchemaShift는 현재 가벼운 키워드 기반 루브릭을 사용합니다. 여덟 가지 시나리오 각각에 진단(diagnosis)과 해결(remediation)에 대한 두 개의 이진 체크가 있습니다. 이는 총 16개의 체크를 생성합니다.
- 100.00: 모든 16개 키워드 체크가 일치했습니다.
- 93.75: 16개 키워드 체크 중 15개가 일치했습니다. 이는 초기 평가를 재현하기 쉽게 만들지만, 한계점이 있습니다. 정확한 설명은 다른 용어를 사용할 수 있어 체크에 실패할 수 있는 반면, 예상되는 키워드를 포함하는 답변이 문제를 완전히 설명하지 못할 수도 있습니다. 또한 이 벤치마크는 제안된 수정 사항을 실제 데이터 파이프라인에 대해 실행하지도 않습니다. 따라서 이 결과들은 입증된 프로덕션 준비 상태나 일반적인 데이터 엔지니어링 역량이 아닌, 현재 루브릭에 대한 성능을 측정합니다. 저의 다음 단계는 전문가가 검토한 참고 답변을 추가하고, 의미론적 평가를 개선하며, 실행 가능한 파이프라인 테스트를 도입하고, 해결 안전성을 명시적으로 측정하는 것입니다. 또한 올바른 응답이 추측하기보다는 더 많은 증거를 요청하는 것일 수 있는 모호한 사고(ambiguous incidents)도 탐구하고 싶습니다. SchemaShift 구축을 통해 저는 AI 평가에 필수적이라고 생각하는 원칙을 강화했습니다: 벤치마크의 품질은 단순히 점수에 의해서만 결정되는 것이 아니라, 그 점수들이 실제로 무엇을 측정하느냐에 달려 있습니다.
저의 벤치마크 SchemaShift: LLM 데이터 엔지니어링 사고 진단 및 안전한 해결책 평가 이 벤치마크는 작업 설명, 평가 코드 및 결과를 포함하여 Kaggle에 게시되었습니다.
Kaggle에서 SchemaShift를 탐색해 보세요. 데이터 엔지니어와 AI 실무자분들께 질문드립니다: 어떤 실패 시나리오를 추가하시겠으며, AI가 생성한 수정 사항이 실제로 안전하다는 것을 어떻게 검증할 수 있을까요? #kagglechallenge