보물찾기 엔진의 참사 - 운영상의 실패에서 얻은 교훈

우리가 실제로 해결하려 했던 문제
이 프로젝트를 시작했을 때, 주요 목표는 방대한 데이터 세트 내에서 가치 있는 정보(nuggets)를 식별할 수 있는 AI 기반 보물찾기 엔진을 만드는 것이었습니다. 우리는 우리의 최첨단 NLP (자연어 처리) 모델과 확장 가능한 아키텍처 (Architecture)가 이를 가능하게 할 것이라고 확신했습니다. 하지만 더 깊이 파고들수록, 진짜 도전 과제는 다른 곳, 즉 데이터의 품질과 관련성(relevance)의 영역에 있다는 것을 깨달았습니다. 우리의 시스템은 진정한 보물찾기라기보다는 '데이터 찾기' 엔진에 가까웠으며, 무관하거나 터무니없는 결과가 발생하는 경우가 빈번했습니다.

우리가 처음 시도했던 것 (그리고 실패한 이유)
우리는 데이터 세트를 분류하고 잠재적인 보물찾기를 식별하기 위해 딥러닝 (Deep Learning) 모델을 구현하는 것으로 시작했습니다. 우리는 모델이 더 크고 복잡한 데이터 소스에 잘 일반화될 것이라고 가정하고 제한된 데이터 세트로 모델을 학습시켰습니다. 그러나 첫 번째 운영(production) 실행 결과, 63%라는 놀라운 오류율이 나타났으며, 모델은 우선순위가 가장 높은 상위 100개 데이터 세트 중 80%를 잘못 분류했습니다. 우리는 당혹스러웠습니다. 우리 모델은 크고 다양한 데이터 세트로 학습되었음에도 불구하고, 왠지 모르게 노이즈(noise)와 무의미한 정보(nonsense)를 좋아하는 법을 배워버린 상태였습니다.

아키텍처 결정
이 참사로부터 회복하기 위해, 우리는 딥러닝 모델을 경량화된 규칙 기반 엔진 (Rules-based engine)과 통합한 하이브리드 아키텍처 (Hybrid architecture)를 채택했습니다. 그런 다음 관련성 있고 구조화된 데이터 소스만이 시스템에 들어올 수 있도록 데이터 큐레이션 파이프라인 (Data curation pipeline)을 구현했습니다. 지금 보면 당연한 일처럼 보일 수도 있지만, 당시에는 우리의 초기 접근 방식에서 완전히 벗어난 급진적인 변화였습니다. 또한 모델이 예측한 결과의 비중을 낮추고 대신 사람이 큐레이션한 메타데이터 (Metadata)에 의존하도록 계층적 순위 시스템 (Tiered ranking system)을 도입했습니다.

수치가 말해주는 것
개정된 시스템은 오류율이 크게 감소하여 오류 결과가 15%로 줄어들었으며, 노이즈와 무의미한 결과는 92% 감소했습니다. 또한 시스템 처리량 (Throughput)은 4배 증가했고, 관련 데이터 수율 (Yield)은 12% 증가하는 것을 관찰했습니다.

더욱 중요한 점은, 모델 오류를 해결하는 데 소비되는 시간이 75% 감소하면서 운영자들의 사용자 경험 (User Experience)이 훨씬 개선되었다고 보고했다는 것입니다. 여전히 문제점들은 남아 있었지만, 이러한 수치들은 우리의 새로운 접근 방식이 올바른 방향으로 가고 있다는 확신을 주었습니다.

다르게 행동했을 점들
만약 제가 이 프로젝트를 다시 수행한다면, 처음부터 데이터의 관련성 (Relevance)과 품질 (Quality)에 집중했을 것입니다. 데이터 큐레이션 (Data Curation)에 더 많은 리소스를 할당하고, 더 강력한 데이터 검증 파이프라인 (Data Validation Pipeline)을 구축했을 것입니다. 또한 모델 검증 및 피드백을 위해 더 많은 인간 참여형 (Human-in-the-loop) 접근 방식에 투자했을 것입니다. 우리의 초기 모델 주도형 (Model-driven) 접근 방식은 대담했을지는 모르나, 비용이 많이 드는 실수였습니다. 우리의 사각지대를 인정하고 더 미묘한 차이를 고려한 접근 방식으로 전환함으로써, 우리는 프로젝트의 남은 부분을 구제하고 실제로 유용한 무언가를 구축할 수 있었습니다.

저는 이것을 제가 AI 툴링 (AI Tooling)을 평가하는 방식과 동일하게 평가합니다: 무엇이 실패하는가, 얼마나 자주 발생하는가, 그리고 실패했을 때 어떤 일이 일어나는가. 이번 사례는 통과입니다: https://payhip.com/ref/dev3