비정형 데이터 질의를 위한 효율적이고 정확한 시스템

초록: (요약)

최근 몇 년 동안 기계 학습(ML)을 통해 이러한 비정형 데이터에 대한 자동 분석이 가능해졌습니다. 분석가들은 ML을 사용하여 영상에서 객체 유형이나 위치와 같은 구조화된 정보를 추출할 수 있습니다. 이렇게 얻은 구조화된 정보는 이후 다운스트림 분석에 사용될 수 있습니다. 예를 들어, 도시 계획가는 교차로를 지나간 차량의 수를 셀 수 있습니다.

하지만 이러한 분석에 ML을 사용하는 것은 어렵습니다. 많은 조직에게 ML 배포는 엄청나게 비쌉니다. 작은 마을의 1년치 영상을 단순하게 분석하는 데 클라우드 컴퓨팅 크레딧으로 수백만 달러가 들 수 있습니다. 또한, ML 방법은 신뢰성이 떨어져 잘못된 결과를 반환할 수 있으며, 이는 다운스트림 오류로 이어질 수 있습니다. 마지막으로, 분석을 위해 ML을 배포하려면 딥러닝(deep learning), 데이터 시스템, 프로그래밍 및 기타 기술적 지식이 필요합니다.

이러한 어려움을 감안하여 두 가지 관찰을 합니다. 첫째, 많은 애플리케이션은 정확성에 대한 보장이 있다면 근사치를 허용할 수 있으며, 둘째, 비정형 데이터 질의에 답하는 방법은 비용 면에서 최대 10자릿지 차이가 납니다. 본 논문에서는 이 두 가지 관찰을 활용하여 효율적이고 신뢰할 수 있는 비정형 데이터 분석 시스템과 알고리즘을 개발합니다. 정확한 답변을 반환하는 대신, 값비싼 ML 방법에 대한 저렴한 근사치를 통해 생성된 근사 답변을 반환합니다.

저희 시스템은 선택(selection), 집계(aggregation), 제한(limit) 질의를 포함하여 광범위한 유형의 질의에 대해 통계적으로 유효한 답변을 반환할 수 있습니다. 더욱이, 저희 시스템은 질의에 답하는 표준 방법보다 최대 몇 자릿지 더 저렴합니다.

댓글