확률적 프로그램(Probabilistic Programs)을 사용한 구조화된 데이터셋의 특성화: 확률적 요약(Stochastic

내 데이터는 어떤 모습일까요? 우리는 데이터셋의 구조적 속성과 통계적 속성 모두를 고려하는 요약을 표현하고 학습하는 문제를 연구합니다. 이 문제는 대규모 데이터셋과 데이터 분석/모델링을 포함하는 많은 응용 도메인에서 광범위하게 유용하며, 특히 프로그래밍 언어(Programming Languages) 분야에 큰 관심을 받고 있습니다. 특히 본 논문에서는 귀납적 자료형(inductive datatypes)으로 구성된 트리 형태의 데이터에 대한 이러한 '확률적 요약(stochastic summaries)'을 학습하는 문제에 초점을 맞추고, 귀납적 자료형 위의 확률적 프로그램이 원하는 요약을 효과적으로 표현할 수 있다고 주장합니다. 우리는 귀납적 자료형 위의 확률적 프로그래밍 언어인 Tali를 제시하고, 데이터 샘플로부터 이러한 프로그램을 학습하는 문제를 연구합니다. 우리는 관측 기반 컴파일 가능성(Observation-Bounded Compilability)이라고 불리는 의미론적 속성을 식별했는데, 이는 정확한 추론(exact inference)을 허용하며 많은 유용하고 복잡한 확률적 구조를 표현할 수 있는 재귀적 확률적 프로그램들의 집합을 정의합니다. 그런 다음 우리는 프로그램 합성(program synthesis, stochastic search)과 최대 우도 추정(maximum likelihood inference)의 조합을 사용하여 관측으로부터 OBC 속성을 만족하는 Tali 프로그램을 학습하기 위한 알고리즘을 제안합니다. 우리는 학습 프레임워크를 구현하고 다양한 벤치마크 스위트에서 평가하며 접근 방식의 장점에 대한 관찰 결과를 기록했습니다. 우리는 다운스트림 학습 작업에 대한 기호적으로 표현된 사전 확률(symbolically-represented priors)로서 확률적 요약을 학습하는 유용성을 입증합니다. 또한 우리의 기술을 사용하여 실제 데이터셋의 운영 프로파일(operational profiles)을 학습함으로써 또 다른 유용성을 보여줍니다.