동적 정책 경사 (Dynamic Policy Gradients)를 통한 이산 잠재 구조의 생성 모델링

많은 과학적 문제들은 간접적인 관측으로부터 관찰되지 않은 메커니즘적 잠재 상태 (mechanistic latent states)를 추론할 것을 요구합니다. 기대값 최대화 (expectation maximization)를 포함한 고전적인 접근 방식들은 조합론적으로 거대한 공간으로 확장되지 못하는 반면, 변분 오토인코더 (variational autoencoders)와 같은 딥러닝 접근 방식들은 메커니즘적 실제 상태 (mechanistic ground-truth states)를 재구성하기보다는 인위적인 잠재 상태를 형성하는 경향이 있습니다. 본 논문에서는 관측된 데이터의 우도 (likelihood)를 최대화하는 잠재 상태 분포를 학습하기 위해 동적으로 재조정된 보상 (dynamically rescaled rewards)을 사용하는 정책 학습 프레임워크인 GReinSS를 소개합니다. 우리는 GReinSS가 시뮬레이션된 잠재 집합 (latent sets)과 잠재 그래프 (latent graphs)를 정확하게 재구성하며, 다른 정책 학습 및 생성 모델링 베이스라인 (baselines)보다 뛰어난 성능을 보임을 입증합니다. 또한, GReinSS는 실제 숏리드 (short-read) RNA 시퀀싱 데이터로부터 아이소폼 (isoforms)을 재구성하며, 이는 표준 RSEM 알고리즘보다 직교 롱리드 (orthogonal long-read) 시퀀싱에 의해 탐지된 아이소폼과 더 잘 일치합니다. 종합적으로, GReinSS는 간접적인 관측으로부터 조합론적 잠재 상태 (combinatorial latent states)를 생성 모델링하고 추론하기 위한 원칙적이고 실용적으로 효과적인 접근 방식입니다.