작업 교환성(Task Exchangeability)을 통한 합성 데이터의 유효 추론

과학 연구에서 합성 데이터 사용을 주장하는 작업이 급증하고 있습니다. 예를 들어, 사회 과학자들은 파일럿 연구에 LLM으로 생성된 '실리콘 샘플' 사용을 주장하고 있습니다. AI 평가는 점차 'LLM-as-a-judge' 결과에 의존하게 되었으며, 단백질체학(proteomics) 연구는 합성 단백질 구조를 생성하는 생성 모델에 의해 가속화되고 있습니다. 이러한 발전은 흥미로운 가능성을 제기합니다: 합성 데이터가 연구자들이 더 많은 질문을 던지고, 더 많은 연구를 수행하며, 발견을 가속화하는 데 도움을 줄 수 있다는 것입니다. 하지만 동시에 근본적인 우려도 제기합니다: 합성 데이터는 편향되거나(biased), 노이즈가 많거나(noisy), 잘못 명세될(misspecified) 수 있습니다. 본 논문에서는 과학 연구에서 합성 데이터를 사용하는 방법에 대한, 증명 가능한 유효성 보장(provable validity guarantees)을 갖춘 통계적 원칙을 제안합니다. 핵심적인 통찰은 우리가 작업 교환성(task exchangeability)이라고 부르는 새로운 기술적 조건입니다. 비공식적으로 말해, 이는 연구자가 실제 데이터가 사용 가능한 과거의 작업들 중에서, 현재 관심 있는 작업이 적절한 수학적 의미에서 과거의 작업들과 교환 가능해야 한다는 요구사항입니다. 우리는 작업 교환성 하에서의 유효 추론(valid inference)을 위한 방법들을 개발하고, 나아가 교환성을 넘어서도 보장하는 확장 기능들도 함께 제공합니다. 공공 의견 설문조사의 실리콘 샘플과 오토레이터(autoraters)를 사용한 AI 평가에 이 프레임워크를 시연했습니다.