ContinuousBench: 차분 프라이버시 (DP) 합성 텍스트가 능력을 향상시킬 수 있는가?

차분 프라이버시 (Differentially Private, DP) 텍스트 합성은 모델 학습을 위해 민감한 코퍼스 (Corpora)를 활용할 수 있게 해줄 것으로 기대되지만, DP 합성 데이터가 해당 코퍼스에만 존재하는 진정으로 새로운 지식과 능력을 전달할 수 있는지 여부는 여전히 불분명합니다. 이는 기존의 평가 방식들이 학습 없이도 거의 해결 가능한 태스크 (Tasks)에 의존하고 있기 때문에, 높은 벤치마크 성능이 DP 합성이 원본 데이터 접근을 대체할 수 있음을 입증하지 못하기 때문입니다. 이에 따라, 우리는 DP 합성 텍스트로부터 얻는 능력 향상을 측정하는, 지속적이고 자동적으로 재생성되는 벤치마크인 ContinuousBench를 소개합니다. 매 분기마다 새로운 릴리스는 이전에 본 적 없는 학습 코퍼스와 그로부터 파생된 QA 세트를 쌍으로 제공하며, 이 세트는 다음과 같이 구성됩니다: (1) 코퍼스 없이는 해결 불가능하며; (2) 테스트되는 지식이 수백 개의 독립적인 기록에 의해 뒷받침되므로 DP 하에서 학습 가능합니다. 연구자들은 학습 코퍼스로부터 DP 합성 데이터를 생성하고, 우리의 표준화된 학습 및 평가 하네스 (Harness)를 합성 데이터에 실행하여 향상도를 측정합니다. 우리는 두 가지 트랙을 구현했습니다: 가상의 생물에 관한 절차적 생성 데이터셋인 Geminon, 그리고 새로 크롤링된 공개 뉴스 기사 스트림인 News입니다. 표준 벤치마크들은 거의 포화 상태에 이르렀지만, ContinuousBench에서는 비프라이버시 (Non-private) 합성이 원본 코퍼스로부터 상당한 지식을 전달하는 반면, 최첨단 (State-of-the-art) DP 합성 방법들은 $\varepsilon=100$에서도 일반적으로 이를 수행하지 못한다는 것을 발견했습니다.