D3-Gym: 데이터 주도 발견을 위한 실세계 검증 가능 환경 구축

최근 언어 모델 및 에이전트를 활용한 과학적 데이터 주도(discovery) 연구 분야에서 이루어진 진전에도 불구하고, 실세계 과학적 작업을 반영하는 검증 가능한 환경의 부재로 인해 그 능력을 한층 더 발전시키는 데는 제약이 존재합니다. 이 공백을 메우기 위해, 우리는 과학적 데이터 주도 발견(Data-Driven Discovery) 을 위한 첫 번째 자동 생성된 검증 가능 환경 데이터셋인 D3-Gym 을 소개합니다. D3-Gym 은 (1) 네 가지 학문 분야의 239 개 실세계 과학 저장소(Source) 에서 유래한 565 개의 작업을 포함하며, (2) 각 작업에는 자연어 지시문, 사전 설치된 의존성이 포함된 실행 가능 환경, 입력 데이터셋, 아티팩트 미리보기, 참조 코드 솔루션, 그리고 자동 합성된 평가 스크립트가 탑재되어 있습니다. D3-Gym 내 검증 신호의 품질에 대한 엄격한 평가를 통해, 우리의 평가 스크립트가 인간이 주석 처리한 골드 표준(gold standards) 과 87.5% 의 일치도를 보이며, 해당 분야의 평가 논리에서 강력한 정렬을 이루고 있어 과학적 타당성을 입증했습니다. 또한 D3-Gym 에서 샘플링된 궤적(trjectories) 을 활용한 학습은 ScienceAgentBench 상의 다양한 크기의 Qwen3 모델에 걸쳐 일관되고 상당한 성능 향상을 가져왔습니다. 구체적으로 Qwen3-32B 의 경우 절대 점수 7.8 포인트 향상되었으며, 강력한 독점(proprietary) 모델과의 격차를 크게 줄였습니다. 모든 D3-Gym 아티팩트(환경, 생성 워크플로우, 궤적, 모델) 는 https://github.com/OSU-NLP-Group/D3-Gym 에서 확인할 수 있습니다.