Meta 인턴십 연구 결과, IdeaScientist 공개

Meta에서 인턴으로 근무하며 진행한 저희의 연구인 IdeaScientist를 공유하게 되어 기쁩니다! 🚀

AI 에이전트가 새롭고 근거 있는 과학적 아이디어를 생성하는 것을 배울 수 있을까요?
저희는 전문화된 에이전트들이 연구 격차를 식별하고, 여러 과학 분야에 걸쳐 유용한 연결 고리를 발견하며, 이를 구체적인 연구 제안으로 전환하도록 훈련시키는 프레임워크인 IdeaScientist를 소개합니다.

🔍 주요 결과:
• 오픈 오토리서치(autoresearch) 기준선 대비 전반적인 성능 +14% 향상
• 참신성(novelty)에서 25% 개선을 보여, 명시적 훈련이 과학적 아이디어 구상 능력을 향상시킬 수 있음을 입증했습니다.
• 블라인드 평가에서 여섯 가지 오픈 기준선 대비 인간 선호도 승률 75–92%
• 도메인 간 검색(Cross-domain retrieval)은 연구 분야 간의 아이디어 전이를 크게 개선합니다.

또한, 과학적 아이디어 구상 훈련 및 평가를 위한 2.77M개의 분해된 연구 아이디어를 모아놓은 Svalbard Idea Vault도 소개합니다.

📄 논문: https://t.co/OCFIyCKe4k