SciCodePile: 도전적인 과학 코드 생성(Scientific Code Generation)을 위한 128GB 코퍼스 및 실행 가능한

요약

과학 코드 생성 능력을 평가하기 위해 구축된 128GB 규모의 대규모 코퍼스인 SciCodePile을 소개합니다. 실행 가능한 벤치마크를 통해 기존 LLM들의 과학 코드 생성 한계를 입증하고, 지속적 사전 학습 및 지시어 튜닝을 통한 성능 향상 효과를 보여줍니다.

핵심 포인트

• 128GB 규모의 대규모 과학 코드 코퍼스 SciCodePile 구축
• 실행 가능한 200개 태스크와 자동 테스트 하네스를 포함한 벤치마크 제공
• 기존 LLM들의 과학 코드 생성 성능이 매우 낮음을 확인
• 지속적 사전 학습 및 지시어 튜닝을 통한 성능의 비약적 향상 입증