GENEB: 유전체 모델(Genomic Models)을 비교하기 어려운 이유

요약

ICML에서 발표된 GENEB 연구는 40개의 DNA 파운데이션 모델을 100개의 태스크로 통합 벤치마크한 결과입니다. 종합 리더보드의 오해 소지와 모델 크기와 성능 간의 비상관 관계를 밝혀냈습니다.

핵심 포인트

• 40개 DNA 파운데이션 모델 통합 벤치마크 수행
• 종합 리더보드 순위가 오해를 불러일으킬 수 있음
• 퓨샷(few-shot) 순위와 전체 데이터 사용 시 순위가 상이함
• 모델의 크기가 성능 향상을 항상 보장하지 않음