Carbon: 생명의 언어를 해독하다

요약

Hugging Face가 DNA 시퀀스 분석을 위한 새로운 오픈 DNA 파운데이션 모델 제품군인 Carbon을 출시했습니다. Carbon-3B 모델은 기존 SOTA 모델과 대등한 성능을 유지하면서도 속도는 275배 더 빠르며, DNA의 특성을 고려한 맞춤형 토크나이저와 학습 손실 함수를 적용했습니다.

핵심 포인트

• Carbon-3B는 기존 SOTA 모델인 Evo2-7B와 대등한 성능을 내면서도 275배 빠른 속도를 제공함
• 6-mer 토큰 방식을 도입하여 시퀀스 길이를 6배 단축하고 어텐션 비용을 절감함
• 학습 안정성을 위해 교차 엔트로피 대신 유연한 인수분해 손실(factorized loss, FNS)을 사용함
• 기능적 DNA와 mRNA 혼합물을 활용한 단계별 데이터 큐레이션 전략을 채택함