안녕하세요, Hugging Face의 loubna입니다. 저희의 최신 출시작인 오픈 DNA 파운데이션 모델 (foundation models) 제품군, Carbon 🧬을 공유하게 되어 매우 기쁩니다. Carbon-3B는 현재의 SOTA (Evo2-7B)와 대등한 성능을 보이면서도 275배 더 빠릅니다.

저희는 현대적인 LLM (Large Language Models)의 학습 방식과 저희의 SmolLM 연구에서 많은 것을 빌려왔지만, DNA는 언어가 아닙니다. 게놈 (Genomes)은 노이즈가 많고, 중복적이며, 의사소통보다는 진화에 의해 형성되었습니다. 그래서 저희는 레시피를 조정했습니다:

토크나이저 (Tokenizer). 대부분의 게놈 모델은 뉴클레오타이드 (nucleotide) 수준에서 토큰화하며, 이는 시퀀스 길이를 폭발적으로 늘립니다. BPE (Byte Pair Encoding)가 LLM 스타일의 명백한 해결책이지만, DNA에서는 제대로 작동하지 않습니다. 저희는 결정론적인 6-mer 토큰 (1개 토큰 = 6개 뉴클레오타이드)을 사용합니다. 이를 통해 시퀀스 길이를 6배 단축하고 어텐션 (attention) 비용을 절감했습니다.

학습 손실 (Training loss). 6-mer 토큰을 사용할 경우, 교차 엔트로피 (cross-entropy)는 6개의 뉴클레오타이드 중 5개를 맞춘 예측과 완전히 틀린 예측을 동일하게 처리합니다. 이는 학습 후반부에 모델을 취약하게 만들고 손실 스파이크 (loss spikes)를 발생시킵니다. 저희는 학습 중간에 더 유연한 인수분해 손실 (factorized loss, FNS)로 전환했습니다.

데이터 (Data). 게놈은 대부분 희소하고 반복적인 배경 데이터입니다. 저희는 어블레이션 (ablation) 연구를 통해 선정된 비율에 따라, 단계별 기능적 DNA + mRNA 혼합물로 데이터를 큐레이션했습니다. 웹 코퍼스 (web corpus)를 섞는 것과 비슷하지만, 생물학을 대상으로 한 것입니다.

• 기술 보고서 (Technical report): https://github.com/huggingface/carbon/blob/main/tech-report.pdf
• 데모 (ML 동료들을 위한 생물학 입문 포함): https://huggingface.co/spaces/HuggingFaceBio/carbon-demo

댓글로 질문해 주시면 기쁘게 답변해 드리겠습니다 🤗