25종에 걸쳐 mRNA 언어 모델 학습을 $165로 수행
요약
본 글은 구조 예측, 서열 설계, 코돈 최적화까지 아우르는 엔드투엔드(end-to-end) 단백질 AI 파이프라인을 소개합니다. 특히 25개 종에 걸쳐 mRNA 언어 모델을 구축하는 과정을 다루며, 최고 성능의 트랜스포머 아키텍처로 CodonRoBERTa-large-v2를 채택했습니다. 이 시스템은 55 GPU시간이라는 적은 자원으로 4개의 프로덕션 모델을 학습시키고, 다른 오픈소스 프로젝트에서는 찾아볼 수 없는 종(species)-조건부 시스템을 완성했다는 점이 핵심 가치입니다.
핵심 포인트
- CodonRoBERTa-large-v2를 사용하여 코돈 수준 언어 모델링에서 Perplexity 4.10 및 Spearman CAI 상관관계 0.40의 우수한 성능을 달성했습니다.
- 구조 예측, 서열 설계, 코돈 최적화 기능을 통합한 엔드투엔드 단백질 AI 파이프라인을 성공적으로 구축했습니다.
- 25개 종에 걸쳐 총 4개의 프로덕션 모델을 55 GPU시간 만에 학습시키고, 독자적인 종-조건부(species-conditioned) 시스템을 구현했습니다.
저희는 구조 예측(structure prediction), 서열 설계(sequence design), 코돈 최적화(codon optimization)를 포괄하는 엔드투엔드 단백질 AI 파이프라인을 구축했습니다. 코돈 수준 언어 모델링(codon-level language modeling)을 위해 여러 트랜스포머 아키텍처(transformer architectures)를 비교한 결과, CodonRoBERTa-large-v2가 퍼플렉서티(perplexity) 4.10과 스피어만 CAI 상관관계(Spearman CAI correlation) 0.40으로 명확하게 우수한 성능을 보이며 ModernBERT를 크게 능가했습니다. 이후 이를 25종에 확장하여, 55 GPU-시간 동안 4개의 프로덕션 모델을 학습시켰고, 다른 어떤 오픈 소스 프로젝트도 제공하지 못하는 종(species)-조건부 시스템(species-conditioned system)을 구축했습니다.
완벽한 결과, 아키텍처 결정 사항 및 실행 가능한 코드는 아래에 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기