Bolek: 분자 추론을 위한 다중 모달 언어 모델

요약

Bolek은 Morgan fingerprint 임베딩을 인스트럭션 튜닝 텍스트 디코더에 주입하여 자연어 추론이 분자 구조에 근거하도록 설계된 컴팩트한 다중 모달 언어 모델입니다. 이 모델은 분자 설명, RDKit descriptor 예측 등 다양한 작업으로 미세 조정되었으며, 기존 LLM 대비 높은 성능과 함께 생성되는 설명의 신뢰성(근거 기반)을 크게 향상시켰습니다. Bolek는 여러 다운스트림 추론 작업에서 우수한 성능을 보였을 뿐만 아니라, 언급된 분자 특성 값들이 RDKit 계산값과 매우 높은 상관관계를 보여 모델의 감사 가능성을 입증했습니다.

핵심 포인트

• Bolek은 다중 모달리티(분자 임베딩 + 텍스트)를 결합하여 자연어 추론을 분자 구조에 근거하도록 합니다.
• 모델은 다양한 분자 정렬 작업(예: RDKit descriptor 예측, 하위 구조 감지)으로 미세 조정되어 높은 성능을 달성했습니다.
• Bolek이 생성하는 설명은 기존 LLM보다 훨씬 더 많은 수치적 디스크립터를 인용하며, 이 값들은 실제 분자 계산값과 높은 일치도를 보입니다 (Spearman rho = 0.87-0.91).
• 모델은 훈련되지 않은(미확인) 분류 및 회귀 엔드포인트에서도 좋은 일반화 성능을 보여줍니다.