원자 단위 언어 모델(Atomistic Language Models)은 재료를 이해하고 생성한다

원자 구조(Atomistic structure)와 자연어(Natural language)는 오랫동안 별개로 모델링되어 왔습니다. 언어 모델이 원자 모델을 도구로서 호출하거나, 원자 정보를 버리는 손실이 있는 텍스트 인코딩(Textual encodings)을 통해 미세 조정(Fine-tuning)되는 방식이었습니다. 우리는 네이티브 멀티모달리티(Native multimodality)를 추구하기 위해 원자 단위 언어 모델(Atomistic Language Models, ALMs)을 소개합니다. 이 모델은 단일 언어 백본(Language backbone)을 통해 원자 구조를 이해하고, 자연어로부터 재료를 생성하며, 텍스트의 지시에 따라 결정 구조(Crystal structures)를 최적화합니다. 사전 학습된 원자 인코더(Atomistic encoder), 대규모 언어 모델(Large Language Model, LLM), 그리고 디노이징 확산 모델(Denoising diffusion model)을 순수하게 연속적인 프로젝터(Continuous projectors)와 단계별 학습(Staged training)을 통해 통합함으로써, ALMs는 결정 구조 예측 및 데 노보 생성(De novo generation) 분야에서 최첨단(State-of-the-art) 성능을 달성합니다. ALMs는 언어 모델 임베딩(Embeddings)을 원자 확산(Atomistic diffusion)의 제어 공간(Steering space)으로 직접 매핑하는 연속적 브리지(Continuous bridge)를 통해 구현되며, 추론 시 화학 양론적 목표(Stoichiometric targets)를 강제하기 위해 부분적 디노이징 궤적(Partial denoising trajectories)의 점수를 매기는 입자 기반 샘플러인 Text-to-Crystal Feynman-Kac (T2C-FK)의 도움을 받습니다. 자연어 프롬프트와 3D 원자 좌표(3D atom-coordinate) 입력을 통해 재료를 최적화하고 생성하는 ALMs의 능력을 평가하기 위해, 우리는 텍스트 조건부 결정 생성 및 최적화를 위한 최초의 벤치마크인 ALM Bench를 도입합니다. 코드, 학습 데이터 및 모델 가중치는 곧 공개될 예정입니다.