Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
초분자 화학 분야의 숙주-게스트 시스템 설계를 지원하기 위해 LLM의 화학 추론 능력을 평가하는 최초의 벤치마크인 SupraBench를 제안합니다. 바인딩 친화도 예측 등 4가지 핵심 작업과 도메인 적응을 위한 SupraPMC 코퍼스를 함께 공개했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기비공유 결합 기반의 숙주-게스트(host-guest) 어셈블리 연구를 포함하는 초분자 화학(Supramolecular chemistry)은 다양한 응용 분야에서 발전해 왔다. 하지만, 숙주-게스트 시스템을 설계하는 것은 여전히 시간이 많이 걸리는 작업이며, 후보 쌍마다 며칠간의 건식 실험실 검증이 필요하다. LLM이 분자 결합 작업에서 강력한 성능을 보이는 빠른 대안으로 등장했지만, 현재까지는 바인딩 친화도 예측과 같은 기본적인 초분자 화학 작업을 위한 숙주-게스트 추론에 대해 LLM을 체계적으로 평가하는 벤치마크가 없다. 이를 위해 우리는 도메인 전문가들과 협력하여 화학 추론에서 LLM을 평가하기 위한 최초의 초분자 벤치마크인 SupraBench를 공개한다. 구체적으로, 바인딩 친화도 예측(binding affinity prediction), 최고 결합제 선택(top-binder selection), 용매 식별(solvent identification), 숙주-게스트 설명(host-guest description)이라는 네 가지 기본적인 작업을 설계했으며, 분자 식별을 위한 보조적인 비전 기반 작업도 추가했다. 또한, 초분자 화학 논문들을 Europe PMC에서 추출하여 정제한 16M 토큰 규모의 코퍼스인 SupraPMC를 공개하여 초분자 도메인 적응을 지원한다. 우리는 광범위한 오픈 및 독점 LLM들을 벤치마크했으며, 모든 작업에서 LLM이 상당한 여유 공간(headroom)을 남긴다는 것을 발견했다. SupraPMC에 대한 도메인 적응 사전 학습은 인-분포 회귀(in-distribution regression)로 깔끔하게 전이되지만, 엄격한 문자 형식 출력과는 상충 관계를 보인다. 더욱이, 난이도 프로파일은 작업군별로 급격히 달라지며, 현재 초분자 화학 추론의 특정 격차를 나타내는 뚜렷한 실패 모드를 드러낸다. 우리의 소스 코드와 벤치마크 데이터셋은 https://github.com/Tianyi-Billy-Ma/SupraBench에서 이용 가능하다.