iLoRA: 마이크로바이옴 진단을 위한 잠재 상호작용 그래프 기반 베이지안 저차원 적응 (Bayesian Low-Rank Adaptation)

매개변수 효율적 적응 (Parameter-efficient adaptation)은 LLM (Large Language Models)을 도메인 예측에 실용적으로 활용할 수 있게 해주었으나, 표준적인 LoRA (Low-Rank Adaptation)는 여전히 정적인 저차원 업데이트에 의존하며 과학적 레이블 (scientific labels)을 유도하는 데 자주 사용되는 잠재적 상호작용 (latent interactions)을 드러내지 못합니다. 우리는 iLoRA를 소개합니다. 우리가 알기로, 이는 최초의 베이지안 그래프 조건부 LoRA (Bayesian graph-conditioned LoRA) 프레임워크입니다. 이 모델은 입력으로부터 잠재적 상호작용 그래프 (latent interaction graph)를 추론하고, 이를 사용하여 입력 조건부 LoRA 업데이트를 생성합니다. 결과적으로 iLoRA는 예측기와 상호작용 분석을 별도로 학습하여 사후에 적용하는 대신, 예측과 잠재적 상호작용 구조를 공동으로 학습합니다. 우리는 질병 상태가 종 수준의 풍부도 (species-level abundance)와 미생물 간의 상호작용 (microbe-microbe cross-talk) 모두에 의존할 수 있는 마이크로바이옴 진단 (microbiome diagnosis) 분야에 이 아이디어를 적용하였으며, 두 가지 상호 보완적인 설정에서 이를 평가했습니다. 하나는 잠재 구조 회복 (latent structure recovery)을 테스트하는 인간 주석 그래프를 활용한 대화형 QA (interactive QA)이고, 다른 하나는 생물 의학적 유용성 (biomedical utility)을 테스트하는 다중 코호트 IBD (Inflammatory Bowel Disease, 염증성 장질환) 진단입니다. 두 설정 모두에서 iLoRA는 강력한 LoRA 및 베이지안 적응 (Bayesian adaptation) 베이스라인보다 성능을 개선하였고, 인간의 주석 및 코호트 수준의 마이크로바이옴 연관성과 일치하는 그래프를 회복하였으며, 적절한 그래프 분기 오버헤드 (graph-branch overhead)와 함께 보정된 불확실성 (calibrated uncertainty)을 제공합니다.