DNABERT-2 기반 유전체 언어 모델의 사후 설명 가능성 평가

요약

본 연구는 트랜스포머 기반 유전체 언어 모델(gLM)의 예측 결과에 대한 '사후 설명(Post-hoc Explanation)' 가능성을 평가합니다. 특히, 기존 CNN에서 성공적이었던 패턴 추출 기법이 gLM에도 적용 가능한지 검증하는 것이 목표입니다. 연구진은 Attention 메커니즘에 적응시킨 Layer-wise Relevance Propagation (LRP) 기반 방법인 AttnLRP를 DNABERT-2에 적용하고, 토큰 및 뉴클레오타이드 수준에서 설명 전략을 제안했습니다. 그 결과, AttnLRP가 알려진 생물학적 패턴과

핵심 포인트

• AttnLRP라는 LRP 기반 방법을 Attention 메커니즘에 적응시켜 DNABERT-2와 같은 gLM에 적용함.
• 연구는 토큰 및 뉴클레오타이드 수준에서 설명(explanation)을 추출하는 전략을 제안하고 평가했습니다.
• 평가 결과, AttnLRP가 도출한 설명은 알려진 생물학적 패턴과 일치하며 신뢰성이 높음을 입증했습니다.
• 본 연구는 gLM의 설명 가능성(Explainability)에 기여하며, 서로 다른 아키텍처 간 관련성 할당(relevance attribution) 비교 가능성을 제시합니다.