매니폴드 복원 혼합(Manifold Restore Mixing)을 통한 단백질 표현 학습 강화

데이터 증강 (Data augmentation, DA)은 추가적인 학습 샘플을 생성함으로써 단백질 표현 학습 (Protein representation learning, PRL)을 개선하는 효과적인 수단임이 입증되었습니다. 주류를 이루는 섭동 (perturbation) 및 샘플링 기반 증강 방법들은 충분한 변이를 포함하는 데이터를 생성할 수 있지만, 단백질의 구조와 기능을 파괴할 위험을 내포하고 있습니다. 일부 정교하게 제작된 단백질 상동성 모델링 (protein homology modeling) 도구들은 컨포메이션 (conformations)을 생성할 수 있으나, 구조적 다양성을 감소시킵니다. 이러한 딜레마는 우리에게 다음과 같은 질문을 던집니다: DA 연산으로 인해 파괴된 구조를 복원하여, 원래의 구조와 다양한 변이를 모두 갖춘 데이터를 제공할 수 있는가? 본 연구에서는 먼저 기존 DA 방법들의 구조적 결함 및 성능 저하 문제를 분석하고 경험적으로 밝혀냅니다. 이러한 발견을 바탕으로, 우리는 단백질 표현 학습을 위한 단순하면서도 효과적인 DA 방법인 매니폴드 복원 혼합 (Manifold Restore Mixing, MRM)을 제안합니다. 구체적으로, 매니폴드 믹스업 (manifold mixup)에서 영감을 받아, 원래의 단백질 데이터와 증강된 단백질 데이터의 은닉 표현 (hidden representations)을 혼합하여 DA 과정에서 손실된 구조 정보를 복원하는 동시에 다양한 변이를 도입하는 새로운 샘플을 생성합니다. 나아가, 우리는 믹스업 (mixup)의 베타 분포 (beta distribution)를 조정하여 학습 과정 동안 모델에 점진적으로 더 어려운 혼합 샘플을 제공하는 샘플 난이도 스케줄러 (sample difficulty scheduler)를 개발하였으며, 이는 최종 성능을 향상시킵니다. 다양한 PRL 백본 (backbones) 및 다운스트림 태스크 (downstream tasks)에 대한 종합적인 실험을 통해 우리 방법의 효과성과 일반화 능력을 입증합니다. 전체 코드와 가중치는 논문 채택 시 공개될 예정입니다. 구현체는 https://github.com/KingGugu/MRM 에서 확인할 수 있습니다.