표적 아미노산 조성을 활용한 단백질 서열 생성을 위한 2단계 미세 조정 (Two-Stage Fine-Tuning)

단백질 언어 모델 (Protein language models)은 생물학적 서열 생성을 위한 표준적인 사전 학습 모델 (priors)이지만, 이를 명시적인 분포 설계 목표 (distributional design targets)로 유도하는 방법은 여전히 미개척 분야로 남아 있습니다. 본 연구에서는 서열의 타당한 통계적 특성과 다양성을 유지하면서, 동시에 원하는 아미노산 (amino-acid, AA) 조성 프로필을 일치시켜야 하는 제약 조건이 있는 단백질 생성 문제를 연구합니다. 이 연구의 동기가 되는 응용 분야는 합성 사료 단백질 설계로, 사료 단백질의 아미노산 조성은 영양 가치를 직접적으로 결정합니다. 우리는 도메인 적응형 미세 조정 (domain-adaptive fine-tuning, FT)을 도메인 내 단백질 데이터셋에 먼저 수행한 후, 미세 조정된 모델을 동결된 참조 모델 (frozen reference)로 고정하고 강화학습 (reinforcement learning, RL)을 통해 반복적인 보상 가중 미세 조정 (reward-weighted FT)을 수행하는 2단계 파이프라인을 제안합니다. 우리는 두 가지 아미노산 조성에 대해 이 파이프라인을 평가하였으며, 미세 조정 (FT)은 평균 조성을 목표치에 가깝게 가져오는 반면, 후속되는 강화학습 (RL)은 미세 조정 (FT)만으로는 충족할 수 없는 특정 서열 제약 조건을 강제한다는 것을 발견했습니다. 추가적으로, 우리는 제안된 조성 보상 항 (composition reward term)의 설계 선택을 두 가지 베이스라인 및 절제된 변형 (ablated variant)과 비교하여 평가하고, 각 학습 단계의 기여도를 분리하며, 서열 품질을 저하시키지 않으면서 아미노산 (AA) 조성 정렬이 달성됨을 검증합니다.