뇌 인코딩을 위한 파라미터 효율적 미세 조정(PEFT) 확장

원문 발행 2026. 10. 20. 02:46원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 연구는 파라미터 효율적 미세 조정(PEFT) 기법을 활용하여 대규모 멀티모달 백본 모델의 뇌 인코딩에 효과적으로 적용하는 방법을 제시합니다. 이를 통해 계산 비용과 데이터 제약 문제를 해결하고, 최대 104B 파라미터급 모델에서도 높은 성능을 달성했습니다. 개발된 BrainLoRA는 Algonauts 2025 Challenge에서 최고 공개 성능을 기록하며 PEFT의 강력함을 입증했습니다.

핵심 포인트

PEFT를 활용하여 대규모 멀티모달 백본의 뇌 인코딩에 적용 가능.
최대 104B 파라미터급 모델에서도 효율적인 미세 조정이 가능함.
BrainLoRA는 Algonauts 2025 Challenge에서 최고 공개 성능을 달성했음.
멀티-LoRA 커널 개발로 대규모 적응된 모델 앙상블 구축에 성공함.

뇌 인코딩 모델은 자극에 대한 신경 반응을 예측하는 것을 목표로 합니다. 가장 널리 사용되는 접근 방식은 고정된 사전 학습 백본(backbones)의 리아웃(readouts)을 피팅합니다. 신경 데이터를 사용하여 대규모 모델을 처음부터 훈련하거나 작업 전 학습 후 완전히 미세 조정하는 것은 신경 데이터가 비용이 많이 들고 제한적이기 때문에 어려웠습니다. 우리는 파라미터 효율적 미세 조정(PEFT)이 적은 수의 학습 가능한 파라미터를 사용하여 매우 큰 사전 학습 백본을 뇌 인코딩에 효과적으로 적응시킬 수 있게 함을 보여줍니다. 계산상 실용성을 높이기 위해, 슬라이딩 윈도우를 사용하는 대신 백본의 인과 구조(causal structure)를 활용하여 단일 패스에서 여러 시간 지점을 예측함으로써 특징 추출 비용을 크게 줄입니다. 이를 통해 최대 104B 파라미터에 달하는 멀티모달 백본의 효율적인 미세 조정이 가능하며, 이는 현재까지 알려진 뇌 인코딩용 가장 큰 모델입니다. 저랭크 어댑터(LoRA)와 경량 리아웃으로 훈련된 우리의 접근 방식은 아홉 가지 다양한 멀티모달 백본 전반에 걸쳐 일관되게 뇌 인코딩 성능을 향상시킵니다. 이전 최첨단(SoTA)과 동일한 Qwen3-Omni 백본에서, 우리의 방법인 BrainLoRA는 Algonauts 2025 Challenge에서 최고 공개 성능을 달성합니다. 또한 적응된 멀티모달 백본이 해석 가능하게 유지됨을 보여줍니다: 모달리티 기여도(modality attribution)는 이전 작업들이 개별 유니모달 인코더로부터 구성적으로 얻던 표준 감각 지형(canonical sensory topography)을 복구하며, 신경 적응은 오디오 입력과 백본 내의 교차 모달 혼합(cross-modal mixing) 기여도를 증가시킵니다. 적응된 모델의 수를 늘리기 위해, 우리는 공유 백본에 여러 LoRA를 공동으로 훈련하는 것을 가속화하는 멀티-LoRA 커널을 개발했습니다. 이를 통해 200개 이상의 적응된 모델 앙상블이 구축되었으며, 이는 작성 시점의 공개 Algonauts 포스트 챌린지 리더보드에서 1위를 차지합니다. 종합적으로 우리의 결과는 PEFT가 뇌 인코딩을 위한 효율적이고 강력한 패러다임임을 강조합니다.

AI 자동 생성 콘텐츠

원문 바로가기

뇌 인코딩을 위한 파라미터 효율적 미세 조정(PEFT) 확장

요약

핵심 포인트

댓글