LoRA 는 어디에 배치해야 할까? 하이브리드 언어 모델에서의 컴포넌트 유형 배치

요약

이 연구는 주의 메커니즘과 순환 구성 요소를 결합한 하이브리드 언어 모델에 대한 최적의 LoRA(저랭크 어댑터) 배치 전략을 제시합니다. 기존의 균일한 LoRA 적용 방식 대신, 컴포넌트 유형별 특성을 고려하여 적응하는 것이 중요함을 보여줍니다. 연구 결과, 주의 경로에만 LoRA를 집중적으로 적용했을 때 전체 모델 대비 훨씬 적은 파라미터로도 일관되게 우수한 성능을 달성했으며, 하이브리드 아키텍처의 토폴로지(순차형/병렬형)가 적응 방식과 전이 학습 결과에 결정적인 영향을 미친다는 것을 입증했습니다.

핵심 포인트

• 주의 경로(Attention Path)에 LoRA를 집중적으로 적용하는 것이 가장 효과적이며, 전체 모델 대비 훨씬 적은 파라미터로도 높은 성능을 유지할 수 있다.
• 하이브리드 아키텍처의 토폴로지(순차형 vs. 병렬형)는 LoRA 배치 전략과 전이 학습 결과에 결정적인 영향을 미친다.
• 순환 백본(Recurrent Backbone) 적응은 순차형 하이브리드에서는 성능 저하를, 병렬형 하이브리드에서는 성능 향상을 가져오는 등 토폴로지 의존적이다.
• 컴포넌트 인식 LoRA 배치는 하이브리드 아키텍처 설계의 필수적인 고려 사항임을 확립한다.