얼마나 많은지가 아니라 어떤 것인가: Low-Rank Adaptation에서의 파라미터 배치

요약

본 논문은 LoRA 어댑터의 파라미터 배치 문제(parameter placement problem)를 다루며, 학습 가능한 엔트리 $k$개의 배치가 성능에 미치는 영향을 분석합니다. 지도 미세 조정(SFT) 환경에서는 무작위 선택과 정보 기반 선택 간 성능 차이가 크지 않지만, GRPO 환경에서는 그래디언트 정보에 기반한 배치가 표준 LoRA의 정확도를 회복하는 것으로 나타났습니다. 이러한 레짐 의존성은 SFT와 GRPO의 그래디언트 구조적 차이(저차원/안정적 vs 고차원/직교)에서 기인합니다.

핵심 포인트

• LoRA 어댑터의 파라미터 배치 선택은 학습 환경(레짐)에 따라 성능 영향이 다릅니다.
• SFT 환경에서는 무작위 배치가도 충분하지만, GRPO 환경에서는 그래디언트 정보 기반 배치가 필수적입니다.
• GRPO와 같은 고차원/직교 그래디언트 구조에서는 일관된 학습 신호를 유지하는 요소만 중요합니다.
• 제안된 스코어링 절차는 빠르고 저렴한 비용으로 핵심 파라미터를 식별하며, 이는 잔차 스트림 쓰기 투영에 집중되어 있습니다.