Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 하이브리드 아키텍처 언어 모델에서 '경쟁 학습' 현상을 발견했습니다. 재귀 레이어가 특정 함수를 학습하면 다른 레이어의 학습을 억제하는 것이 관찰되었습니다. 연구진은 이를 바탕으로 단계적 훈련 절차를 제안하며, 이는 검색 관련 작업 성능 향상에 효과적임을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기많은 최신 언어 모델들은 선형 시간 재귀(linear-time recurrence)와 softmax 어텐션(softmax attention)을 모두 통합한 하이브리드 아키텍처를 채택했습니다. 현대적인 재귀 레이어는 컨텍스트 정보를 고정 크기의 상태로 압축하여 높은 처리량(throughput)을 보장하는 동시에 매우 표현력이 풍부한 혼합 메커니즘(mixing mechanism)을 제공하지만, 컨텍스트 정보 검색(contextual information retrieval) 측면에서는 softmax 어텐션보다 성능이 떨어집니다. 본 논문에서 우리는 서로 다른 종류의 믹서들이 동일한 함수를 학습하기 위해 경쟁하는 '경쟁 학습(Competing Learning)' 현상을 밝혀냈습니다. 즉, 어떤 레이어가 특정 함수를 학습하면, 그에 해당하는 학습 신호를 다른 레이어로부터 억제합니다. 레이어 기여도 분석(Layer attribution analysis) 결과, 일반적인 데이터 분포 하에서 현대적 재귀가 softmax 어텐션보다 더 빠르게 검색 함수를 학습하며, 이로 인해 대부분의 경우 어텐션이 검색을 학습하는 데 실패함을 보여줍니다. 훈련 중간에 재귀의 가중치 업데이트를 중단(Stopping weight updates in recurrence)하면 어텐션이 검색을 학습하는 데 도움이 됩니다. 이러한 결과를 바탕으로, 우리는 자연어에 대한 하이브리드 아키텍처 사전 학습을 위한 단계적 훈련 절차(staged training procedure)를 제안합니다. 최대 1B 파라미터 규모의 모델에 대한 경험적 결과는 우리의 방법이 언어 모델링 손실(language modeling loss), 상식 추론(common-sense reasoning)뿐만 아니라 다양한 컨텍스트 길이 전반에 걸친 광범위한 검색 관련 작업에서 상당한 개선을 가져옴을 보여줍니다.