UltraBERT: BERT 사전 학습의 한계를 넘어서

최근 양방향 인코더(bidirectional encoders)는 순차적 대규모 언어 모델(LLMs)의 혁신으로 현대화되었습니다. 하지만, 사전 학습 레시피 자체는 소규모 관행에서 물려받은 것이라 여전히 남아 있어, 인코더들이 최적화되지 못한 상태이며, 단일 모델이 분류(classification)와 검색(retrieval) 작업 모두에서 경쟁력을 갖기 어렵습니다. 본 연구에서는 훈련의 핵심 설계 선택 사항들을 재검토함으로써 인코더 성능을 얼마나 끌어올릴 수 있는지 조사했으며, 세 가지 주요 발견점을 밝혀냈습니다: (1) 인코더들은 몇 조 토큰(trillion tokens) 이상에서는 다운스트림 작업에서 포화 상태에 도달하며, 이는 이 지점 이후의 추가적인 컴퓨팅이 도움이 되지 않음을 의미합니다. (2) 모델 크기에 걸쳐, 낮은 마스킹 비율(masking ratios)은 분류에 이점을 제공하는 반면 높은 마스킹 비율은 검색에 이점을 제공하여, 더 큰 모델에 대해 더 큰 비율을 제안했던 이전 연구와 모순됩니다. (3) 가지치기(pruning)를 사용한 증류(distillation)는 낮은 마스킹 비율에서 분류 성능을 향상시키지만 높은 비율에서는 검색 성능을 저하시킵니다. 이러한 발견점들에 의해 안내받아, 우리는 UltraBERT를 제시합니다. 이는 배치 내에서 낮은 마스킹 비율과 높은 마스킹 비율에 각각 별도의 LM 헤드(LM heads)를 할당하고 증류 목적 함수를 낮은 비율로 제한하는 단일 인코더입니다. 저희가 아는 한, UltraBERT는 분류 및 검색 작업 모두에서 최첨단 성능을 달성한 최초의 인코더이며, GLUE에서 91.0, BEIR에서 47.7에 도달했습니다. 종합적으로, 이러한 결과들은 인코더 성능이 얼마나 끌어올려질 수 있는지 보여줄 뿐만 아니라, 양방향 모델에서의 컴퓨팅 할당, 마스킹 비율 설계, 지식 전달에 대한 원칙적인 기반을 제공합니다.