우리는 이전에 간과되었던 ALiBi 위치 인코딩(Positional Encoding)의 실패 모드를 식별했습니다. 즉, 선형 바이어스 스케일링(linear bias scaling)이 부동 소수점 정밀도(floating-point precision)의 언더플로(underflow)를 유발하여, 어텐션 가중치(attention weights)의 상당 부분을 0으로 만들고 영향을 받는 어텐션 헤드(attention heads)를 부분적으로 눈이 멀게(blind) 만듭니다. 우리는 이 실패 모드를 분석하고, 그 영향을 규명하며, 네 가지 완화 전략을 조사합니다. 나아가 ALiBi를 기반으로 하는 최첨단 사전 학습된 모델(pretrained models)에서 이 현상이 발생하는 것을 입증합니다. 148M 파라미터 디코더 모델을 사용한 포괄적인 사전 학습 실험을 통해, 문맥 외 성능 저하(out-of-context degradation)로부터 이 현상의 효과를 분리해 내는 데 도움을 얻었습니다. 우리는 ALiBi의 실패 모드가 표준 디코더 벤치마크에는 미미한 영향만을 미치는 반면, 토큰 검색(token retrieval) 능력은 실질적으로 손상시킬 수 있음을 발견했습니다. 우리는 네 가지 훈련 시점 완화 전략을 제안하고 이를 개별적 및 조합하여 평가하였으며, 로그 스케일 거리(log-scaled distances)가 패스키 검색(passkey retrieval)에서 가장 일관된 개선을 가져온다는 것을 확인했습니다. 이러한 문제에도 불구하고, 기본 ALiBi 기울기(slopes)는 특히 '건초더미 속 바늘 찾기(needle-in-a-haystack)' 검색에 있어 놀라울 정도로 강력한 베이스라인으로 남아 있습니다. 이러한 발견을 바탕으로, 우리는 ALiBi를 사용하여 모델을 훈련하는 방법에 대한 구체적인 권장 사항을 제공합니다.