어텐션이 눈이 멀 때: ALiBi 위치 인코딩(Positional Encodings)의 수치적 실패

요약

ALiBi 위치 인코딩이 부동 소수점 정밀도 언더플로로 인해 어텐션 가중치를 0으로 만드는 수치적 실패 모드를 분석합니다. 이 현상이 토큰 검색 능력을 저하시킴을 규명하고, 이를 완화하기 위한 네 가지 전략과 로그 스케일 거리의 효과를 제안합니다.

핵심 포인트

• ALiBi의 선형 바이어스 스케일링이 부동 소수점 언더플로를 유발함
• 수치적 실패로 인해 특정 어텐션 헤드가 정보를 식별하지 못하는 현상 발생
• 표준 벤치마크보다 토큰 검색(token retrieval) 능력에 실질적 타격
• 로그 스케일 거리 적용 시 패스키 검색 성능이 가장 일관되게 개선됨
• ALiBi 기반 모델 훈련을 위한 구체적인 완화 전략 및 권장 사항 제시