내결함성(Fault-tolerant) 기반 모델

새롭게 등장하는 컴퓨터 하드웨어는 종종 에너지 효율성을 위해 신뢰성을 희생합니다. 여기서는 대규모 언어 모델(LLMs)이 이러한 비신뢰성을 견디도록 훈련될 수 있으며, 오류 복원력은 저하되는 것이 아니라 오히려 규모가 커짐에 따라 증가한다는 것을 보여줍니다. 시뮬레이션된 결함 있는 디지털 하드웨어에서 40,000 GPU-시간의 훈련 실행을 통해 추론된 수정된 신경 스케일링 법칙(neural scaling laws)이 이러한 추세를 정량화하며, 모델들이 '좋은' 오류 수정 코드(error-correcting codes) 내에서 계산하는 방법을 학습한다는 것을 시사합니다. 이 코드들의 상대적 오버헤드는 모델의 크기와 관계없이 유한하게 유지됩니다. 이 발견을 통해 적절하게 훈련된 LLMs는 형식적으로 내결함성을 가질 수 있다고 추측할 수 있습니다. 만약 이것이 사실이라면, 저전력의 결함 있는 하드웨어에서 AI 추론을 실행하는 것이 현 상태 대비 상당한 에너지 절감 방안이 될 수 있습니다.