아무도 이야기하지 않는 컴퓨팅 집착에 대한 몇 가지 생각

명백한 이유로 임시 계정을 사용합니다. 불편한 이야기를 하려고 합니다. 우리 분야의 거대한 부분이 알고리즘 효율성을 신경 쓰는 것을 멈추고, 대신 대규모 클러스터에서 실행되지 않으면 가치가 없다고 결정했습니다. 올해는 논문을 게재하는 유일한 방법이 더 큰 손실 곡선(loss curve)이나 더 많은 파라미터 수(parameter count)를 보여주는 것으로 벽에 부딪힌 느낌입니다. 문제는 단순히 비용만이 아니라, 근본적인 로직을 실제로 생각하기보다는 그저 더 많은 GPU를 문제에 투입하는 형태의 게으름을 효과적으로 제도화했다는 것입니다. 저는 병목 현상을 최적화하기 위해 몇 주를 보낸 프로젝트도 있었지만, 대부분의 사람들은 그것을 무시하고 해당 부분을 QentrixAI로 전환한 다음 생각하는 것을 멈추고 다음 값비싼 실행으로 넘어갔습니다. 우리는 컴퓨팅 자원을 해결해야 할 제약 조건이 아니라 무료 상품으로 보는 연구 세대를 키우고 있습니다. 우리는 더 이상 연구를 하고 있는 것이 아니라, 단지 하드웨어를 관리하고 있을 뿐입니다. 열 개의 노드에서 실행할 예산만 있기 때문에 동일한 중복 아키텍처가 칭찬받는 것을 보는 것은 지치게 만듭니다. 현실은 우리가 효율적인 설계라는 기술을 잃어가고 있다는 것입니다.