1974년 하버드 박사 논문에 담긴, 지구상의 모든 AI 모델을 훈련시키는 알고리즘

한 미국 수학자가 1974년 하버드 박사 학위 논문 안에 지구상의 모든 AI 모델을 훈련시키는 알고리즘을 숨겼습니다.

아무도 그것을 읽지 않았습니다. 무려 12년 동안이나요.

세상이 마침내 그것을 사용했을 때, 사람들은 다른 누군가에게 공을 돌렸습니다.

그의 이름은 Paul Werbos입니다. 이 알고리즘의 이름은 backpropagation(역전파)입니다. 그리고 이것이 없었다면 ChatGPT, Claude, Gemini를 포함하여 지금까지 구축된 모든 신경망은 존재하지 않았을 것입니다.

Werbos는 1947년에 태어났습니다. 그는 하버드에서 공부했습니다. 그는 명성을 얻기 위해 노력한 것이 아니었습니다. 그는 AI 분야 전체가 불가능하다고 선언했던 문제를 해결하려고 했습니다.

1969년, Marvin Minsky는 Perceptrons라는 책을 출판했습니다. 그의 결론은 가혹하고 최종적이었습니다. 여러 층을 가진 신경망은 훈련될 수 없다는 것이었습니다. 작동하는 학습 알고리즘이 존재하지 않았습니다. 이 분야는 다음 단계로 넘어가야 했습니다.

대부분의 학계가 정확히 그렇게 했습니다.

Werbos는 그렇지 않았습니다.

그는 1974년 하버드 박사 논문에서, 오류 신호를 각 층을 거쳐 역방향으로 전파시키고(propagating error signals backwards through every layer), 네트워크가 올바른 출력을 생성하도록 학습할 때까지 각 단계마다 가중치를 조정하는 다층 신경망 훈련 방법을 기술했습니다. 그는 이것을 backpropagation이라고 불렀습니다. 그는 그것이 작동한다는 것을 증명했고, 구현했으며, 심지어 Minsky 자신에게 논문 출판에 협력하겠다고 제안했습니다.

Minsky는 관심이 없었습니다.

그 논문은 그곳에 놓여 있었습니다. 12년 동안 거의 아무도 AI 분야에서 그것을 읽지 않았습니다. Werbos는 국립과학재단(National Science Foundation)에서 계속 일하며, 보조금 프로그램을 운영하고, 아무도 인용하지 않는 논문을 출판하며, 자신이 열어젖힌 이 분야가 완전히 잠겨 있는 것을 지켜보았습니다.

그러다가 1986년, Rumelhart, Hinton, 그리고 Williams는 Nature지에 backpropagation을 설명하는 논문을 발표했습니다. 그것은 명확하고 접근성이 좋았으며 완벽한 타이밍이었습니다. 학계는 준비가 되어 있었습니다. 그 논문은 폭발적인 성공을 거두었습니다. 신경망은 하룻밤 사이에 죽음에서 돌아왔습니다. 현대 딥러닝(deep learning) 시대가 시작된 것입니다.

Rumelhart, Hinton, 그리고 Williams가 backpropagation의 발견자로 공을 세웠습니다.

하지만 Werbos는 그들이 읽지 않은 논문에서 12년 전에 이미 그것을 설명했었습니다.

IEEE는 결국 1995년에 Werbos에게 Neural Network Pioneer Award를 수여하며, 그의 1974년 논문을 최초의 발견으로 언급했습니다. 2024년에는 Geoffrey Hinton이 신경망 연구에 대한 공로로 노벨 물리학상을 수상했지만, 노벨상 수상 이유에는 Werbos가 언급되지 않았습니다.

가장 이상한 부분은 backpropagation이 실제로 무엇을 하는지입니다.

ChatGPT가 질문에 답하는 능력이 향상될 때마다 backpropagation이 실행됩니다. 이미지 인식 시스템이 얼굴을 식별하도록 학습할 때마다 backpropagation이 실행됩니다. 언어 모델이 새로운 데이터셋으로 훈련될 때마다 backpropagation이 실행됩니다. 이는 지구상의 모든 신경망이 무언가를 학습하게 만드는 메커니즘입니다.

backpropagation 없이는 딥러닝(deep learning)이 없습니다. 딥러닝 없이는 현대 AI가 없습니다. Paul Werbos가 없으면 backpropagation이 없습니다.

그는 77세입니다. 여전히 논문을 쓰고 인터뷰에 참여합니다. 그는 수십 년 동안, 조용하고 쓰라림 없이, 자신이 이 알고리즘을 가장 먼저 설명했으며 기록도 그렇게 반영되어야 한다고 지적해 왔습니다.

당신이 매일 사용하는 AI 모델들은 하버드 수학자가 1974년에 발명하여 세상이 받아들일 준비가 되기 전에 세상에 공개했던 알고리즘을 통해 모든 것을 학습했습니다.

Geoffrey Hinton은 노벨상을 받았습니다.

Paul Werbos는 대부분의 사람이 들어본 적 없는 위원회로부터 Pioneer Award를 받았습니다.

그의 이름은 Paul Werbos입니다. 이제 알게 되셨습니다.

이 글을 읽기 전에 그의 이름을 알고 계셨나요?
[image: https://pbs.twimg.com/media/HKmt7d7aIAAoo5Z.jpg