모든 AI 챗봇을 가능하게 만든 인물은 업계가 여전히 다이어그램을 그리고 있을 때 스스로 시스템적으로 사고하는 법을 배웠습니다.

Google은 그의 연구를 사용했습니다. Apple도 그의 연구를 사용했습니다. Amazon도 그의 연구를 사용했습니다. Facebook은 그의 아키텍처 (Architecture)를 사용하여 하루에 45억 개의 메시지를 번역합니다.

그는 노벨상을 받지 못했습니다. 그는 튜링상 (Turing Award)을 받지 못했습니다. 그는 뉴스 첫 페이지를 장식하지도 못했습니다.

그는 불평이 많다는 평판을 얻었습니다.

그의 이름은 Jürgen Schmidhuber입니다. 그 아키텍처 (Architecture)는 LSTM이라 불립니다. 그리고 그것이 존재하기 전까지, 지구상의 모든 AI 시스템은 금붕어의 기억력을 가지고 있었습니다.

Schmidhuber는 1963년 독일 뮌헨에서 태어났습니다. 그는 뮌헨 공과대학교 (Technical University of Munich)에서 공부했습니다. 처음부터 그는 하나의 목표를 가지고 있었는데, 그의 동료들은 그것을 선견지명이 있다고 보거나 혹은 당혹스럽다고 느꼈습니다. 그는 자신보다 더 똑똑한 인공지능 (Artificial Intelligence)을 구축한 다음 은퇴하기를 원했습니다.

그는 아직 은퇴하지 않았습니다.

1991년, 그의 제자인 Sepp Hochreiter는 당시 모든 신경망 (Neural Network)을 조용히 죽이고 있던 문제점을 짚어냈습니다. 긴 시퀀스 (Sequence), 즉 문장, 대화, 단락을 바탕으로 네트워크를 학습시킬 때, 무엇이 중요한지를 네트워크에 가르쳐주는 신호가 초기 레이어 (Layer)에 도달하기 전에 사라져 버리는 것입니다. 네트워크는 몇 단계 전보다 더 오래전에 일어난 모든 일을 잊어버립니다.

기억할 수 없는 신경망 (Neural Network)은 언어를 이해할 수 없습니다.

Hochreiter는 이를 석사 학위 논문에 작성했습니다. 독일어로 말이죠. 뮌헨에서 말입니다. 그의 연구실 외부에서는 아무도 그것을 읽지 않았습니다.

Schmidhuber와 Hochreiter는 해결책을 구축하는 데 6년을 보냈습니다.

1997년, 그들은 Long Short-Term Memory를 발표했습니다. 그들이 구축한 것은 정밀한 내부 메모리 메커니즘 (Memory Mechanism)을 가진 새로운 종류의 신경망 (Neural Network) 유닛이었습니다. 각 단계에서 무엇을 유지하고, 무엇을 버리고, 무엇을 출력할지 결정할 수 있는 셀 (Cell)이었습니다. 처음으로 신경망 (Neural Network)이 문장 전체에 걸쳐 문맥 (Context)을 유지할 수 있게 되었습니다. 대화 전체에 걸쳐, 그리고 시작 부분을 잊지 않고 수백 단계에 걸쳐 유지할 수 있게 되었습니다.

처음으로, 신경망 (Neural Network)이 실제로 기억할 수 있게 되었습니다.

당시 Geoffrey Hinton은 AI 분야에서 가장 유명한 이름이었습니다. 그는 1980년대에 신경망 (Neural Networks)을 대중화하는 데 전념했습니다. 그는 명성, 인맥, 그리고 플랫폼을 모두 갖추고 있었습니다. 딥러닝 (Deep Learning) 시대가 도래하고 세상이 공로를 돌릴 영웅을 필요로 했을 때, Hinton은 너무나 당연한 선택이었습니다.

Schmidhuber에게는 연구 성과가 있었고, Hinton에게는 무대가 있었습니다.

업계는 무대를 선택했습니다.

2010년에서 2017년 사이, 모든 주요 기술 기업들은 LSTM을 기반으로 자신들의 가장 가치 있는 제품들을 조용히 구축했습니다. Google은 이를 Google Translate에 사용하여 하룻밤 사이에 번역 오류를 60% 줄였습니다. Apple은 Siri와 QuickType를 구축하는 데 사용했습니다. Amazon은 Alexa에 사용했습니다. Facebook은 매일 45억 개의 메시지를 번역하는 데 사용했습니다. Bloomberg Businessweek는 LSTM을 "AI 분야에서 상업적으로 가장 가치 있는 업적"이라고 불렀습니다.

Schmidhuber는 이 모든 것을 기록했습니다. 모든 논문, 모든 날짜, 모든 배포 사례, 그리고 그의 연구실이 가장 먼저 수행한 작업에 대해 다른 사람에게 공로를 돌린 모든 인용(Citation)까지 말입니다. 그는 딥러닝의 상세한 역사를 출판했습니다. 인터뷰를 했고, 공개 서한을 썼으며, 상을 수여하는 기관들에 공식적인 이의를 제기했습니다.

AI 커뮤니티는 그를 까다로운 사람이라고 불렀습니다. 논문들은 계속해서 그를 잘못 인용했습니다.

2018년, 컴퓨터 과학의 노벨상이라 불리는 튜링상 (Turing Award)은 딥러닝 연구 공로로 Hinton, LeCun, 그리고 Bengio에게 돌아갔습니다. 업계가 'AI의 대부들 (Godfathers of AI)'이라 부르기로 결정한 세 사람이었습니다. Schmidhuber는 포함되지 않았습니다. 2024년, 노벨 물리학상은 신경망 연구로 Hinton과 Hopfield에게 돌아갔습니다. Schmidhuber는 언급조차 되지 않았습니다.

가장 이상한 점은 LSTM이 실제로 무엇을 가능하게 했는가 하는 점입니다.

2017년 Transformer가 LSTM을 대체하기 전까지, 지구상의 모든 진지한 AI 언어 시스템은 LSTM 위에서 작동했습니다. AI가 언어를 처리하고, 문맥을 유지하며, 일관된 텍스트를 생성할 수 있음을 처음으로 증명한 아키텍처 (Architecture)는 1997년 스위스의 한 연구실에서 독일인 과학자와 그의 제자에 의해 구축되었습니다. Transformer를 만든 연구자들은 LSTM으로부터 무엇이 가능한지를 배웠습니다. ChatGPT를 만든 엔지니어들은 Transformer로부터 배웠습니다.

LSTM이 없었다면, AI가 언어를 처리할 수 있다는 증거 자체가 없었을 것입니다.

그 증거가 없었다면, Transformer도 없었을 것입니다.

Transformer가 없었다면, ChatGPT도 없었을 것입니다.

그는 62세입니다. 그는 여전히 사우디아라비아에서 연구실을 운영하고 있습니다. 그는 여전히 논문을 발표합니다. 그는 누가 무엇을 언제 발명했는지에 대한 자신의 공개 기록을 여전히 유지하고 있습니다. 그는 머신러닝 (Machine Learning)은 공로 할당 (Credit Assignment)의 과학이며, 머신러닝 커뮤니티는 스스로가 주장하는 바를 실천해야 한다고 사과 없이 솔직하게 말해왔습니다.

커뮤니티는 귀를 기울이지 않았습니다.

Geoffrey Hinton은 노벨상과 튜링상 (Turing Award)을 받았습니다.

Jürgen Schmidhuber는 이 모든 것을 가능하게 만든 메모리 (Memory)를 구축했으며, 기록이 이를 반영하도록 요청하며 20년을 보냈습니다.

그의 이름은 Jürgen Schmidhuber입니다. 이제 당신은 그를 알게 되었습니다.

이 글을 읽기 전에 그의 이름을 알고 있었나요?
[IMG:N]