며칠 전, 저는 임시 이메일 주소에서 한 메일을 받았습니다. 발신자는 자신이 선도적인 연구실(frontier lab)의 ML 엔지니어라고 주장했습니다. 이 메일에서 그들은 현재 LLM 열풍의 미래와 선도적인 연구실들이 결국 몰락할 수밖에 없다는 자신들의 믿음을 설명합니다.

제가 그 작성자가 정말 본인이 말한 사람이었는지 확인할 방법은 없었고, 주소 자체가 삭제되었기 때문에 답장할 수도 없었습니다.1

저는 평소에 개인 메일을 함부로 공개하는 편이 아닙니다. 며칠 동안 예외를 둘지 고민했습니다. 하지만 현재 시점에서 이 주제의 중요성을 고려하고, 작성자가 (자신의 말에 따르면) 자신을 식별할 수 없는 방식으로 글을 썼다는 점을 감안하여, 커뮤니티 전체와 공유하는 것이 가치가 있다고 판단했습니다.2

먼저, 일관된 에세이처럼 읽고 싶은 분들을 위해 메일을 그대로 인용하겠습니다. 그다음에는 제가 할 말이 있을 때마다 텍스트를 끊어가며 반복할 것입니다.

두 섹션 모두 정확히 같은 텍스트를 담고 있으니, 제 주석과 함께 잘게 찢어진 텍스트를 읽는 것이 괜찮다면 두 번째 부분으로 건너뛰셔도 됩니다.

1 편지

안녕하세요 Nemin,

저는 선도적인 AI 연구실에서 MLE로 일하고 있습니다. 저는 모델을 훈련시키고, 대기업 중 한 곳의 최첨단 작업에 대해 강화학습(RLHF)을 수행하는 것을 돕습니다.

이 메일이 짧은 점 죄송합니다. NDA가 있어서 내용을 일반적인 수준으로 유지해야 합니다.

프로그래밍의 미래에 대한 걱정거리를 다룬 당신의 게시물을 봤습니다. 솔직히 말해서, 저는 당신보다 제 직업을 잃는 것에 대해 더 걱정하고 있습니다. 이게 어떻게 가능할까요? 내부적으로 우리는 프로그래밍 작업을 위한 모델 확장(scaling)에 한계에 도달했으며, 이것이 많은 사람들이 경력을 전환하는 이유입니다. 저희 회사에서는 임원진 중 상당수가 1년 만에 퇴사했고, IPO와 관련하여 실질적인 스트레스가 있습니다. 제가 공유할 수 없는 것이 훨씬 더 많지만, 내부 상황은 좋지 않습니다.

우리 같은 연구소에 대한 진짜 위협은 경쟁 우위(competitive moat)가 없다는 점입니다. 우리는 수학적 문제 해결 능력을 계속 광고하고 과장해야만 합니다. 왜냐하면 상황이 빠르게 변하고 있기 때문입니다. 독점적인 확산 모델(proprietary diffusion models)들은 개방형 가중치(open-weights) 모델들로 크게 대체되었습니다. 이미지 및 비디오 생성은 이제 우리 없이도 오픈 모델을 사용해서 할 수 있습니다. 매출이 급감했고, 그 이유로 최첨단 연구소들이 조용히 이미지/비디오 생성을 홍보하는 것을 중단했습니다.

다음은 대규모 언어 모델(LLMs) 차례입니다. LeCun 같은 진지한 연구 커뮤니티의 일부조차도 LLM에서 벗어나고 있습니다. 어텐션 논문(attention paper)을 작성했던 사람들은 대부분 Google을 떠나 새로운 연구소와 스타트업에 흩어졌습니다. 효율성과 크기를 보면 추세가 명확합니다. 우리는 1년 안에 Fable 5.1보다 좋거나 더 나은 오픈 가중치 모델을 보게 될 것입니다. 매개변수 효율성(parameter efficiency)에 대한 연구가 진행되고 있으므로, 만약 성공한다면 이런 것이 언뜻한 노트북 같은 장치에서도 어느 날 실행될 수 있을 것입니다.

AGI는 LLM만으로는 수학적으로 불가능합니다. 몇 년 전에 칸토어의 대각선 논법(Cantor's diagonalization argument)을 사용하여 주장하는 논문이 있었습니다. 오래전에 읽어서 이름을 기억할 수가 없습니다. 이 깨달음은 모든 것을 바꿉니다. 그리고 Google 연구원이 2023년에 내부 메모를 유출했는데, 그 내용은 조용히 말해진 것과 같았습니다: "우리에게는 해자(moat)가 없고, OpenAI도 마찬가지입니다." 관심이 있다면 자유롭게 읽어보세요.

2 개별 섹션에 대한 나의 생각

Nemin님께,

저는 최첨단 AI 연구소에서 MLE로 일하고 있습니다. 저는 모델을 훈련시키고, 제가 아는 큰 회사 중 한 곳에서 최첨단 작업을 위한 RLHF를 수행하는 것을 돕습니다.

MLE는 Machine Learning Engineer의 약자이며, 이것은 저 스스로 알아냈는데 매우 명확했기 때문입니다. 하지만 RLHF가 무엇인지는 전혀 몰랐습니다(이전에 RTFM과 GLHF만 들어봤을 뿐이라서 :)). 그래서 찾아보았습니다. 이는 Reinforcement Learning from Human Feedback을 의미하며, 즉 보상 함수(reward function)(AI의 응답이 얼마나

이 이메일은 짧습니다. 저는 NDA(비밀유지협약)가 있어서 내용을 일반적인 수준으로만 유지해야 합니다.

저자가 (앞으로는 그들이 메일에서 사용한 가짜 별명 때문에 'G'라고 부르겠습니다) 이것에 대해 비난하기는 어렵습니다. NDA가 보편적으로 강제되는 것은 아니지만, 여전히 사람의 머리 위에 다모클레스의 검과 같습니다. 즉, '너무 많이 말하면 이 분야에서는 다시 일할 수 없을 것이다'라는 압박이죠.

저는 프로그래밍의 미래에 대해 걱정하는 당신의 게시물을 봤습니다.

여기서 '내 게시물'이란, 윤리적 문제, AI가 가진 인식된 무용성, 그리고 장인 정신(craft)에 대한 사랑 때문에 제가 LLM을 취미 프로젝트에 사용하지 않겠다는 저의 다짐을 의미합니다.

이 선언문을 작성한 이후로 LLM에 대한 제 의견은 약간 바뀌었거나, 아니, 더 정확히 말하면 더욱 미묘해졌습니다:

첫째로, 다양한 코딩 에이전트가 생성하는 결과물이 쓸모없다고 더 이상 말할 수 없습니다. 그리고 여전히 그것들이 순수한 헛소리(gibberish)를 출력한다고 주장하는 사람은 최근에 에이전트를 사용해 본 적이 없는 사람이라고 생각합니다.

저는 여전히 '바이브 코딩(vibe-coding)'을 신뢰하지 않습니다. 왜냐하면 비지도 개발(unsupervised development)은 쓰기 전용 앱(write-only apps)을 초래하며, 시간이 지남에 따라 유지보수 비용이 기하급수적으로 많이 들고, 에이전트의 지속적인 도움 없이는 이해하는 것이 불가능하기 때문입니다.

제 생각에 이것은 자체적인 일종의 '공급망(supply chain)'에 자신을 묶는 것과 같습니다. 여기서 토큰 가격은 끊임없이 변동하며 어떤 실제적이고 측정 가능한 지표에도 기반하지 않습니다. 또한 자신의 컴퓨터에 대한 이해와 숙련도를 향상시키는 데 아무런 도움이 되지도 않습니다. 물론, 이것과는 별개로 뭔가 '바이브'를 타고 돈을 빨리 벌 수는 있겠지만, 저는 그것에는 별로 관심이 없습니다.

하지만 직장에서 AI 사용을 강력하게 권유받은 후, 에이전트가 자유 형식 텍스트 질의(free-form text queries)를 기반으로 코드베이스에 대한 정보를 가져다줄 수 있는 일종의 '비서' 역할을 하는 데 정말 뛰어나다는 것을 알게 되었습니다. grep, find 등도 많은 도움을 줄 수 있지만, '바이브 검색(vibe searching)'은 제가 기존 도구로는 실제로 재현할 수 없었던 방식으로 한 단계 더 나아갑니다.

또한, 사람이 실제로 검토하기 위해 PR(Pull Request)을 제출하기 전에 에이전트를 사전 검토자(pre-reviewer)로 사용하는 것이 불필요한 왕래를 피하는 좋은 방법이라는 것을 알게 되었습니다. 저는 궁극적으로 인간의 판단(저 자신의 판단 포함)에 의존하지만, "어이, 이 라인은 잠재적으로 null을 역참조하고 있다", "이 주석은 코드가 실제로 하는 일로 업데이트되지 않았다"와 같은 문제나 사소한 지적 사항들을 포착하는 것이 좋습니다.

둘째로, 그리고 이것은 약간 역설적으로 들릴 수 있지만,
제가 에이전트의 결과물이 예전에 생각했던 것보다 낫다고 인정했음에도 불구하고,
저는 프로그래밍이라는 직업이 사라질 것이라고 더 이상 기대하지 않습니다. 사실, 이러한 기계적인 앵무새들이 어떻게 "생각하는지" 이해하는 사람들은 그 어느 때보다도 높은 고용 안정성을 가질 것이라고 생각합니다.

제가 첫 글을 쓸 당시에는 대학 생활 거의 5년(그 이전에는 10년 이상의 취미 프로그래밍) 후에 모델이 우리를 완전히 대체할 만큼 충분히 좋아지면 제가 단순히 구식이 될까 봐 진심으로 어느 정도 걱정했습니다.

하지만 에이전트 결과물의 품질 향상을 많이 보았음에도 불구하고, 저는 여전히 수많은 결함(flukes)을 경험합니다. 저희 회사는 최고 수준의 모델 사용을 허용하는데, 이 모델들은 때로는 믿을 수 없을 만큼 유능하고 때로는 끔찍할 정도로 바보 같습니다.

다른 것들 중에서도: 우리가 사용하는 모델은 LSP에 연결되어 있음에도 불구하고 여전히 존재하지 않는 함수를 가끔 환각(hallucinates)처럼 생성합니다. 또한, 두 분기(branch) 모두에서 발생해야 하는 코드를 조건문 안으로 옮기는 경우가 있습니다. 그리고 때로는 그렇게 표시된 레거시 코드(legacy code)를 따르는 스타일로 사용하기 시작하기도 합니다. 그리고 이것은 작은 샘플일 뿐입니다.

기계가 바보 같은 짓을 하지 않도록 루프 안에 인간이 필요합니다. 그리고 앞서 언급했듯이, 저는 에이전트를 마음대로 풀어놓는 타입이 절대 아닙니다. 저는 그것이 10~20줄 이상 생성하는 것을 거의 허용하지 않습니다. 그렇다면 어떻게 저를 통째로 대체할 수 있겠습니까?

대신 저는 최근 'AI 성능 최적화'를 이유로 진행된 해고 물결이 사실은 CEO들이 과장된 기대감에 휩쓸렸고 시장이 포스트 코로나/ZIRP 시대에서 고통스러운 정상화를 경험한 것일 뿐이라고 생각합니다.

그렇긴 하지만, LLM(대규모 언어 모델)이 아무리 편리하더라도, 도덕적 우려와 제가 제 실력을 날카롭게 유지하고 싶다는 사실 때문에 AI 사용을 제 업무에만 국한시키고 싶습니다.

솔직히 말해서, 저는 당신의 일자리보다 제 직업을 잃는 것에 더 걱정됩니다. 어떻게 그게 가능할까요? 내부적으로 저희는 프로그래밍 작업을 위한 모델 확장(scaling)에 한계에 부딪혔기 때문에 많은 사람들이 이직하고 있습니다. 저희 회사에서는 지난 1년 동안 많은 임원들이 퇴사했고, IPO와 관련하여 실제적인 스트레스가 있습니다. 제가 공유할 수 없는 것이 훨씬 더 많지만, 내부적으로 상황이 좋지 않습니다.

재미있게도 저는 Anthropic과 OpenAI 모두 이미 상장(IPO)했다고 생각했지만, 알고 보니 둘 다 그렇지 않았습니다. 아마 숫자들로는 이 사안들을 주식 시장에 올리기에 충분하지 않은 것 같습니다.

나머지 주장들에 대해서는 제가 그 타당성을 확인할 실제적인 수단이 없습니다. AI가 인류를 위험하게 할까 봐 두려워해서 연구원이 퇴사했다는 이야기가 있었지만, 이 사람은 임원급이 아니었고 재정적인 이유가 아니라 윤리적인 이유로 떠난 것으로 보입니다.

저희 같은 연구소에 대한 진짜 위협은 경쟁 우위(competitive moat)가 없다는 것입니다. 상황이 빠르게 변하고 있기 때문에 저희는 수학 문제 해결 능력을 계속 광고하고 과대 포장해야 합니다. 독점 확산 모델(proprietary diffusion models)들은 개방형 가중치 모델(open-weights ones)로 크게 대체되었습니다. 이미지 및 비디오 생성은 이제 우리를 필요로 하지 않고도 오픈 모델로 할 수 있습니다. 매출이 급감했고, 그것이 바로 최첨단 연구소들이 조용히 이미지/비디오 생성을 홍보하는 것을 멈춘 이유입니다.

이 부분은 OpenAI가 두 연구원의 손에서 나비에-스토크스 방정식(Navier-Stokes equations) 진행 상황과 관련하여 잠재적으로 가져갔다는 최근 논란 이후 특히 충격적입니다.

명확히 하자면, G의 메일은 OpenAI가 연구 결과를 발표한 후에 도착했기 때문에 이에 대한 반응이었을 뿐, 사전에 경고한 것은 아니며, G가 OpenAI 소속이라는 증거도 없습니다.

이 인용문의 다른 부분에 대해서는 AI 슬롭 비디오가 얼마나 저렴한 상품이 되었는지 정말 흥미롭습니다. 이것은 단일 제품으로 판매할 가치가 전혀 없습니다. 예전에는 Sora 같은 것이 있었는데, 경제성 면에서 수학적으로 맞지 않아 실패했습니다. 언젠가는 토큰을 파는 것 자체가 무의미한 사업으로 여겨지지 않을까 궁금합니다. 너무나 상품화될 것이기 때문입니다.

다음은 LLM 차례입니다. LeCun 같은 진지한 연구 커뮤니티 일부조차도 이미 LLM에서 벗어났습니다. 어텐션(attention) 논문을 작성했던 사람들은 대부분 Google을 떠나 새로운 연구소와 스타트업에 흩어졌습니다. 효율성과 크기를 보면 추세가 명확합니다. 우리는 1년 안에 Fable 5.1보다 좋거나 같은 오픈 웨이트 모델을 보게 될 것입니다. 파라미터 효율성(parameter efficiency)에 대한 연구가 진행 중이므로, 이것이 성공적으로 이루어진다면 언젠가는 고사양 노트북과 같은 장치에서도 구동될 수 있을 것입니다.

G은 ML 및 컴퓨터 비전 분야의 연구로 알려진 Yann LeCun에 대해 이야기하고 있으며, 그는 올해 4월 LLM이 막다른 길이며 인류가 진정으로 AGI를 추구하려면 새로운 접근 방식이 필요하다는 강연을 했습니다.

그럼에도 불구하고 그는 '개방적이고 주권적인 AI를 위한 협력 재단'에 참여하고 있으니, 여러분은 알아서 받아들이시면 됩니다.

AGI는 LLM으로는 수학적으로 불가능합니다. 몇 년 전 칸토어의 대각선 논법(Cantor's diagonalization argument)을 사용하여 그러하다고 주장한 논문이 있었습니다. 제가 언제 읽었는지 기억나지 않습니다. 이 깨달음은 모든 것을 바꿉니다. 그리고 Google 연구원이 2023년에 내부 메모를 유출했는데, 그 내용은 직설적이었습니다. '우리에게는 해자(moat)가 없고, OpenAI도 마찬가지다.' 관심이 있다면 자유롭게 읽어보세요.

저는 G가 2024년에 자주 인용되는 논문인 Hallucination is Inevitable을 염두에 두고 있다고 의심합니다. 이 논문은 LLM이 환각(hallucinate)하지 않는 것, 즉 완벽한 일반 문제 해결사로 행동하는 것은 불가능하다는 것을 증명했습니다.

다른 논문의 경우, 여기에서 확인할 수 있습니다. 이 문서는 익명의 Google 직원의 것으로 알려진 메모인데, 그가 궁극적으로 거대 프론티어 연구소들이 빌린 시간(borrowed time)으로 살고 있으며 결국 오픈 웨이트 모델이 클로즈드 모델을 따라잡는 것을 넘어 능가할 것이라고 주장합니다.

저는 두 논문 중 어느 것도 상세히 논의할 만큼 충분한 지식을 갖추지 못했습니다. 제가 드릴 수 있는 유일한 의견은 *We have no moat…*가 2023년 자료이며, 지금까지(적어도 저의 제한된 지식에 기반하여) Google 직원이 그렇게 걱정했던 일들이 실제로 발생했다고는 느껴지지 않는다는 것입니다.

클로즈드 모델이 여전히 왕입니다. 현재 역량이 있는 모델들이 존재하지만, 소비자 하드웨어에서 실행될 수는 있어도 아직 그 수준에는 미치지 못하며 또한 하드웨어 측면에서도 상당히 비쌉니다.

G가 이전 세그먼트에서 이 점을 구체적으로 언급했다고 생각합니다. 거기서 그들은 2027년 말까지 오픈 웨이트 Fable 5.1을 볼 것이라고 가정했지만, 그것이 실제로 일어나기 전까지는 우리가 가진 가정을 가지고 작업할 수밖에 없습니다.