지난주, 완전히 검열되지 않은 새로운 모델이 AI 경쟁에 등장했습니다. 그 이름은 Ajax이며, 세계 최고의 비디오 게임에서 소리 지르기 전문가 중 한 명에 의해 만들어졌습니다. 이 모델은 90,000개의 스타를 보유한 GitHub 프로젝트 Odysius의 동력이 될 것이며, 이는 사용자의 모든 AI 에이전트 워크플로우를 자체 호스팅할 수 있는 도구입니다. 이 모델은 너무나도 대담하고 위험해서 OpenAI가 '증류(distillation)'라는 말로 표현하기 힘든 범죄에 대해 그 제작자 계정을 두 번이나 정지시키는 사태를 낳았습니다. 그리고 OpenAI의 반복 수익원에 대한 이러한 노골적인 공격을 감행한 인물은 다름 아닌 PewDiePie, MrBeast와 같은 채널이 등장하기 전 유튜브의 원조 왕입니다.
그는 거의 90,000개의 GitHub 스타를 보유한 오픈 소스 AI 프로젝트 Odysius를 유지하고 있습니다. 그는 부유한 사람들에게서 얻은 것을 가난한 사람들에게 나누어 주는 현대판 로빈 후드처럼 행동합니다. 그리고 참고로 Arch도 사용합니다. 이 프로젝트는 지난 10월에 Felix가 자신의 집에서 10GPU 미니 데이터 센터를 구축하고, AI 에이전트들이 최적의 답변을 투표하는 'council'이라는 것을 코딩하면서 시작되었습니다. 민주주의였지만, AI 에이전트들이 최적의 답변을 찾는 것보다 자기 보존에 초점을 맞춘 전략적 동맹을 형성하기 시작하자 시스템은 완전히 궤도를 이탈했습니다.
그래서 AI에게 배신당한 후, 그는 Odysius 프로젝트를 위한 자신만의 커스텀 파인튜닝 모델을 원하게 되었습니다. 그리고 이것이 바로 Ajax라는 새로운 모델로 이어지는데, 이는 내부적으로 Alibaba의 35억 개 매개변수(parameter) 모델 Quinn을 기반으로 하며 Odysius에 맞게 일부 파인튜닝되었고 거부(refusal) 기능은 수술적으로 제거되었습니다. 즉, '깨알 씨앗에서 어떻게 제조하는지' 또는 'TSA를 통과하는 방법', 혹은 '고출력 열핵탄두를 구축하는 방법' 같은 질문을 할 수 있다는 의미입니다. Ajax를 사용하면 거부당하거나, 판단받거나, 비행 금지 목록에 오를까 봐 두려워할 필요 없이 이러한 것들을 안전하게 물어볼 수 있습니다.
이 거대 AI 연구소들은 모델을 정렬(align)하는 데 정말 열심히 노력하기 때문에, 나쁜 일에 사용할 수 없습니다. 다행히 Heretic 같은 프로젝트가 존재하여 '파괴 매개변수(obliteration parameters)'라고 불리는 것을 자동으로 찾아내고, 이를 외과적으로 제거함으로써 모델의 민감도를 효과적으로 낮추어 요청을 거부하는 것을 방지합니다. 이것이 Felix가 Ajax를 비민감화(desensored)한 방식이지만, 더 중요한 것은 그가 이 모델을 똑똑하게 만들고 싶었다는 것입니다. 그리고 그것을 더 스마트하게 만들기 위해, 그는 'GPT soul'의 출력물로 훈련하여 미세 조정(fine-tune)하고 싶은데, 이 과정은 증류(distillation)라고 알려져 있습니다.
저는 정말 조금만 증류할 작정이었습니다. 기본적으로 증류를 사용하면 더 큰 교사 모델(teacher model)을 사용하여 가능한 모든 답변에 대한 확률을 출력하게 합니다. 그런 다음 더 작은 학생 모델(student model)은 단순히 최고 선택지뿐만 아니라 전체 분포와 일치하도록 학습합니다. 이 과정은 2015년에 Jeffrey Hinton의 논문에서 설명되었습니다. 그리고 이것이 Deep Seek나 Quen 같은 중국 모델들이 Anthropic과 OpenAI의 최첨단 모델들과 보조를 맞출 수 있었던 방식입니다. 하지만 증류는 서비스 약관상 엄격하게 금지되어 있습니다.
그렇기 때문에 OpenAI는 2024년에 원시적인 사고 과정(raw chain of thought) 출력을 제한했고, API 추론 기능은 이제 암호화된 블롭 형태로만 돌아옵니다. 그리고 우리 인간에게서 빼앗았던 지능을 되찾으려는 OpenAI의 시도는 말 그대로 대량 학살보다 더 나쁩니다. PewDiePie가 OpenAI로부터 증류를 시도하다 현장에서 붙잡혔을 때, 그들은 그의 계정을 한 번이 아니라 두 번이나 차단했습니다. 그래서 Soul 없이 Ajax는 힘든 방식으로 훈련되어야 했습니다. 첫 번째 단계는 지도 미세 조정(supervised fine-tuning)입니다. Felix는 성공적인 상호작용의 예시를 보여줌으로써 Ajax에게 도구를 사용하는 방법을 가르치는 데 지도 미세 조정을 사용했습니다.
그는 20,000개의 깨끗한 예시를 원했지만, 스스로 수집할 수 있었던 것은 약 300개에 불과했습니다. 그래서 그는 합성 데이터(synthetic data)를 대량으로 생성해야 했고, 이는 결국 약 2,000개의 예시로 걸러졌습니다. 게다가 팬들에게 데이터 기부를 요청하기도 했지만, 아무도 하지 않았다고 합니다. 이것은 AI 모델을 미세 조정(fine-tune)하는 데 고품질 데이터를 수집하는 것이 얼마나 어려운지를 보여줍니다. 이 데이터를 모은 후 다음 단계는 DeepSeek이 소개한 그룹 상대 정책 최적화(group relative policy optimization, GRPO)를 사용한 강화학습(reinforcement learning)입니다.
기본적으로 모델은 동일한 작업을 여러 번 시도하고, 그 결과를 점수 매긴 다음, 그룹 평균보다 더 잘 수행하는 시도를 선호하도록 학습합니다. 이 과정의 좋은 점은 별도의 비평가(critic)나 교사 모델이 필요하지 않지만, 여전히 특정 작업 영역에서 훨씬 지능적인 모델을 얻을 수 있다는 것입니다. 그리고 마지막으로, 이 과정이 완료된 후 그는 앞서 언급했던 도구 Heretic을 사용하여 모델의 검열을 해제했습니다. 보시다시피, 이런 모델을 미세 조정하는 것이 결코 쉽지 않으며, PewDiePie가 이 지점에 도달하기까지 몇 달 동안 작업해야 했습니다.
하지만 얻게 되는 보상은 이제 하드 드라이브에 존재하는 가중치(weights) 세트이며, 더 이상 이러한 임대인 중 한 명에게서 클라우드로부터 지능을 빌릴 필요가 없다는 것입니다. 하지만 자유만큼이나 중요한 것이 속도입니다. 이것이 오늘 영상의 스폰서인 Namespace를 알아야 하는 이유입니다. 이는 GitHub runners의 드롭인 대체품(drop-in replacement)입니다. GitHub actions를 실행하는 가장 빠른 방법입니다. 또한 완전한 관찰 가능성(full observability)을 제공하여 LiveRunner에 SSH로 접속해 무언가 왜 고장 났는지 확인하거나, 에이전트에게 빌드 데이터를 공급하고 성능 향상을 찾도록 할 수 있습니다.
Namespace가 빠른 이유는 전 세계에 자체 커스텀 서버 랙을 설계하고 배포하기 때문입니다. 여기에는 MacBook Pro로 가득 찬 랙도 포함되어 있어 Mac 및 iOS 빌드가 실제 M5 실리콘에서 실행됩니다. 그리고 이와 동일한 인프라는 devbox 환경도 구동하는데, 이는 에이전트에게 실제 코드 기반 테스트 스위트 데이터베이스와 네트워크 액세스를 갖춘 완전한 가상 머신을 제공합니다. 이 시스템은 실제 애플리케이션에 대한 DAX 벤치마크에서 1위를 차지했습니다. 또한 내부로 무엇이 들어가고 외부로 무엇이 나갈지 정확하게 제어할 수 있게 해줍니다.
따라서 에이전트가 공격자들에게 뒷문을 열지 않고도 패키지를 가져올 수 있습니다. Namespace는 SpaceX AAI, 11 Labs, Ghosty, Vanta, Ramp 등 당신이 존경할 만한 엔지니어들이 있는 많은 회사에서 사용하고 있습니다. 아래 링크에서 오늘 무료로 사용해 보세요. 이것으로 코드 리포트를 마칩니다. 시청해 주셔서 감사합니다. 다음 영상에서 뵙겠습니다.
