(https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fw6wmj29mtay5x07vg1l1.png)

AI 분야가 다음 대형 모델 출시를 기다리며 숨을 죽이는 듯한 주들이 있습니다. 그리고 이번 주처럼, 뉴스가 벤치마크나 파라미터 개수에 관한 것이 아니라 돈, 습관, 그리고 내부에서 조용히 일어나고 있는 변화에 관한 주들도 있습니다.

제가 실제로 주목한 내용을 설명해 드리겠습니다.

Stripe + OpenRouter: AI 미들 레이어에 대한 100억 달러의 베팅

이번 주 가장 큰 수치는 다음과 같습니다. Stripe가 OpenRouter를 약 100억 달러 규모로 인수하는 논의를 진행 중이라고 보도되었습니다. 참고로, OpenRouter는 불과 두 달 전 Alphabet의 CapitalG가 주도한 1억 1,300만 달러 투자 이후 약 13억 달러로 평가받았습니다. 이는 90일이 채 안 되는 기간 동안 7배나 가격이 오른 것입니다.

저는 사이드 프로젝트를 위해 OpenRouter를 간헐적으로 사용해 왔는데, 주로 특정 API 키에 얽매이지 않고 다양한 모델을 오가기 위함입니다. 매우 편리합니다. 70개 제공업체의 400개 이상의 모델을 단일 엔드포인트에서 이용할 수 있습니다. 하지만 100억 달러라니? 이 기업 가치는 OpenRouter가 현재 무엇인지보다는, 그것이 상징하는 바에 관한 것입니다.

Stripe는 모델 마켓플레이스를 사는 것이 아닙니다. 그들은 **파이프(pipe)**를 사고 있는 것입니다. 생각해 보세요: 제공업체에 구애받지 않고 유지하려는 모든 AI 애플리케이션에는 라우팅 레이어가 필요합니다. OpenRouter는 이미 결제에 Stripe를 사용하고 있습니다. 만약 인수가 성사된다면, Stripe는 전체 파편화된 LLM 생태계의 인프라 계층을 장악하게 됩니다. 이는

제가 주목하고 있는 한 가지는 이것이 인디 개발자(indie developer) 집단에 어떤 영향을 미칠지입니다. OpenRouter는 저렴하고 유연한 모델 접근성을 원하는 개인 개발자들에게 필수적인 도구였습니다. 만약 Stripe가 취미 활동가의 유연성 대신 기업용 서비스 수준 협약(SLA)을 최적화하기 시작한다면, 그 문은 닫힐 수도 있습니다.

Karpathy의 10분 횡설수설 방식 (네, 실제로 효과가 있습니다)

Andrej Karpathy는 이번 주에 매우 공감 가는 글을 게시했습니다. 그는 가끔 음성 모드를 켜고 LLM을 향해 약 10분 동안 그냥 **횡설수설(rambles)**을 한다고 말했습니다. 오타를 포함하여 의식의 흐름대로 말하는 것이죠. 그는 심지어 봇에게 자신의 생각이 엉망일 것이라고 미리 경고하기도 합니다.

"때로는 LLM이 당신이 달성하려는 것을 이해하기 위해 더 많은 비트(bits)가 필요할 때가 있습니다,"라고 그는 썼습니다.

저도 이것을 시도해 보았습니다. 솔직히 말해서 처음에는 정말 우스꽝스럽게 느껴졌습니다. AI가 그것을 일관된 무언가로 재구성하려고 노력하는 동안, 빈 화면을 향해 반쯤 완성된 아이디어에 대해 떠드는 것 말입니다. 하지만 효과가 있습니다. 제가 그렇게 생각하는 이유는 다음과 같습니다.

우리 대부분은 프롬프트(prompt)를 과도하게 최적화합니다. 완벽한 쿼리(query)를 만들기 위해 쓰고 또 씁니다. 하지만 모델들은 실제로 노이즈(noise)에서 신호(signal)를 추출하는 데 꽤 능숙합니다. Karpathy의 접근 방식은 역학 관계를 뒤집습니다. 인간은 엉망인 상태로 두고, 모델이 정리하도록 하는 것입니다. 이는 인지 부하(cognitive load)를 마땅히 있어야 할 곳으로 옮겨줍니다.

사실 저는 로컬 모델(local models)로 이와 유사한 일을 해오고 있습니다. Gemma 4를 로컬에서 실행하면서, 회의가 끝난 후 거친 메모가 담긴 음성 메모를 쏟아붓고 그것을 구조화해 달라고 요청하곤 합니다. 전사(transcription)가 완벽하지는 않지만, 결과물은 제가 완벽한 프롬프트를 작성하려고 15분을 소비했을 때 얻을 수 있는 것보다 보통 더 낫습니다.

X에서의 반발은 예상 가능했습니다. 사람들은 이를 게으른 프롬프팅(lazy prompting)이라고 불렀습니다. 하지만 솔직히 말해서, 결과물의 품질이 같거나 더 좋다면 과정이 어떠하든 누가 신경 쓰겠습니까?

로컬 LLM: 아무도 이야기하지 않는 조용한 혁명

이번 주 XDA에 제가 한동안 느껴왔던 점을 정확히 짚어낸 훌륭한 글이 올라왔습니다. 저자는 사용자가 챗봇 구독료를 지불하면서까지 얻고 싶지 않은, 로컬 LLM(Large Language Model)이 제공하는 네 가지 기능을 제시했습니다. 바로 수기 전사 (Handwriting transcription), 노트 정리, 기밀 문서 처리, 그리고 빠른 코드 스니펫 (Code snippets) 생성입니다.

핵심 통찰: 로컬 모델은 속도를 제한하지 않고, 등급을 나누지 않으며, 사용자가 얼마나 많은 요청을 보내는지 신경 쓰지 않습니다.

저 또한 집에서 8GB GPU를 탑재한 유사한 환경을 운영하고 있습니다. 속도가 빠르지는 않습니다. 운이 좋은 날에도 초당 5~10 토큰 (tokens per second) 정도입니다. 하지만 제가 실제로 일상에서 AI를 사용하는 용도(이메일 초안 작성, 기사 요약, 코드 아이디어 구상 등)로는 충분하고도 남습니다. 그리고 개인정보 보호 (Privacy) 측면은 어떨까요? 그것이 진정한 핵심입니다.

Gemma 4의 시각 기능 (Vision capabilities)은 개인적으로 게임 체인저가 되었습니다. 브레인스토밍 세션이 끝난 후 화이트보드를 사진으로 찍어 모델에 넣으면, 구조화된 마크다운 (Markdown) 형식으로 결과를 돌려받습니다. 데이터는 제 기기를 떠나지 않습니다. 구독료도 없습니다. "사용 한도에 도달했습니다"라는 메시지도 없습니다.

단점은 여전히 설정에 약간의 손질이 필요하다는 점입니다. 바로 사용할 수 있는 플러그 앤 플레이 (Plug-and-play) 방식은 아니며, 구형 하드웨어에서 실행할 경우 경험이 답답할 수 있습니다. 하지만 개인정보 보호를 중시하고 매달 나가는 고정 비용을 원치 않는 사람에게 그 궤적은 명확합니다.

Quick Hits: AI 안전성에 플러그인이 추가되다, 한국 연구진의 망각 문제 해결

언급할 만한 짧은 소식 두 가지가 있습니다:

누군가 OpenCode를 위한 정적 검증 (Static verification) 플러그인인 Guardians를 구축했습니다. 이 플러그인은 AI 에이전트의 도구 호출 (bash, read, write)을 가로채어, 실행 전에 Z3 경로 제약 조건 (Path constraints), 오염 분석 (Taint analysis), 그리고 보안 오토마타 (Security automata)를 통해 검증합니다. 본질적으로 AI 에이전트 작업에 대한 형식 검증기 (Formal verifier)라고 할 수 있습니다. 이 아이디어는 Erik Meijer의 CACM 논문 "Guardians of the Agents"에서 영감을 얻었습니다. 어떤 종류의 에이전트 워크플로 (Agentic workflow)를 실행 중이라면 살펴볼 가치가 있습니다. 모든 잘못된 결정을 막을 수는 없겠지만, 명백한 오류들은 잡아낼 수 있을 것입니다.

한편, 한국의 연구진들이 LLM(대규모 언어 모델)이 새로운 데이터로 미세 조정(Fine-tuning)될 때 이전 지식을 잃어버리는 경향인 파괴적 망각(Catastrophic forgetting) 문제를 일부 해결했다고 주장하고 있습니다. 세부 사항은 부족하지만(원본 기사는 보안 벽 뒤에 가려져 있습니다), 이 접근 방식은 모델의 내부 파라미터(Parameters)를 수정할 필요가 없는 것으로 보이며, 만약 이것이 확장 가능하다면 매우 큰 사건이 될 것입니다. 재현 가능한 결과를 직접 보기 전까지는 믿지 않겠지만, 계속 지켜볼 가치는 있습니다.

시장은 빠르게 움직이고 있습니다. 100억 달러 규모의 인수, 실용적인 로컬 설정의 실현 가능성, 그리고 성능 곡선을 서서히 따라잡고 있는 안전 도구(Safety tooling)들까지 말입니다. 6개월 뒤에 우리가 어디에 있을지는 모르겠지만, 제가 보고 있는 패턴은 명확합니다. 인프라 계층(Infrastructure layer)은 통합되고 있고, 사용자 행동 계층(User behavior layer)은 점점 더 기이하고 흥미로워지고 있으며, 오픈 소스/로컬 측면은 대부분의 실제 작업에 충분할 정도로 조용히 발전하고 있습니다.

이번 주에는 램블(Ramble) 방법을 시도해 보세요. 이것이 프롬프팅(Prompting)에 대한 당신의 생각을 바꾸는지 확인해 보시기 바랍니다.

로컬 모델 실행을 고민 중이신가요? Decision Calculator가 실제로 필요한 하드웨어를 파악하는 데 도움을 줄 수 있습니다.