GPU 8개짜리 장비와 DGX Spark 2대를 쓰고 있으며, 몇 달째 유료 모델을 사용하지 않고 있음. GPU 8개를 모두 써서 무거운 모델을 돌리거나, 하나만 써서 훨씬 가벼운 모델을 돌림.
토큰을 조금 더 쓰고 결과가 약간 떨어질 수는 있지만, 어차피 직접 검토하므로 쉽게 바로잡을 수 있음. 유료 제공업체에 작업 내용을 넘기지 않는 편이, 매 단계 감시받다가 가끔 “Jacques, 그건 허용할 수 없습니다”라는 제지를 받는 것보다 훨씬 마음에 듦.
예전에는 오락실에서 게임 한 판에 25센트를 냈지만, NeoGeo는 비싸더라도 오락실 수준의 하드웨어를 집에 판매할 수 있음을 깨달았음. Nintendo와 Atari는 비용 20%로 재미의 80%를 제공했고, 역사적으로 오락실은 가정용 게임에 비하면 잠깐의 현상이 될 것임.
Namco, Capcom, Konami는 하드웨어 대신 소프트웨어를 팔게 됐지만, Anthropic 모델 Fable의 가정용 사본을 수천 달러에 사는 날이 곧 올지는 상상하기 어려움. 놀이공원 오락실에서는 실제로 토큰을 사서 게임을 했으니 비유가 절로 들어맞음. 여기서 Fable은 게임이 아니라 Anthropic 모델을 뜻함.
직장에서도 서로 다른 두 부서가 도입을 검토하고 있으며, 이런 용도로 쓸 유휴 GPU도 있는 모양임.
이 구성에 얼마를 썼는지 궁금함. 첫 토큰 출력 시간(TTFT)과 초당 출력 토큰 수는 어느 정도이며, 전력은 얼마나 소비하나요?
무엇을 만드는지에 따라 달라짐. IBM은 브랜드와 인맥으로 계약을 따내고 대기업과 정부에 형편없는 제품을 비싸게 팔아온 전력이 있으니, 값싼 모델을 쓰는 것도 그 행보에 잘 맞음.
엉망인 WebSphere를 써본 입장에서 IBM CEO의 발언을 그리 진지하게 받아들이지는 않음.
Fable처럼 당면한 과제에 최대한 집중하게 해주는 도구 대신, 성능이 조금 떨어지는 모델을 쓰며 도구의 실수까지 추가로 고쳐야 하는 업무 환경이라니 참 기대됨.
GPU를 사거나 빌리지 않고도 OpenRouter와 omp로 공개 모델을 시험할 수 있음. 꾸준히 써보는데, omp에서 GLM 5.3에 DSFV4.1을 조언자로 붙이면 Opus 4.6 수준으로 느껴지고 실제 제품을 출시하기에 충분함.
주로 Anthropic과 OpenAI를 쓰는 이유는 개인 구독 비용이 API 요금의 각각 1/40, 1/50 수준이고 중국 업체 구독보다도 훨씬 저렴해서임. 이 혜택이 사라지면 바로 옮길 준비가 돼 있으며, 계속 돈을 내도록 묶어두는 요소도 없음. 감시에서 벗어나도록 오픈소스 구성을 로컬에서 돌릴 날도 간절히 기다리고 있음.
ChatGPT 출시 이후 하루 평균 10시간씩 LLM에 프롬프트를 입력해왔음. 처음에는 함수 생성에서 시작해 단일 파일 모듈, 여러 모듈로 확장했고, 지금은 추론·설계·구현·테스트를 함께 수행함.
omp에서는 똑똑한 모델로 계획하고 저렴한 모델로 구현할 수 있음. 예를 들어 OpenRouter의 Kimi 3.1로 계획한 뒤, 데이터 보관 없음 설정을 켜고 가격순 정렬과 최소 허용 초당 토큰 수를 지정해 DSFV4로 구현하는 식임.
편한 일자리가 사라져 화나는 마음은 이해하지만, 기술을 잘 활용하면 회사를 통째로 부리는 듯한 자유를 얻을 수 있음. 인간이 아니므로 남을 위해 일하느라 자기 삶을 낭비하는 것도 아님. 대략적으로라도 검증 가능한 일은 거의 모두 맡길 수 있고, 감정이나 지시 거부를 걱정할 필요도 없으며, 필요할 때 대규모로 병렬 실행하거나 며칠씩 쓰지 않아도 됨. 이만큼 역량이 커지고 창의성을 거의 제한 없이 펼칠 수 있다고 느낀 적이 없어, 내게는 정말 꿈같음.
OMP에서 하위 에이전트 모델을 정하는 task 역할만 Deepseek나 Gemini 같은 저렴한 Flash 모델로 설정해도 할당량을 훨씬 효율적으로 쓸 수 있음.
Sol과 Opus는 하위 에이전트를 적극 활용하고, 맡기는 작업도 대체로 명확하며 주 모델이 결과를 검증하므로 더 좋은 모델을 붙일 이점이 거의 없음.
주 모델을 Kimi K3.1 Pro로 바꾸면 거의 100% 공개 모델 구성이 되겠지만, 하위 에이전트를 효과적으로 쓰는지는 모르겠음. 내가 본 다른 공개 모델들은 이를 별로 활용하지 않음.
마침 모델을 돌릴 하드웨어는 IBM이 기꺼이 팔아줄 만한 물건임.
IBM에 일반인이 쓰고 싶어 할 장비가 있는지는 모르겠음. 메인프레임을 쓰지 않는다면 무엇을 살 수 있나요? Power 서버는 아직 팔고, 양쪽에 쓸 수 있는 AI 카드도 있는 듯함.
하지만 IBM CEO가 말하는 온프레미스가 구체적으로 어떤 하드웨어를 뜻하는지 궁금함. IBM이 직접 파는 물건은 아닌 것 아닌가요? 오히려 컨설팅 고객을 겨냥한 발언 아닌가요?
IBM이 대형 LLM을 효율적으로 돌리는 저렴한 하드웨어를 내놓는다면 줄 서서 살 의향이 있음.
진지하게 그래야 하는 것 아닌가요? NVIDIA의 NVL72와 DGX에 맞서야 할 기업이 IBM인데, 자기 시장을 NVIDIA가 가져가는 모습을 지켜보기만 하는 건 납득하기 어려움.
메인프레임을 파는 IBM이 이런 말을 하는 건 당연하지만, 그래도 긍정적인 변화임. 이유는 막대한 영향력·예산·인맥을 가진 거대 기업이 신흥 AI 강자들을 견제하기 시작했기 때문임.
AI 연구소와 달리 IBM은 실리콘밸리의 스타 한 명이 아니라 수많은 구성원으로 이뤄진 조직이므로, 평균만 내도 상식적인 인간의 기준에 훨씬 가까워질 것임.
그 메인프레임 판매업체는 Granite 모델을 무료로 공개하기도 함. 써보니 콘텐츠 검색과 장시간 실행되는 워크플로에 꽤 유능하며, 작은 모델도 잘하거나 오히려 특히 잘하는 편임.
DeepInfer의 공개 수치와 DeepSeek 4.1 Flash의 유용성·인기를 보면, 더 많은 기업이 자체 호스팅을 진지하게 검토하는 흐름은 불가피해 보임. 추론 서비스를 직접 판매하는 방안까지 고려할 수 있음.
대부분의 기업은 랙 두세 개로 유용한 AI 인프라를 만들 수 있지만, 커널 엔지니어와 네트워크 담당자를 확보하고, 네트워크상 가까운 GPU끼리 모델을 배치하며, 결과 캐싱을 최적화하는 데 어려움을 겪을 것이라고 함. 에이전트형 AI라는 걸 들어보긴 했나요? Claude나 ChatGPT를 켜고 이 모든 걸 어떻게 하는지 물어보면 됨.
일회성 작업이 아님. 온프레미스 추론에서 GPU를 최대한 활용하려면 지속적인 모니터링과 조정이 필요하며, 성능 차이가 25~50%에 달함. 현재는 전담 추론 엔지니어가 필요함.
그건 인간이 학습하고 적응하며 문제를 해결할 수 있다는 전제임. 하지만 기업은 채용처럼 수익성 있는 거래를 찾을 때 그런 가능성까지 고려하고 싶어 하지 않음.
프롬프트를 제대로 작성할 수 없다면 그렇게 해서는 안 됨. LLM은 제대로 된 심층 방어 없이 기성 요소를 가져다 붙이기 쉬워 잠재적인 재앙이 될 수 있음. 내부망에서만 쓴다면 위험이 조금 줄겠지만, 여전히 위험함.
큰손 고객들은 쉽게 자체 호스팅할 수 있으니 최첨단 AI 업체들은 끝장임.
그 고객의 경쟁사가 더 똑똑한 최첨단 모델에 돈을 쓰기로 하면 어떻게 되나요?
자사 이해관계에 맞춘 CEO 발언에 무게를 싣는 일을 그만하면 좋겠음. IBM은 당연히 우리가 이렇게 믿기를 바랄 것이고, 실제로 그렇다면 큰 이익을 얻을 것임.
실제로 맞을 수도 있지만, IBM CEO가 맞다고 하는 것이나 최첨단 AI 연구소가 아니라고 하는 것이나 그 자체로 알려주는 건 전혀 없음.
기술 업계에 오래 있었지만 IBM이 무슨 일을 하는지 전혀 모르겠음. 내가 고객이 아니라는 건 알겠고, 우리 회사보다 훨씬 큰 초대형 기업들이 고객일 거라고 짐작함.
내가 속하지 않은 특별한 모임이 있거나, IBM은 사실 반쪽짜리 랙 세 개를 코트로 감싼 채 수백만 달러짜리 청구서를 보내고, 기업들은 “IBM이니 중요한 일이겠지” 하며 돈을 내는 게 아닐까 싶음.
역설적으로 내가 다녔던 작은 회사 중 한 곳에서도 IBM 제품을 도입하려 한 적이 있음. 무슨 용도였고 저렴한 대안보다 무엇이 나았는지는 지금도 불분명해서, 경영진 누군가가 멋진 영업 발표에 넘어간 것으로 추측함. 통합 작업에 많은 공수를 들였지만 결국 실제 운영에는 들어가지 못했음.