프로덕션 환경에서의 오픈 웨이트: Chain of Thought를 통해 얻은 빌더의 다섯 가지 시사점

DeepSeek R1이 등장하며 바뀐 점은 무엇인가?

DeepSeek이 하룻밤 사이에 AI 경쟁을 바꾸면서, 해당 쇼에서 논의된 내용은 뉴스가 아직 정리되는 과정에 녹음되었습니다. 이러한 타이밍은 빌더들에게 중요합니다: 이 에피소드를 사람들이 비용과 개방성을 어떻게 재정립하고 있었는지 보여주는 스냅샷으로 간주해야 합니다.

실질적인 시사점은 가격 하한선(price floor)입니다. DeepSeek의 R1 출시로 인해 오픈 모델이 얼마까지 책정될 수 있는지, 그리고 그것이 앞으로 모델을 구축하는 방식에 어떤 의미를 가지는지에 대한 재고가 강요되었습니다. 수출 통제와 'Agents as a Service'는 2차적인 질문으로 언급되었지만, 빌더들이 취해야 할 조치는 더 간단합니다. 추론 예산 가정과 에이전트 기능 로드맵을 다시 실행해 보세요. 왜냐하면 이 대화는 또한 무작위 단일 턴 데모를 넘어선 에이전트 행동에 대한 진지한 평가의 필요성과 더 큰 에이전트 스택을 연결했기 때문입니다.

만약 도구, 메모리 또는 다단계 흐름(multi-step flows)을 추가하고 있다면, 트래픽을 확장하기 전에 에이전트 성능을 어떻게 측정할지 계획하세요. 이 에피소드는 R1의 충격과 복잡성이 요구하는 가드레일 계층으로서의 에이전트 평가를 짝짓습니다.

요약 작업 하나가 Qwen 모델 미세 조정(fine-tuning)을 정당화하는 경우는 언제인가?

Intercom이 GPT 대신 오픈 모델을 사용하며 월 $250K를 절감한 방법은 쇼에서 가장 구체적인 프로덕션 환경에서의 오픈 웨이트 워크스루입니다. Intercom은 GPT를 사용하여 단일 요약 작업에 월 $250K를 지출했지만, 미세 조정된 14B Qwen 모델로 전환하여 그 비용의 거의 전부를 절감했습니다.

시스템 전체를 복사하지 않고 '모델 교체, 비용 절감' 같은 문구만 복사해서는 안 됩니다. Fergal Reid의 Fin에 대한 이야기는 해결률이 약 30%에서 거의 70%로 높아졌으며, 이 상승분의 대부분은 핵심 프론티어 LLM 자체를 교체하는 것보다는 맞춤형 재순위 지정기(re-rankers), 검색 모델(retrieval models), 그리고 질의 정규화(query canonicalization)에서 나왔다는 것입니다. 벤치마크는 실제 운영 환경과 다를 수 있습니다 (Goodhart의 법칙이 에피소드에 명확히 나타납니다). 따라서 Intercom은 소프트한 정의와 하드한 정의를 사용한 A/B 테스트에 의존했습니다.

제가 가져가고 싶은 결정 규칙은 이렇습니다. 월별 비용 항목으로 작업을 분리하고, 더 작은 오픈 모델과 파인튜닝이 API 지출을 능가하는지 물어보세요. 만약 작업이 좁다면(요약, 정규화), 전념하기 전에 벤치마크를 넘어선 운영 테스트를 실행하세요. Reid가 설명한 지연 시간(latency)의 어려움을 기억하세요. 느린 응답 속도가 해결률을 높일 수 있으며, 이는 오직 속도만 최적화하려는 본능을 깨뜨립니다.

GPU를 선택하지 않는다면 오픈 생태계 베팅은 무엇을 의미하는가?

AMD의 NVIDIA에 대한 도전: 오픈 생태계 베팅은 하드웨어 중심적이지만, 빌더가 얻을 교훈은 '종속성(lock-in)'입니다. Anush Elangovan은 CDNA 4 아키텍처 기반의 AMD MI350 시리즈를 언급하며, ROCm 7 및 프론티어 모델에 대한 Day Zero 지원이 포함된 AMD Developer Cloud와 결합하여 그가 놀랍다고 부르는 20 페타플롭스의 FP4 성능을 전체 스택 추진의 일부로 제시했습니다.

Sharon Zhou가 담당한 대화의 절반은 기여를 실제로 만드는 것에 관한 것입니다. 즉, 커뮤니티 작업, 교육, 개발자 경청에 대한 행복한 경로(happy path)이며 오픈 소스를 단순한 보도 자료 이상의 것으로 취급하는 것입니다. 애플리케이션 팀에게 얻을 교훈은 탈출구(escape hatches)를 아는 것입니다. 만약 학습이나 서비스가 한 공급업체의 CUDA 전용 경로에 의존한다면, 여러분의 오픈 모델 전략은 여전히 인프라 비용이나 이식성 문제로 인해 실패할 수 있습니다. 가정을 확정하기 전에 스택이 신뢰할 수 있는 두 번째 거처를 가지고 있는지 물어보세요.

안전성을 무시하지 않으면서 온-머신(on-machine) 오픈 에이전트를 어떻게 배포해야 하는가?

AI, 오픈 소스(open source), 그리고 개발자 안전성(developer safety)에 대한 내용은 Block의 Rizel Scarlett과의 팟캐스트([https://chainofthought.show/podcast/10-ai-open-source-and-developer-safety-blocks-rizel-scarlett/])에서 다루어졌으며, 이 내용은 엔지니어링 작업을 자동화하도록 구축된 Block의 온디바이스(on-machine) 오픈 소스 에이전트인 Goose에 초점을 맞추고 있으며, 여기에는 Block 직원을 위한 마이그레이션 시작 작업도 포함됩니다. 또한 Block은 Anthropic과 MCPs를 공동으로 진행했는데, 이는 제 생각으로는 오픈 에이전트가 여전히 다른 사람들의 작업 생태계 안에 존재한다는 것을 상기시켜 줍니다. 이것이 제공하는 것은 스택의 더 많은 부분을 검사하고 적응할 수 있는 능력입니다.

Rizel Scarlett은 개발자 안전성(developer safety)과 오픈 소스 에이전트 도구를 연결하며, 여기에는 주니어 개발자를 위한 심리적 안전성(psychological safety), 그리고 개발자 도구 구축 시 책임감 있고 윤리적인 사용 및 커뮤니티 참여가 포함됩니다. 실질적인 절차는 다음과 같습니다: 정책이 허용하는 경우 민감한 작업은 온디바이스 에이전트에 기본값으로 위임하고, 에이전트가 건드릴 수 있는 것을 문서화하며, 가드레일(guardrails)을 유지하면서 개방성을 커뮤니티 검토에 참여시키는 이유로 간주합니다.

기업들은 오픈 소스 대 독점적 방식 중 무엇을 고려해야 할까요?

첫 번째 에피소드는 'AI의 현황: 오픈 소스 모델과 기업 신뢰(The state of AI: open-source models and enterprise trust)'([https://chainofthought.show/podcast/1-the-state-of-ai-open-source-models-and-enterprise-trust-may-habib/])였으며, 이는 오픈 대 독점적 방식을 벤치마크 경쟁보다는 기업 신뢰 문제로 프레임화합니다. 작가이자 CEO인 May Habib은 규모에 맞춰 생성형 AI(GenAI)를 구현하는 것과 GenAI를 프로덕션화하는 어려움에 대해 이야기합니다.

저는 매개변수 개수(parameter counts)보다 신뢰 아티팩트(trust artifacts)로 체크리스트를 시작할 것입니다: 출력물에 대한 책임은 누가 지는가, 인간이 루프 안에 어떻게 머무르는가, 그리고 데모에서는 결코 보지 못했던 배포 시 어떤 것이 고장 나는가. 규제와 선거 기간 정책이 에피소드 프레이밍에 나타나지만, 제가 그녀의 세그먼트에서 얻은 빌더 질문은 고객이 오픈 웨이트(open weights) 여부와 관계없이 시스템을 프로덕션 환경에서 신뢰할 수 있느냐 하는 것입니다.

하나의 작업에 대한 경로 비교를 위한 선택적 스케치 (일러스트레이션용이며 Intercom의 파이프라인은 아님):

체크리스트

• 오픈 모델 가격 급변(R1 규모 이벤트) 이후 추론 예산을 재조정하고, 도구 사용 흐름을 확장하기 전에 에이전트 평가를 추가하세요.
• 지출이 많은 단일 작업의 경우, Intercom의 패턴을 따르세요: 파인튜닝된 오픈 웨이트에 검색(retrieval), 재순위화(re-ranking), 표준화(canonicalization)를 결합하고, 리더보드 신뢰 대신 프로덕션 A/B 테스트를 수행하세요.
• 훈련 파이프라인을 확정하기 전에 하드웨어 및 소프트웨어 종속성(CUDA 전용 경로 대 ROCm이나 개발자 클라우드의 Day Zero 지원 같은 오픈 스택 옵션)을 파악하세요.
• Goose와 같은 오픈 에이전트를 명확한 온디바이스 경계, 필요한 경우 MCP 통합, 그리고 주니어급 팀에게 적합한 명시적인 안전 수칙과 함께 출시하세요.
• 엔터프라이즈 구매자의 경우, 오픈 소스 이념보다 신뢰와 프로덕셔닝 경험(이 에피소드의 틀)을 먼저 제시하세요.

이 주제에 대한 더 많은 내용과 관련 에피소드는 Chain of Thought에서 확인할 수 있습니다. 여기는 이 에피소드를 참고했습니다.

에피소드 스크립트를 기반으로 AI의 도움을 받아 초안 작성됨.