Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 외부 LLM 제공업체에 의존하는 것의 위험성을 지적하며, 자체 LLM 프록시를 운영하여 데이터와 인프라를 직접 통제해야 함을 강조합니다. 사용자는 API 및 서버 엔드포인트를 커스터마이징하고, 추적 가능한 상세한 로그(토큰 사용량 등)를 확보하는 것이 중요하다고 주장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Posts의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기제목이 아이디어를 완전히 포착한다고 생각하지만, 여기는 Twitter가 아니므로 깊이 파고들어 보겠습니다.
당신은 어떤 아이디어, 코드 조각, 또는 연간 수십억 달러 규모의 SaaS 애플리케이션을 개발하고 있을 것입니다. 아마도 세상을 구하는 일을 하고 있을지도 모릅니다. 어쩌면 Labubu 신규 출시 이미지를 가져와 클로닝 프로세스를 자동화하고, 2D 이미지를 ComfyUI를 이용해 3D CAD로 변환하여 복제품 생산을 더 빠르게 시작할 수도 있습니다. 왜냐하면 CNY(중국 국경절)가 다가오고 그 무렵 글로벌 제조가 중단되기 때문일 수 있습니다. 아니면 McRib의 막영양소 정보를 검색하기 위해 토큰을 사용하고 가장 강력한 컴퓨터 소프트웨어를 이용하는 것을 좋아할 수도 있습니다.
당신은 아마도 선택한 제공업체의 유료 구독과 연결된 어떤 종류의 프런트엔드(frontend)와 채팅하고 있을 것입니다. TUI, GUI, 음성 통화 등 무엇이든 상관없습니다. 당신의 데이터가 들어가고 그들의 데이터가 돌아오는 것이죠. 이것이 그들이 파는 것이며, 저는 지금 당장 그것을 살 의향이 있습니다. 그들은 작업이 진행되고 있다는 증거로 다음과 같은 것을 보여줄 것입니다:
yikes y'all
그것은 주의 산만입니다. 이것은 엔지니어에게 필요한 시계열 데이터가 포함된 토큰 사용 통계가 아닙니다. 이 헛소리로는 결정을 내릴 수 없습니다. 분명히 대형 연구기관(big labs)들은 분석 패널(Analytics panel)을 파고드는 호기심 많은 사용자에게 가치 있는 통찰력을 공유할 것이라고 생각합니다.
이 헛소리로는 결정을 내릴 수 없습니다. 이미
저는 여러분이 사용할 프록시 제공업체를 추천할 생각은 없습니다. 단지, 여러분 스스로 통제할 수 있는 곳에 운영하라는 것입니다. 하나를 선택할 때, 실제 필요에 맞게 수정할 수 있다는 것을 잊지 마세요. 저는 더 나은 인사이트와 사용자 정의 MCP 서버 엔드포인트, 추가 기능을 위해 제 프록시를 수정했습니다. 어떤 것을 선택하든, 데이터 측면에서는 이런 것들과 유사한 것을 얻어야 합니다.
코딩 세션 중에 캐시 미스(cache miss)가 발생하면, 저는 손으로 20초 만에 그 원인을 정확히 파악할 수 있습니다. 자동화하지는 않았지만, 제가 사용하는 프록시는 API를 가지고 있어서 자동화하는 것이 가능합니다.
인프라, 애플리케이션 가시성(application visibility), 데이터 경로 지정(data pathing), 그리고 스토리지까지 직접 소유해야 합니다. 저는 이것을 집에서 하기 때문에 재미있고 배우는 방식이거든요. 직장에서 하는 이유는 제가 그렇지 않으면 제 일을 제대로 하고 있지 못하기 때문입니다. 거대 언어 모델(LLM)이 어떻게 작동하는지 인터뷰에서 화이트보드로 설명할 만큼 완벽하게 이해하지 못할 수도 있습니다. 하지만 추적하고, 서빙 인퍼런스(serving inference)를 하는 동안 계측(instrumented)되도록 만들 수는 있습니다.