저는 '컨텍스트 스위칭 비용 (context switching tax)'이 개발자의 생산성을 갉아먹는 것을 지켜보며 많은 시간을 보냈습니다. Cursor에서 리팩토링에 깊이 몰입해 있다가, 빠른 다이어그램을 생성하거나 문서 스크린샷에 대해 OCR을 실행해야 한다는 사실을 깨닫습니다. 흐름을 유지하는 대신, 브라우저를 열고, 다른 UI로 이동하여 프롬프트를 입력하고, 결과를 다운로드한 다음, 다시 IDE 컨텍스트에 업로드하는 자신을 발견하게 됩니다. 이는 잘못된 방식입니다.

Model Context Protocol (MCP)는 에이전트가 도구를 '사용'할 수 있게 함으로써 이 문제를 해결할 예정이었습니다. 하지만 대부분의 사람들은 여전히 MCP를 기본적인 API 통합처럼 취급하고 있습니다. 채팅용 서버 하나, 이미지용 하나, 임베딩 (embeddings)용 하나와 같은 식입니다. 이러한 파편화는 단지 혼란을 브라우저 탭에서 claude_desktop_config.json으로 옮기는 것에 불과합니다.

최근 저는 Vinkius를 통해 DeepInfra MCP 서버를 사용하기 시작했는데, 이는 제가 목격해 온 특정 문제를 해결해 주기 때문입니다. 즉, GitHub에 새로운 모델이 출시될 때마다 커스텀 통합 로직을 작성하거나 단 하나의 GPU라도 직접 관리하지 않고 어떻게 에이전트에게 거대한 멀티모달 (multi-modal) 능력을 부여할 것인가 하는 문제입니다.

인프라 격차: 서버리스 (Serverless) vs. 로컬 헤비 리프팅 (Local Heavy Lifting)

우리 모두 그런 경험이 있습니다. Llama 3.3-70B 또는 DeepSeek-V3를 로컬에서 실행하고 싶어 합니다. 그것이 더 '안전'하거나 프라이버시 보호에 좋다고 생각하기 때문이죠. 그러고 나면 CUDA 드라이버, Python 환경, 그리고 VRAM에 간신히 들어가는 양자화된 가중치 (quantized weights)와 싸우느라 세 시간을 허비합니다. 더 나쁜 경우는 텍스트, 이미지, 임베딩과 같은 서로 다른 작업을 위해 전문화된 추론 엔드포인트 (inference endpoints) 군단을 관리하려고 시도하는 것입니다.

DeepInfra MCP 서버는 서버리스 LLM 추론을 사용하여 이 계산 방식을 바꿉니다. 이것은 단순히 '또 다른 API'를 갖는 것에 관한 것이 아닙니다. 통합된 도구 세트를 통해 에이전트에게 방대한 모델 라이브러리를 제공하는 것에 관한 것입니다. create_chat_completion 도구를 사용할 때, 단 하나의 모델에 국한되지 않습니다. 동일한 대화 컨텍스트 내에서 복잡한 로직을 위해 DeepSeek-V3를 사용하고, 빠른 요약을 위해 Llama 3.3을 사용하도록 에이전트에게 지시할 수 있습니다.

이것은 마케팅적인 '속도'에 관한 것이 아닙니다. 수동 워크플로우에서 모델 선택의 마찰(friction)을 제거하는 것에 관한 것입니다. 인프라가 힘든 작업을 처리하며, 당신은 도구 호출(tool call)을 통해 프롬프트만 제공하면 됩니다.

도구 세트 분석: 단순한 채팅 그 이상

이 서버의 문서를 대충 훑어본다면, 단순히 OpenAI 스타일의 완성(completions)을 위한 래퍼(wrapper)라고 생각할 수도 있습니다. 바로 그 지점에서 대부분의 사람들이 실제적인 아키텍처적 이점을 놓칩니다. DeepInfra가 MCP를 통해 실제로 노출하는 내용을 자세히 살펴보면, 여기에는 세 가지 뚜렷한 유틸리티 계층이 있습니다.

1. 멀티모달 파이프라인 (generate_image)

에이전트 워크플로우(agentic workflows)에서 가장 큰 마찰 지점 중 하나는 '시각적 격차(visual gap)'입니다. Claude에게 UI 컴포넌트를 위한 코드를 작성하라고 요청할 수는 있지만, 사용자가 수동으로 개입하지 않고서는 에셋을 쉽게 '보거나' '생성'할 수 없습니다. generate_image 도구를 통해 black-forest-labs/FLUX-1-schnell을 워크플로우에 직접 통합한다는 것은 당신의 에이전트가 에셋 생성기(asset generator)가 된다는 것을 의미합니다.

당신은 말 그대로 다음과 같이 프롬프트를 작성할 수 있습니다: "FLUX를 사용하여 고품질의 사이버펑크 도시 이미지를 생성하고, 그 설명을 사용하여 이 히어로 컴포넌트(hero component)를 위한 CSS를 생성해줘." 에이전트는 도구를 실행하여 URL을 가져온 다음, 이어서 코드를 작성합니다. 루프가 완성된 것입니다. 브라우저 탭을 열 필요가 없습니다.

2. 임베딩을 통한 의미론적 메모리 (create_embedding)

이 지점이 바로 '채팅'에서 '엔지니어링'으로 넘어가는 단계입니다. RAG (검색 증강 생성, Retrieval-Augmented Generation) 파이프라인을 구축하거나, 단순히 에이전트에게 로컬 문서를 검색하는 더 나은 방법을 제공하려 한다면 벡터(vectors)가 필요합니다. create_embedding 도구를 사용하면 에이전트가 텍스트를 가져와 BAAI/bge-large-en-v1.5와 같은 모델을 사용하여 고차원 벡터로 변환할 수 있습니다.

방대한 양의 텍스트 블록을 프롬프트에 그대로 붙여넣는 대신(이는 비용이 많이 들고 컨텍스트 제한에 걸립니다), 에이전트가 임베딩 프로세스 자체에 참여할 수 있습니다. 에이전트는 데이터 파이프라인의 일부가 되어, 의미론적 검색(semantic search)을 위한 준비가 된 청크(chunks)를 생성하게 됩니다.

3. '비표준(Non-Standard)' 문제 (run_native_inference)

이것은 이 서버에서 가장 중요한 도구이지만, 모두가 그냥 지나치는 것이기도 합니다. 대부분의 개발자는 OpenAI 스펙(spec)—채팅 완성(chat completions), 이미지, 임베딩(embeddings)—의 관점에서만 생각합니다. 하지만 실제 환경의 자동화는 이러한 깔끔하고 정형화된 구조를 따르지 않는 모델들을 필요로 하는 경우가 많습니다. 예를 들어, 음성-텍스트 변환(speech-to-text)을 위한 Whisper, 특화된 OCR 모델, 또는 커스텀 비디오 생성 배포(deployments) 등이 이에 해당합니다.

run_native_inference 도구는 만능 해결사(catch-all) 역할을 합니다. 이 도구는 에이전트가 표준 채팅 API의 '스펙을 벗어난(out of spec)' 기술적 작업들을 위해 DeepInfra의 인프라를 호출할 수 있게 해줍니다. 오디오 파일을 전사(transcribe)하거나 복잡한 PDF에서 OCR 작업을 수행해야 한다면, 이 도구가 그 가교 역할을 제공합니다. 이를 통해 당신의 AI 에이전트는 단순한 텍스트 처리기에서 멀티모달(multi-modal) 자동화 엔진으로 진화합니다.

프로덕션의 현실: 보안과 사용 편의성

저는 개발자가 OAuth 콜백(callback)을 설정하려고 두 시간을 허비하거나, 로컬 Python 환경에서 왜 DeepInfra 라이브러리를 찾을 수 없는지 디버깅하며 끝나는 '멋진' MCP 튜토리얼을 너무나 많이 보았습니다. 이는 추진력을 꺾어버립니다.

하지만 더 중요한 것은, 우리가 직면한 '보안이라는 거대한 문제(security elephant in the room)'를 다룬다는 점입니다. AI 에이전트에게 이미지 생성이나 복잡한 추론(inference)을 트리거할 수 있는 도구에 대한 접근 권한을 부여하는 것은, 본질적으로 에이전트에게 당신을 대신하여 코드나 요청을 실행할 수 있는 방법을 주는 것과 같습니다. Vinkius의 모든 실행 컨텍스트(execution context)는 DLP(데이터 손실 방지, Data Loss Prevention), SSRN 방지, 그리고 HMAC 감사 체인(audit chains)을 포함한 8가지 별도의 거버넌스 정책이 적용된 격리된 V8 샌드박스(sandbox) 내에서 실행됩니다. 당신의 에이전트가 DeepInfra를 호출할 때, 이는 '환각(hallucinated)'된 도구 호출이 보안 취약점이 되는 것을 방지하는 통제된 환경 내에서 이루어집니다.

전체 구현 세부 사항은 여기에서 확인할 수 있습니다: https://vinkius.com/mcp/deepinfra-serverless-llm-inference

마치며

우리는 '챗봇 (Chatbots)'의 시대에서 '에이전트 워크플로우 (Agentic Workflows)'의 시대로 나아가고 있습니다. 이 시대의 가치는 LLM과 얼마나 대화를 잘 나누느냐가 아니라, LLM이 작업을 엔드 투 엔드 (end-to-end)로 완료하기 위해 어떤 도구들을 활용할 수 있느냐에 달려 있습니다.

만약 당신의 MCP 설정이 그저 고립된 채팅창들의 집합에 불과하다면, 당신은 실제로 에이전트를 사용하고 있는 것이 아닙니다. 그저 더 나은 방식으로 복사하여 붙여넣기를 하고 있을 뿐입니다. DeepInfra 서버와 같은 도구들은 비전 (vision), 시맨틱 검색 (semantic search), 그리고 특화된 추론 (specialized inference)을 단일하고 안전한 연결 지점에 포함하는 통합된 멀티모달 (multi-modal) 워크플로우를 구축할 수 있게 해줍니다.

인프라를 관리하는 것을 멈추고 워크플로우를 구축하기 시작하십시오.

MCP는 AI 에이전트의 음악입니다. 우리는 카탈로그를 만들었습니다. Vinkius MCP Catalog를 확인해 보세요.