AI 셀프 호스팅 (Self-hosting)은 아주 사소하거나 (그저 Ollama를 실행하면 됨), 혹은 불가능한 것 (데이터 센터가 필요함) 중 하나로 설명되곤 합니다. 두 가지 관점 모두 동일한 점을 놓치고 있습니다. 제대로 작동하는 스택은 5개의 계층으로 구성되며, 모델은 그중 하나일 뿐이라는 점입니다. 여기 각 계층이 어떻게 맞물리는지, 그리고 왜 계층 하나를 건너뛰는 것이 보통 셀프 호스팅 설정을 망가뜨리는지에 대해 설명합니다.

추론 (Inference): 모두가 시작하는 계층

추론 (Inference) 계층은 모델 자체를 실행합니다. Ollama와 같은 도구 덕분에 이제 중간 사양의 GPU에서 명령어 하나만 입력하면 되는 쉬운 부분이 되었습니다. 이 과정이 쉽기 때문에 사람들은 여기서 멈추고 나머지도 저절로 따라올 것이라고 가정합니다. 하지만 그렇지 않습니다. 추론만으로는 채팅창을 얻을 뿐, 실제로 업무를 수행하는 시스템을 얻을 수는 없습니다.

임베딩 (Embeddings) 및 메모리 (Memory): 실제 유스케이스가 존재하는 곳

임베딩 (Embeddings)은 문서를 벡터 (vectors)로 변환하며, 벡터 저장소 (vector store)를 통해 시스템이 의미에 따라 이를 검색할 수 있게 합니다. 메모리 (Memory)는 스택이 매번 처음부터 시작하는 대신 과거의 실행 내용을 기억할 수 있게 해주는 요소입니다. 이 두 계층은 질문에 답하는 수준을 넘어 실제 데이터로 작업할 수 있게 해주며, 대부분의 첫 시도에서 누락되는 계층이기도 합니다.

도구 (Tools) 및 오케스트레이션 (Orchestration): 답변을 행동으로 전환하기

도구 (Tools) 계층은 모델이 실제 함수를 호출하고, API를 호출하며, 쿼리를 실행하거나 파일을 작성할 수 있게 합니다. 오케스트레이션 (Orchestration)은 순서를 결정하고, 인수인계를 처리하며, 다단계 작업이 궤도를 벗어나지 않도록 유지하는 계층입니다. 이것들이 없다면 당신은 똑똑한 텍스트 생성기를 갖게 될 뿐이지만, 이것들이 있다면 작업을 완료하는 무언가를 갖게 됩니다.

비용 문제

셀프 호스팅을 시도하는 이유는 제어권과 비용 때문입니다. 모든 바이트는 당신이 소유한 하드웨어에 머물며, 꾸준한 고용량 워크로드의 경우 셀프 호스팅 스택은 중간 사양의 GPU 한 대 정도로 시작할 수 있는 하드웨어를 통해 3개월에서 6개월 이내에 클라우드 API와 비용 균형을 맞추는 경향이 있습니다.

작게 시작하여 계층을 추가하세요

먼저 추론 (inference)을 구축하여 작동을 확인한 다음, 임베딩 (embeddings)과 메모리 (memory)를 추가하고, 그다음 도구 (tools)와 오케스트레이션 (orchestration)을 하나씩 검증된 계층 단위로 추가하십시오. 각 계층에 대한 전체적인 분석과 실행 방법은 여기에서 확인할 수 있습니다: https://www.autolearningagents.com/self-hosted-ai-stack/