AWS는 현재 30개 이상의 AI 및 ML (Machine Learning) 서비스를 제공하고 있습니다. 그 폭은 매우 인상적이지만, 이는 팀들이 자주 잘못된 계층을 선택하거나, 사전 학습된 API (Pre-trained API)로 충분한 상황에서 SageMaker를 사용하여 솔루션을 과잉 설계(Over-engineer)하거나, 실제로 커스텀 모델이 필요한 상황에서 투자를 과소하게 하는 것을 의미하기도 합니다.

이 가이드는 모든 AWS AI 서비스를 의사결정 프레임워크로 매핑합니다. 즉, 원하는 제어 권한(및 책임)의 정도에 따라 세 가지 계층으로 나누고, 각 서비스가 언제 적합한지에 대한 명확한 지침을 제공합니다.

AWS AI 3계층 스택 (The Three-Tier AWS AI Stack)

┌─────────────────────────────────────────────────────────────────┐
│  Tier 3: 사전 학습된 AI API (PRE-TRAINED AI APIs) (ML 전문 지식 불필요)           │
│  Rekognition | Textract | Comprehend | Polly | Transcribe |     │
...

경험 법칙 (Rule of thumb): Tier 3(가장 저렴하고 빠름)에서 시작하세요. 생성형 AI (Generative AI) 또는 커스터마이징이 필요한 경우 Tier 2로 이동하세요. 모델에 대한 완전한 제어가 필요한 경우에만 Tier 1으로 내려가세요.

Tier 1: Amazon SageMaker AI — 커스텀 ML 플랫폼

사용 시점: 자체 데이터로 커스텀 모델을 학습시켜야 하거나, 사내에 ML 엔지니어가 있거나, 모델 라이프사이클(Lifecycle)에 대한 완전한 제어가 필요한 경우.

핵심 기능

SageMaker를 선택해야 하는 경우

• 커스텀 모델 학습이 필요한 독점 데이터(Proprietary data)를 보유한 경우
• 팀에 모델 라이프사이클을 관리하는 ML 엔지니어가 포함된 경우
• MLOps(버전 관리, A/B 테스트, 모델 레지스트리, 자동 재학습)가 필요한 경우
• 지연 시간(Latency) 또는 비용 요구 사항으로 인해 최적화된 커스텀 추론(Inference)이 필요한 경우
• 모델을 처음부터 학습시키거나 오픈 소스 모델을 대폭 미세 조정(Fine-tuning)하는 경우

Tier 2: Amazon Bedrock — 생성형 AI 플랫폼

사용 시점: 모델을 처음부터 학습시키지 않고 생성형 AI 애플리케이션을 구축하고 싶은 경우. Bedrock은 파운데이션 모델 (Foundation Models)에 대한 서버리스(Serverless) 액세스와 더불어 프로덕션 AI 애플리케이션을 위한 빌딩 블록을 제공합니다.

사용 가능한 파운데이션 모델 (Foundation Models Available)

Bedrock 빌딩 블록 (Bedrock Building Blocks)

Bedrock을 선택해야 하는 경우

• 챗봇, 코파일럿 (Copilots), 콘텐츠 생성기 또는 요약 도구를 구축할 때
• RAG (Retrieval-Augmented Generation, 기업 데이터를 기반으로 AI 응답의 근거를 마련)를 원할 때
• API를 호출하고, 데이터베이스를 쿼리하며, 조치를 취할 수 있는 에이전트형 AI (Agentic AI)가 필요할 때
• 안전 가드레일 (Safety Guardrails, 콘텐츠 필터링, 개인정보(PII) 마스킹, 주제 제한)이 필요할 때
• 인프라를 관리하지 않고 여러 파운데이션 모델 (Foundation Models)을 비교하고 싶을 때
• 서버리스 (Serverless) 확장성이 필요할 때 — 소비된 토큰에 대해서만 비용 지불

Tier 3: 사전 학습된 AI API (Pre-Trained AI APIs) — 특정 작업 중심의 지능

사용 시점: 해결하려는 문제가 잘 정의된 AI 작업(시각, 언어, 음성)에 해당할 때. 머신러닝 (ML) 전문 지식이 필요하지 않으며, API 호출만으로 가능합니다.

시각 및 이미지 (Vision & Image)

언어 및 텍스트 (Language & Text)

음성 및 오디오 (Speech & Audio)

대화형 AI (Conversational AI)

예측 및 의사결정 (Predictions & Decisions)

코드 및 개발 (Code & Development)

인프라 계층 (Infrastructure Layer): AI를 위한 컴퓨팅

의사결정 프레임워크 (Decision Framework): 어떤 서비스를 사용해야 하는가?

시작 (START)
  │
  ├── 생성형 AI (텍스트/이미지/비디오 생성)가 필요한가?
...

Bedrock vs SageMaker: 핵심 차이점

중첩 영역: SageMaker JumpStart 또한 파운데이션 모델 (Foundation models)을 배포할 수 있습니다. 하지만 Bedrock은 SageMaker가 기본적으로 제공하지 않는 애플리케이션 계층 (에이전트 (Agents), RAG, 가드레일 (Guardrails))을 추가로 제공합니다.

비용 최적화 패턴 (Cost Optimization Patterns)

1. 프로토타이핑을 위해 Bedrock Haiku/Nova Micro로 시작하세요. 품질 요구 사항이 높아질 때만 더 큰 모델로 업그레이드합니다.
2. SageMaker Spot Training 사용 — 학습 작업(training jobs) 비용을 최대 90%까지 절감할 수 있습니다.
3. 추론(inference)을 위한 Inferentia 사용 — 지원되는 모델의 경우 GPU보다 2~4배 더 나은 가격 대비 성능(price-performance)을 제공합니다.
4. Bedrock Provisioned Throughput — 예측 가능한 대규모 워크로드(high-volume workloads)를 위한 예약 용량 (대규모 사용 시 온디맨드(on-demand)보다 저렴함)
5. 배치 추론 (Batch inference) — 토큰당 비용이 더 낮은 오프라인 방식으로 대규모 데이터 세트를 처리합니다.
6. 모델 증류 (Model distillation) — 프로덕션 환경을 위해 더 큰 모델을 모방하는 더 작은 모델을 학습시킵니다 (추론 비용 절감)

2026년의 새로운 기능 (What's New in 2026)

• Amazon Nova — AWS 자체 파운데이션 모델 (foundation model) 제품군 (텍스트, 이미지, 비디오, 음성, 코드) — Claude 및 GPT와 경쟁하며 더 낮은 가격대를 형성합니다.
• Bedrock Managed Knowledge Base (2026년 6월 GA) — 벡터 데이터베이스(vector databases)를 직접 프로비저닝할 필요가 없는 완전 관리형 RAG
• Bedrock AgentCore — 도구 사용(tool use) 및 관찰 가능성(observability)을 갖춘 에이전트 배포를 위한 프로덕션 런타임(runtime)
• 멀티 에이전트 협업 (Multi-agent collaboration) — 복잡한 작업을 위해 함께 작동하는 특화된 에이전트들
• SageMaker Unified Studio — 노트북(notebook), 파이프라인(pipeline), 레이크하우스(lakehouse) 경험이 통합된 환경
• Trainium2 — 학습을 위한 차세대 맞춤형 실리콘 (Trn1 대비 최대 4배의 성능)

요약 (Summary)

AWS AI 스택은 매우 방대하지만, 결정 프레임워크는 간단합니다:

• 생성형 AI (generative AI)가 필요한가요? → Bedrock (서버리스, 학습 불필요)
• 특정 AI 작업 해결이 필요한가요? → 사전 학습된 API (Rekognition, Textract, Transcribe 등)
• 완전한 ML 제어가 필요한가요? → SageMaker (학습, MLOps, 맞춤형 모델)
• AI 인프라가 필요한가요? → 비용 효율성을 위해 Trainium/Inferentia, 성능을 위해 GPU P5

가장 흔한 실수는 Bedrock이나 사전 학습된 API로 몇 일 만에 해결할 수 있는 문제를 해결하기 위해 곧바로 SageMaker로 뛰어드는 것입니다. 단순하게 시작하고, 측정하며, 더 단순한 계층이 요구 사항을 충족하지 못할 때만 단계적으로 격상하십시오.

Alpesh Kumbhare는 Atos의 AWS 아키텍트(Architect)로, AWS 인프라 자동화 및 클라우드 AI 솔루션(Cloud AI solutions)을 전문으로 합니다. LinkedIn에서 연결하세요.