오늘날 AI 에이전트는 우리가 현재 보고 사용하고 있는 소프트웨어 솔루션들과 점진적으로 통합되고 있습니다. 여기에는 고객 지원 및 내부 지식 어시스턴트, 워크플로우 자동화(workflow automation), 그리고 엔터프라이즈 코파일럿(enterprise copilots)이 포함됩니다.

엔지니어들이 가장 먼저 고려해야 할 사항 중 하나는 자체적인 AI 에이전트 솔루션을 개발할 것인지, 아니면 구매할 것인지 여부입니다.

이 결정은 단순히 비용에 의해서만 결정되는 것이 아닙니다. 아키텍처(architecture), 확장성(scalability), 통합(integration), 보안(security), 그리고 향후 유지보수(maintenance)에 의해서도 결정됩니다.

AI 에이전트 플랫폼 구매하기

지난 몇 년 동안 상용 AI 플랫폼들은 성능을 크게 향상시켜 왔습니다. 이제 많은 상용 플랫폼들은 RAG (Retrieval-Augmented Generation), 도구 호출 (tool calling), 워크플로우 오케스트레이션 (workflow orchestration), 인증 (authentication), 분석 (analytics), 그리고 API 통합 (API integration)을 포함하는 내장된 기능 세트를 갖추고 있습니다.

엔지니어링 팀에게 이는 개발 프로세스를 크게 가속화할 수 있습니다.

다음과 같은 경우라면 AI 플랫폼을 구매하는 것이 올바른 결정이 될 것입니다:

• 신속한 배포를 원하는 경우
• 표준적인 엔터프라이즈 유스케이스 (enterprise use cases)가 필요한 경우
• 관리형 인프라 (managed infrastructure)가 필요한 경우
• 내장된 보안 기능이 필요한 경우
• 벤더 지원 (vendor support) 및 업데이트가 필요한 경우

AI 플랫폼을 구매함으로써, 팀은 기본적인 AI 인프라를 개발하는 데 드는 시간을 훨씬 줄이고 AI를 기존 제품 및 프로세스에 통합하는 데 집중할 수 있습니다.

AI 에이전트 구축하기

구축은 애플리케이션 스택 (application stack)에 대한 완전한 소유권을 허용합니다.

커스텀 AI 에이전트는 고유한 비즈니스 로직 (business logic), 독점 데이터 세트 (proprietary datasets), 커스텀 API (custom APIs), 그리고 특정 워크플로우 (workflows)를 염두에 두고 개발될 수 있습니다.

이는 일반적으로 다음과 같은 구성 요소를 포함합니다:

• 거대 언어 모델 (LLMs)
• 검색 증강 생성 (RAG)
• 벡터 데이터베이스 (Vector databases)
• 임베딩 모델 (Embedding models)
• 함수 호출 (Function calling)
• 에이전트 오케스트레이션 프레임워크 (Agent orchestration frameworks)
• 메모리 관리 (Memory management)
• 인증 (Authentication)
• 모니터링 및 관측 가능성 (Monitoring and observability)

이 전략은 유연성을 극대화하지만, 동시에 특정한 엔지니어링 과제들을 수반합니다.

그중에서도 엔지니어들은 다음과 같은 사항들에 책임을 지게 됩니다:

프롬프트 튜닝 (Prompt tuning)
모델 평가 (Model evaluation)
지연 시간 (Latency)
비용 최적화 (Cost optimization)
환각 완화 (Hallucinations mitigation)
보안 (Security)
확장성 (Scaling)
배포 (Deployment)

AI 기술이 부수적인 기능이 아니라 제품의 핵심 역량인 경우에는 직접 구축하는 것이 선호됩니다.

주요 기술적 고려 사항

구축과 구독 중 무엇이 더 나은지 결정하기 위해서는, 엔지니어링 팀이 어떤 조치를 취하기 전에 답변해야 할 몇 가지 질문들이 있습니다.

통합 복잡성 (Integration complexity)

AI 에이전트가 CRM, ERP, 커스텀 API, 데이터베이스 또는 독자적인 시스템과 통합되어야 합니까?

심층적인 통합은 대개 커스텀 솔루션을 통해 달성됩니다.

보안 및 컴플라이언스 (Security and compliance)

일부 산업군은 민감한 정보를 다루며 높은 수준의 보안과 컴플라이언스(준수 사항)를 요구합니다.

확장성 (Scalability)

플랫폼이 부하 증가 시 확장(scale up)할 수 있습니까?

하이브리드 아키텍처가 점점 더 인기를 얻는 이유

실제로 조직들은 두 가지 접근 방식을 동시에 채택하는 경향이 있습니다.

예를 들어:

언어 모델을 위해 기존 API를 사용합니다.
커스텀 오케스트레이터 (orchestrators)를 생성합니다.
RAG (Retrieval-Augmented Generation)를 통해 독자적인 비즈니스 데이터를 사용합니다.
함수 호출 (function calling)을 통해 내부 애플리케이션을 활용합니다.
조직 특화 워크플로우 (workflows)를 구현합니다.

하이브리드 접근 방식은 엔지니어가 기성 AI 솔루션의 이점을 누리는 동시에, 비즈니스를 차별화할 구성 요소들에 대해 완전한 통제권을 가질 수 있게 해줍니다.

첫 번째 출시 그 이상을 생각하십시오

AI 에이전트를 만드는 것은 시작점에 불과합니다.

프로덕션 환경에 적합한(production-ready) 시스템에는 다음과 같은 것들이 필요합니다:

로깅 (Logging).
모니터링 (Monitoring).
평가 파이프라인 (Evaluation pipelines).
비용 회계 (Cost accounting).
프롬프트 버전 관리 (Prompt versioning).
보안 감사 (Security audit).
모델 업데이트 (Model updating).
성능 최적화 (Optimizing performance).

운영 측면은 대개 개발 자체보다 훨씬 더 많은 엔지니어링 시간을 소요합니다.

엔터프라이즈 AI 아키텍처, 지능형 자동화, 그리고 AI 구현 모범 사례에 관심이 있는 분들을 위한 교육 자료는 CommCon AI 플랫폼에서 확인하실 수 있습니다: [https://commconai.com/]

결론

보편적인 "구매할 것인가" 또는 "구축할 것인가"에 대한 결정은 존재하지 않습니다.

배포의 속도와 단순함이 중요하다면, 즉시 사용 가능한 (ready-to-use) 플랫폼을 구매하는 것이 프로세스를 가속화할 수 있습니다.

만약 AI가 차별화 요소라면, 맞춤형 솔루션 (custom solutions)을 구축하는 것이 더 많은 가치를 가져다줄 수 있습니다.

많은 엔지니어링 팀에게 최적의 아키텍처 접근 방식 (architectural approach)은 위에서 설명한 두 가지 방법의 결합이 됩니다.