기업 LLM 선정의 기준: Ramp AI Index를 통해 본 Anthropic과 OpenAI

기업의 지출 동향을 집계하는 Ramp사의 「AI Index」는 LLM의 기업 도입 상황을 정기적으로 가시화하고 있습니다. 이 리포트가 나타내는 경향을 바탕으로, 정보시스템(情シス) 담당자가 Anthropic과 OpenAI를 비교·평가할 때의 기준을 정리합니다.

• 사내 AI 도구의 선정·도입·거버넌스 정비를 담당하는 정보시스템 담당자
• Claude나 GPT 등의 LLM을 업무에 도입 검토 중이며, 판단 기준을 정리하고 싶은 분
• LLM의 기술적인 우열뿐만 아니라, 비즈니스 요구사항에 기반한 비교를 알고 싶은 분
• 최신 시장 동향을 바탕으로 자사에 최적화된 LLM을 선택하고 싶은 분

Ramp AI Index는 기업의 AI 지출 및 도입 동향을 추적하고 그 경향을 분석하는 리포트입니다. 이 리포트가 보여주는 동향의 배경에는 모델 자체의 성능 차이뿐만 아니라, 기업이 LLM을 도입할 때 중시하는 요소의 변화가 있습니다.

과거에는 모델의 「똑똑함」이나 「범용성」이 주요 선정 기준이었으나, 기업에서의 본격적인 도입이 진행됨에 따라 보안, 데이터 프라이버시 (Data Privacy), 비용 효율성, 기존 시스템과의 연계와 같은 「정보시스템 관점」의 요구사항이 더욱 중요하게 여겨지게 되었습니다. 특히 기밀 데이터를 다루는 업무에서의 활용을 고려하면, 이러한 비기능 요구사항이 선정의 결정적인 요인이 되는 케이스가 늘어나고 있습니다.

기업이 LLM을 조직에 도입할 때, 정보시스템 담당자가 다각적으로 평가해야 할 비교 기준은 매우 다양합니다. 여기서는 주요 5가지 기준을 정리합니다.

LLM의 이용 비용은 API의 토큰 단가뿐만 아니라, 이용 빈도, 모델의 종류(고성능 모델일수록 고가), 할인 제도, 그리고 간접적인 운영 비용(거버넌스, 모니터링, 데이터 준비 등)을 포함한 총 소유 비용 (TCO) 관점에서 평가해야 합니다.

API 가격 체계: 입력과 출력의 토큰 단가, 컨텍스트 윈도우 (Context Window) 길이에 따른 가격 변동, 배치 처리 (Batch Processing) 유무 등을 비교합니다. -
종량제 모델: 이용량에 따른 과금이 기본이지만, 대규모 이용 시의 할인이나 커밋먼트 기반 (Commitment-based) 계약 옵션도 확인합니다. -
비용 예측의 용이성: 갑작스러운 이용 증가를 견딜 수 있는지, 예산 견적을 내기 쉬운지 등의 점도 중요합니다.

기업의 기밀 정보나 개인 정보를 다루는 경우, 데이터 취급에 관한 정책은 가장 중요한 선정 기준 중 하나입니다.

데이터 이용 정책: 사용자의 입력 데이터가 모델 학습에 이용되는지, 보관 기간, 데이터 삭제 정책 등을 확인합니다. Anthropic과 OpenAI는 기업용 플랜에서 고객 데이터가 모델 학습에 이용되지 않음을 명시하고 있습니다. -
지역 데이터 센터: 데이터의 저장 장소나 처리 장소를 특정 지역으로 한정할 수 있는지, 각국의 데이터 규제 (GDPR, CCPA 등)에 대응하고 있는지 확인합니다. -
컴플라이언스 인증: ISO 27001, SOC 2 Type 2 등의 보안 인증을 취득했는지 여부도 중요한 판단 자료입니다.

많은 기업이 Google Workspace를 이용하고 있는 현 상황을 고려하면, 기존 업무 환경과의 연계 용이성도 중요한 요소입니다.

직접 API 연계: 각 LLM 벤더가 제공하는 API를 통해 커스텀 애플리케이션이나 GAS (Google Apps Script)에서 직접 연계할 수 있는지 확인합니다. -
클라우드 플랫폼 경유 연계: Anthropic의 Claude는 Google Cloud의 Vertex AI를 통해 이용 가능합니다. 이를 통해 Google Cloud의 보안 기능 및 데이터 거버넌스와 통합하여 이용할 수 있는 장점이 있습니다. OpenAI의 GPT도 Microsoft Azure OpenAI Service를 통해 제공되고 있어 유사한 장점이 있습니다. -
인증과 인가: Google Workspace의 ID 관리와 연계하여 싱글 사인온 (SSO)이나 역할 기반 액세스 제어 (RBAC)를 용이하게 구현할 수 있는지 확인합니다.

기간 업무나 일상 업무에서 LLM을 이용할 경우, API의 안정적인 가동과 이용 규모 확대에 대응할 수 있는 확장성 (Scalability)은 필수적입니다.

• 가동률 (SLA): SLA(Service Level Agreement: 가동률이나 장애 발생 시의 대응 목표를 정한 계약)로서 보증되는 수치를 확인합니다. -
• 레이턴시 (Latency): API 응답 속도는 사용자 경험과 직결되므로, 예상되는 이용 시나리오에서의 레이턴시 (Latency)를 평가합니다. -
• 부하 내성: 피크 시간대의 요청 수를 견딜 수 있는지, QPS (Queries Per Second: 초당 API 호출 처리 수)의 상한선 등을 확인합니다. -
• 지원 체계: 문제 발생 시의 대응 속도나 지원 수준도 운영을 고려할 때 중요합니다.

조직에서의 이용에는 견고한 인증 기반과 세밀한 액세스 관리가 필수적입니다.

• 싱글 사인온 (SSO): 하나의 조직 ID로 여러 서비스에 횡단 액세스할 수 있는 SSO 기능에 대해, Okta, Azure AD (Entra ID), Google Cloud Identity 등의 기존 ID 프로바이더 (Identity Provider)와 연동할 수 있는지 확인합니다. -
• OAuth / API 키 관리: OAuth (API 연동에서 널리 채택되는 개방형 인가 프로토콜)를 사용한 인증 방식이 보안상 안전한지, API 키의 관리 및 로테이션 (Rotation)이 용이한지 확인합니다. -
• 역할 기반 액세스 제어 (RBAC): 역할 (Role)에 따라 액세스 권한을 할당하는 RBAC를 통해, 사용자나 그룹별로 LLM의 이용 권한이나 액세스 가능한 기능(예: 특정 모델만 이용 가능)을 세밀하게 설정할 수 있는지 확인합니다.

시장 데이터가 보여주듯, Anthropic과 OpenAI는 각각 서로 다른 접근 방식으로 엔터프라이즈 시장에 주력하고 있습니다.

Anthropic은 '안전성'과 '윤리'를 중重视한 AI 개발을 내세우며, 특히 기업이 우려하는 AI의 할루시네이션 (Hallucination)이나 부적절한 출력에 대한 대책에 힘을 쏟고 있습니다.

• 안전성 및 신뢰성: Constitutional AI와 같은 접근 방식으로 유해한 출력을 억제하고 신뢰성 높은 응답을 목표로 합니다. 기밀 정보를 다루는 기업에게 이러한 안전성은 큰 매력입니다. -
• 장문 처리 능력: 대규모 컨텍스트 윈도우 (Context Window)를 보유하여, 긴 문서의 요약 및 분석, 코드 리뷰와 같은 태스크 (Task)에 강점이 있습니다. -
• Google Cloud와의 연동 강화: Google Cloud의 Vertex AI를 통해 Claude가 제공되며, Google Cloud의 견고한 인프라와 보안, 데이터 거버넌스 (Data Governance)를 활용하며 이용할 수 있다는 점이 Google Workspace를 이용하는 기업에게 큰 이점입니다.

OpenAI는 시장을 선도하는 모델 성능과 광범위한 에코시스템 (Ecosystem)을 강점으로 합니다.

• 고성능 모델: GPT 시리즈는 항상 최첨단 성능을 추구하며, 폭넓은 태스크 (Task)에 대응할 수 있는 범용성을 갖추고 있습니다. -
• 플러그인 및 에코시스템: 다수의 플러그인과 API 연동 서비스가 존재하여 다양한 업무 애플리케이션과의 연동이 용이합니다. -
• Microsoft Azure와의 연동: Microsoft Azure OpenAI Service를 통해 제공되며, Microsoft의 클라우드 인프라와 보안 기능, Entra ID (구 Azure AD)와의 연동이 강점입니다.

어느 LLM을 선택해야 할지는 자사의 상황과 요구사항에 따라 다릅니다. 다음 플로우 (Flow)를 참고하여 최적의 선택을 진행하십시오.

• 자사의 AI 이용 목적 및 유스케이스 (Use Case) 명확화:

  • 어떤 업무에서 LLM을 이용하고 싶은지 (예: 문서 요약, 고객 대응, 코드 생성, 데이터 분석 등).
  • 다루는 데이터의 기밀성 수준은 어떠한지.
  • 예상되는 이용 빈도와 사용자 수는 어떠한지.

• 우선순위 결정:

  • 상기 비교 축 (비용, 데이터 주권, GWS 연동, API 안정성, 인증) 중에서 자사에게 가장 중요한 것이 무엇인지 우선순위를 정합니다.
  • 예: '데이터 주권과 프라이버시'가 최우선이라면, 해당 요구사항을 엄격히 충족하는 벤더 (Vendor)를 선택합니다.

• PoC (Proof of Concept) 실시:

  • 후보가 되는 LLM을 실제로 도입하여 특정 유스케이스 (Use Case)에서 시험합니다.
  • 이 단계에서 각 LLM의 실제 성능, API의 사용 편의성, 비용 체감, 기존 시스템과의 연동 정도를 평가합니다.
  • 사용자 피드백도 수집하여 실용성을 확인합니다.

• 거버넌스 및 운영 체제 검토:

  • LLM 도입 후의 이용 규칙, 데이터 관리 정책, 감사 체제, 트러블슈팅 (Troubleshooting) 프로세스 등을 사전에 검토합니다.
  • 지속적인 운영을 뒷받침하기 위한 정보시스템 (IT) 부서 측의 체제도 고려합니다.

LLM 도입은 단순한 도구의 도입이 아니라, 기업의 데이터 거버넌스 (Data Governance) 및 보안 정책 전체에 영향을 미칠 가능성이 있습니다.

보안 리뷰 철저:

• 각 LLM 벤더의 이용 약관 및 개인정보 처리방침을 상세히 확인하고, 자사의 보안 기준에 부합하는지 평가합니다. 특히 데이터가 어디에서 처리되고 어떻게 저장되는지는 엄격하게 체크해야 합니다.

비용 시뮬레이션 및 예산 확보:

• PoC (Proof of Concept) 결과와 예상 이용량을 바탕으로 정확한 비용 시뮬레이션을 수행합니다. 예기치 않은 비용 증가를 피하기 위해 상한 설정 및 알림 기능 확인도 중요합니다.

법적·윤리적 리스크 평가:

• LLM의 출력이 저작권 침해나 잘못된 정보 확산의 리스크를 내포할 가능성을 고려하여, 면책 사항 및 이용 가이드라인을 책정합니다.

직원 교육 및 가이드라인 전파:

• LLM의 적절한 이용 방법, 프롬프트 엔지니어링 (Prompt Engineering)의 기초, 할루시네이션 (Hallucination)에 대한 대처법 등을 직원에게 교육하고 명확한 가이드라인을 전파합니다.

Ramp AI Index가 보여주는 시장의 움직임은, 기업의 LLM 선정 축이 순수한 모델 성능에서 보안, 데이터 주권, 비용, 기존 시스템 연동과 같은 정보시스템 관점의 비즈니스 요구사항으로 이동하고 있음을 나타냅니다. Anthropic과 OpenAI는 각각 서로 다른 강점을 가지고 있으며, 어느 쪽이 자사에 최적인지는 목표로 하는 유스케이스 (Use Case)와 우선시해야 할 비기능 요구사항에 따라 달라집니다.

정보시스템 담당자는 이러한 비교 축을 깊이 이해하고, PoC를 통해 실증하면서 비즈니스 부문과 협력하여 최적의 LLM 선정을 진행해야 합니다. 시장 동향을 항상 주시하며 유연한 자세로 자사의 AI 전략을 구축해 나가는 것이 향후 기업 경쟁력을 높이는 열쇠가 될 것입니다.

이 기사에서 다룬 것과 같은 업무 개선 및 자동화의 설계부터 구현까지, DRASENAS는 코퍼레이트 IT 현장에 밀착된 지원을 수행하고 있습니다.

"우선 상담만"이라도 대환영입니다. DRASENAS 공식 사이트를 통해 편하게 문의해 주세요.

※ 이 기사는 DRASENAS Blog의 전재물입니다. 오리지널 버전에서는 코드와 설정 절차가 수시로 업데이트되고 있습니다.