2026년 9월 첫째 주에 Anthropic이 Claude 5.1(9월 1일), Google이 Gemini 3.8 Flash(9월 2일), OpenAI가 GPT-6 Astra(9월 3일)를 거의 3일 연속으로 주요 모델을 출시했습니다. 이 주에는 사내에서 '그래서 결국 어떤 것을 사용해야 할까요?'라는 질문이 몇 번이나 들어왔습니다.
그때 깨달은 것은, 질문의 방식 자체가 바뀌었다는 것입니다. 이전에는 '가장 성능이 좋은 모델은 무엇인가'라는 질문이 많았습니다. 지금은 '어떤 업무에 어떤 모델이 적합한가'로 바뀌고 있습니다. 이러한 변화는 기업에서의 AI 기반 평가 축이 달라지고 있음을 반영합니다.
본문에서 알 수 있는 내용:
- 2026년 가을 주요 모델 일제 업데이트 후, 대기업의 AI 기반 선정 시 바꾼 네 가지 평가 축
- Copilot Studio, Dify Enterprise, Power Automate를 사용하는 입장에서 본 모델 선택의 실제 경험
- 기업 환경에서의 멀티 모델(Multi-model) 전략에 대한 고찰
대상 독자: 대기업에서 AI 및 디지털 전환을 담당하는 분. 여러 AI 모델이나 플랫폼을 비교 검토하고 있는 분. 개인적인 실감 위주로 작성했으므로, 기술 비교보다는 '도입 담당자의 판단 시점'으로 읽어 주시면 좋겠습니다.
3일 만에 3개사가 주요 모델을 출시하는 상황이 이번이 처음은 아닙니다. 다만, 이번에는 단순히 '벤치마크 수치의 업데이트'에 그치지 않았다는 점은, 각 모델들이 기존의 엔터프라이즈 제품과 깊숙하게 통합되어 있었기 때문이라고 생각합니다.
- Claude 5.1: Anthropic의 API와 Claude Code를 통해 Dify의 에이전트 파이프라인이 직접 사용합니다. Claude Code의 자동 실행 환경 역시 당연히 이 모델 업그레이드의 영향을 받습니다.
- Gemini 3.8 Flash: Google Workspace의 Copilot에 해당하는 기능(Gemini for Workspace)이 강화되어, 조직 전체가 Google Suite를 사용하는 경우 모델 변경이 반자동으로 이루어집니다.
- GPT-6 Astra: Azure OpenAI Service의 모델 라인업에 GPT-6이 추가되면서, Copilot Studio나 Azure AI Studio에서 사용할 수 있는 모델 선택지가 달라집니다.
이 세 가지는 단순히 단일 API로 사용되는 것이 아니라, 기존 업무 시스템 및 워크플로우와 통합된 형태로 움직이고 있습니다. 모델이 바뀌면 프롬프트의 동작 방식이 변하고, RAG(검색 증강 생성) 품질이 변하며, API 단가도 달라집니다. '어떤 모델이 최고인가'라는 질문보다 '현재 사용 중인 플로우에 무엇이 발생하는가'라는 질문이 실무적으로 더 중요해졌습니다.
지금까지의 모델 선정 과정에서는 포착하지 못했던 관점이 바로 **'거버넌스(Governance)'**입니다. 구체적으로는 '어떤 워크플로우가 어떤 모델 버전을 사용하고 있는지'를 파악할 수 있는지가 질문이 됩니다.
대기업에서 AI를 사용하기 시작하면, 어느새 다수의 플로우가 AI에 의존하게 됩니다. 이때 모델의 버전이 바뀌거나(혹은 폐지되면), 영향을 받는 플로우를 특정하는 것이 어려워집니다.
Copilot Studio에서는 어떤 에이전트가 어떤 모델을 사용하는지 목록으로 확인할 수 있는 관리 기능이 강화되고 있습니다. Dify Enterprise에서도 플로우 설정 백업/내보내기 및 모델 제공자(Model Provider) 설정 분리가 정비되었습니다.
평가 축에 추가한 것은 **'모델 버전 고정 가능 여부', '폐지 통지 메커니즘 유무', '영향받는 플로우 목록 출력 가능 여부'**의 세 가지입니다. 이 중 하나라도 약한 플랫폼은 모델 업데이트 때마다 예상치 못한 플로우 동작 변화가 발생할 위험이 높습니다.
2026년 9월 첫째 주에 3개사가 출시했다는 상황은 앞으로도 계속될 것입니다. 그렇다면 '단일 회사의 모델에 모든 플로우를 의존시키는' 구성은 비용, 성능, 리스크 측면에서 불안정해질 수밖에 없습니다.
제 현장에서는 목적별로 모델을 다르게 사용하는 방향으로 설계를 변경했습니다:
- 정형 문서 처리/요약: 비용 중시로, 정확도보다는 속도와 단가의 균형이 잡힌 모델을 선택합니다. Claude 3 계열이나 Gemini Flash 계열.
- 복잡한 추론/설계 상담: 능력 중시로, 최신 주력 모델을 사용합니다. Claude 5 계열 및 GPT-6 계열.
- 코드 생성/기술 태스크: Claude Code의 실적을 참고하여, 코드 관련은 Anthropic 계열이 안정적인 인상을 받습니다.
Dify Enterprise는 모델 프로바이더를 플러그인 형태로 추가할 수 있는 구조이므로, 새로운 모델이 나왔을 때 프로바이더를 추가하여 전환하기 쉽다. Copilot Studio는 기본적으로 Microsoft의 모델 라인업에 묶여 있지만, Azure 모델 카탈로그 범위가 넓어지고 있어 선택지는 늘어나고 있다.
"어떤 모델에서도 작동하는 설계"를 목표로 하기보다는 "전환할 때의 비용이 낮은 설계"가 더 현실적이라고 느낀다. 구체적으로는: 프롬프트에 모델 고유 문법을 넣지 않는다, 응답 형식(JSON/Markdown)에 일관성을 유지한다, 모델을 바꿨을 때의 출력 차이를 테스트할 수 있는 메커니즘을 갖춘다.
새로운 모델이 나올 때마다 가격도 변한다. GPT-6, Gemini 3.8, Claude 5.1 출시 일정에 맞춰 API 단가 재검토가 이루어졌다.
대기업에서 AI 활용이 확산되면서, API 비용이 예상치 못하게 급증하는 경우가 있다. 내가 현장에서 중요하게 생각하게 된 것은 "요청당 평균 토큰 수"를 파악하는 것이다.
Dify의 플로우 실행 이력에는 각 단계별 토큰 소비량이 기록된다. 이를 주기적으로 집계하면, 모델이 바뀔 때의 단가와 곱하여 비용 변화를 시뮬레이션할 수 있다. 단순히 "새로운 모델이 성능이 더 좋다"는 이유만으로 업그레이드할 경우, 입출력 토큰 수가 모델에 따라 달라지기 때문에 비용도 예측 없이 변동한다.
주의: API 단가와 입출력 토큰 수의 곱이 비용이 되지만, 모델에 따라 "같은 프롬프트에 대한 출력 길이가 달라질" 수 있다. 고성능 모델일수록 상세한 답변을 반환하는 경향이 있으며, 이것이 출력 토큰 수 증가로 직결된다. 비용 시뮬레이션은 반드시 "이 정도의 출력을 만들어내는 모델" 기준으로 해야 한다.
"모델 A에서 모델 B로 바꾸고 싶다"는 상황이 생겼을 때, 무엇을 확인해야 하는지 미리 목록화할 수 있느냐가 관점이다.
전환 시 주요 체크포인트:
| 체크 항목 | 확인 내용 |
|---|
| 프롬프트의 동작 방식 | 같은 프롬프트를 사용했을 때, 출력 품질 및 형식이 변하지 않았는지 |
| ... | |
Dify Enterprise는 플로우를 내보내기(export)와 스테이징 환경을 사용할 수 있어, 실제 운영과 동일한 입력 데이터로 신규 모델의 동작 방식을 미리 확인할 수 있다. Copilot Studio는 현재까지 동등한 "스테이징 환경" 기능이 약하기 때문에, 소규모 플로우부터 전환하여 모니터링하는 단계적 접근 방식을 취하고 있다.
전환 비용이 클수록 "최신 모델을 따라잡는 메리트"가 상대적으로 낮아진다. "새로운 모델이 나오면 즉시 업그레이드"하기보다는 "6개월마다 주요 플로우를 재검토하는" 사이클이 대기업의 관리 공수(man-hour)에 더 적합하다고 느낀다.
바꾼 네 가지 포인트를 작성했지만, 변하지 않은 관점도 명확히 밝힌다.
보안 및 데이터 처리 방침 확인은 변함없음: 어떤 모델을 사용하든, 입력 데이터가 모델 학습에 사용되지 않는지, 데이터가 특정 리전에 저장되는지, GDPR 및 국내 법규 대응 상황을 확인하는 프로세스는 바뀌지 않았다. 새로운 모델이 나올 때마다 개인정보 보호정책(Privacy Policy) 재확인이 필요하다.
벤치마크 수치만으로 판단하지 않는 원칙도 변함없음: MMLU, HumanEval 등의 벤치마크 점수는 참고 자료로 삼지만, "회사 실제 사용 사례에서 테스트한 결과"를 최우선으로 하는 원칙은 유지하고 있다. 벤치마크와 현장의 체감이 괴리되는 것은 드문 일이 아니다.
2026년 가을 시점에서의 내 환경 정리:
- Copilot Studio: Microsoft 제공 모델(GPT-4o 계열, Azure OpenAI) 사용. GPT-6 통합 시점을 확인 중 -
- Dify Enterprise: Claude 5 계열을 주력으로 사용. Gemini 3.8 Flash Lite를 비용 최적화가 필요한 처리에 시험 도입 중 -
- Power Automate: AI 빌더의 모델 버전은 Microsoft가 관리하므로 자동으로 업데이트된다. 영향 범위 모니터링을 정기적으로 실시
솔직히 말해, 세 회사가 거의 동시에 출시하면 평가를 따라잡기 어렵다. "우선 현재 사용 중인 것의 동작 방식이 변하지 않았는지 확인하는 것"이 첫 번째 작업이 된다. 신규 기능 대응은 그 이후에 이루어진다.
이번에 작성한 내용은 내 현장에서의 경험 및 판단에 근거한 것이며, 아래는 아직 확인할 수 없는 점으로 기재한다:
- Gemini 3.8 Flash를 Dify Enterprise에 통합했을 때의 동작(아직 시험 도입 단계)
- GPT-6 Astra의 Azure OpenAI Service 제공 시작 일정(2026년 10월 24일 기준으로 미확인)
- 멀티 모델 구성의 비용 최적화에 대해서는 다른 기사에서 구체적인 수치와 함께 보고할 예정
관련 기사: Dify Enterprise의 사내 AI 기반 설계에 대한 생각 → https://note.com/light_tern636/n/n420a39eb7475
