Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
글은 외부 AI 서비스(ChatGPT, Claude 등)에 대한 높은 의존성을 지적하며, 장애나 규제 위험성에 대비할 필요성을 제기합니다. 이에 대한 대안으로 '오픈 웨이트 모델'을 소개하며, 가중치 공개를 통해 자체 환경에서 AI를 구동하는 방법을 설명하고 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기갑자기 궁금한 것이 생겼습니다. 만약 내일부터 ChatGPT나 Claude를 사용할 수 없게 된다면, 어떻게 할까요?
개인적으로는 상당히 곤란합니다.
코드 구현 지원, 기술 조사, 문서 작성 등 일상적인 개발 업무에서 AI를 활용하는 기회가 늘어났습니다. 이제는 단순한 편의 도구가 아니라 개발 환경의 일부가 되어가고 있습니다.
그런 와중에 어떤 사이버 보안 관련 프로그램을 보다가 **'오픈 웨이트 모델(open-weight model)'**이라는 단어에 흥미를 느꼈습니다.
프로그램에서는 AI를 악용한 사이버 공격에 대한 대책이나, 해외 AI 서비스에 의존하는 위험성 등이 다루어졌습니다.
곰곰이 생각해보면, 평소 이용하고 있는 ChatGPT나 Claude는 해외 기업에서 제공하는 서비스입니다.
물론 내일 갑자기 사용할 수 없게 될 가능성이 높다는 이야기는 아닙니다. 하지만 장애나 규제, 제공 조건 변경 등으로 인해 이용할 수 없게 될 가능성이 0%라고 단언하기는 어렵습니다.
그래서 궁금해진 것이, 외부 AI 서비스에 의존하지 않고 스스로 AI를 구동하는 것은 불가능한지? 하는 점이었습니다.
이번에는 그런 의문에서 출발하여 오픈 웨이트 모델에 대해 조사해 보았습니다.
※본 기사는 기술 조사를 바탕으로 정리된 내용이며, 실제 모델 도입이나 성능 검증은 진행하지 않았습니다.
현재 생성 AI를 업무 시스템에 통합할 경우 일반적인 선택지 중 하나는 외부 API를 이용하는 것입니다.
OpenAI나 Anthropic 등이 제공하는 API를 이용하면, 자체적으로 AI 모델의 실행 환경을 준비하지 않아도 고성능 AI 기능을 시스템에 통합할 수 있습니다.
이러한 편리함은 큰 장점입니다.
반면, 외부 서비스를 이용하는 이상 그 서비스에 대한 의존성이 생깁니다.
예를 들어 다음과 같은 경우가 있습니다.
특히 AI가 업무의 핵심을 담당하게 된다면, 그 영향도 무시할 수 없습니다.
여기서 중요한 것은 해외 서비스를 사용하는 것 자체가 문제가 아니라, 특정 서비스에 의존하고 있다는 점을 인지해 둘 필요가 있다는 것입니다.
그렇다면 애초에 외부 AI 서비스를 사용하지 않고 생성 AI를 구동하는 방법이 있을까요?
그런 선택지 중 하나가 오픈 웨이트 모델입니다.
오픈 웨이트 모델이란, 학습된 AI 모델의 '가중치(Weights)'가 공개되어 다운로드하여 이용할 수 있는 모델을 말합니다.
가중치란, AI가 학습을 통해 얻은 방대한 매개변수(Parameters)를 의미합니다.
일반적인 생성 AI 서비스에서는 모델 자체는 서비스 제공자가 관리하며, 이용자는 웹 화면이나 API를 통해 AI를 이용합니다.
반면, 오픈 웨이트 모델에서는 공개된 모델의 가중치를 입수하여 자신들의 환경에서 추론 처리를 실행할 수 있습니다.
즉, AI 모델을 서비스로 빌리는 것뿐만 아니라, 자신들의 환경에서 구동할 수 있다는 의미입니다.
비슷한 단어로 '오픈 소스 AI'가 있지만, 반드시 같은 의미는 아닙니다.
오픈 웨이트는 주로 학습된 모델의 가중치가 공개되어 있다는 것을 지칭합니다.
반면, 오픈 소스 AI에는 모델의 가중치뿐만 아니라 학습에 관한 정보나 코드 등 포함된 더 넓은 공개 요건이 있습니다.
따라서 오픈 웨이트라고 해서 학습 데이터나 학습 방법까지 모두 공개되어 있는 것은 아닙니다.
또한, 상업적 이용이나 개변, 재배포 등의 조건은 모델별 라이선스에 따라 다릅니다.
현재는 다양한 기업과 조직이 오픈 웨이트 모델을 공개하고 있습니다.
| 모델 | 제공처 | 특징 |
|---|---|---|
| gpt-oss | OpenAI | 추론 및 도구 이용 대응. Apache 2.0 라이선스 |
| ... | ||
| 예를 들어, OpenAI는 2025년 8월에 'gpt-oss-120b'와 'gpt-oss-20b'를 공개했습니다. |
gpt-oss-20b는 비교적 메모리가 제한된 환경에서도 실행할 수 있도록 설계되었습니다.
또한, Google의 Gemma 역시 모델 규모나 이용하는 하드웨어에 따라 로컬 PC부터 클라우드 환경까지 폭넓게 활용할 수 있는 모델군입니다.
다만, 같은 시리즈라도 모델별로 필요한 하드웨어와 기능은 다릅니다.
중요한 것은, 이러한 모델의 등장으로 생성 AI를 자신들의 환경에서 운영하는 선택지가 현실화되고 있다는 점입니다.
그렇다면 실제로 오픈 웨이트 모델을 이용하면 무엇을 할 수 있을까요?
기본적으로, 일반적인 생성 AI에서 수행하는 처리들을 우리가 직접 준비한 환경 위에서 실행할 수 있습니다.
예를 들어, 다음과 같은 용도가 생각해 볼 수 있습니다.
필요에 따라 RAG(검색 확장 생성)를 결합하면, 사내 문서를 검색하고 그 내용에 기반하여 답변하게 하는 시스템도 구현할 수 있습니다.
예를 들어,
과 같은 기능들입니다.
이처럼 비교적 용도가 한정된 처리라면, 반드시 최대 규모의 AI 모델을 사용할 필요는 없습니다.
더 흥미로운 것은 AI 에이전트 활용 측면입니다.
AI 에이전트란, AI 모델의 판단과 도구 실행 등을 결합하여 목적에 따라 여러 처리를 진행하는 시스템입니다.
예를 들어, 사내 문의 대응이라면,
이러한 일련의 처리를 실현할 수 있습니다.
여기서 주의해야 할 점은, 오픈 웨이트 모델(open-weight model)을 다운로드한다고 해서 AI 에이전트가 완성되는 것은 아니다라는 것입니다.
AI 모델은 어디까지나 추론(inference)을 담당하는 부분입니다.
실제 에이전트에는 도구 호출 및 실행 제어, 권한 관리 등의 시스템을 결합해야 합니다.
구성 면에서는 생각보다 기존의 웹 시스템과 유사하다는 인상을 받았습니다.
대략적으로 다음과 같은 구성이 됩니다.
외부 API를 이용할 경우에는 애플리케이션에서 AI 서비스로 요청을 전송합니다.
반면, 자체 운영(self-hosting)하는 경우에는 우리가 모델을 구동하는 추론 서버를 준비하고, 그곳으로 요청을 보내는 형태가 됩니다.
물론, 모델만 다운로드했다고 해서 작동하지 않습니다.
모델을 실행하기 위한 소프트웨어가 필요합니다.
대표적인 것들로는 다음과 같은 도구들이 있습니다.
| 툴 | 주요 용도 |
|---|---|
| Ollama | 로컬 환경에서의 모델 실행 |
| ... |
우선 Ollama나 LM Studio를 이용하여 손안의 PC에서 소규모 모델을 구동해 보는 것이 좋습니다.
그 위에서 업무 시스템에 통합하는 단계가 되면, vLLM 등을 활용하여 API를 통해 접근 가능한 추론 서버를 구축할 수 있습니다.
이러한 점진적인 접근 방식이 고려될 수 있습니다.
특히 흥미로웠던 것은, vLLM 등에는 OpenAI API와 호환되는 인터페이스가 준비되어 있다는 점입니다.
물론 완벽한 호환성이 보장되는 것은 아니지만, 기존 애플리케이션에서 추론 대상을 전환하는 구성도 생각해 볼 수 있습니다.
AI 모델의 선택과 AI를 이용하는 애플리케이션을 분리할 수 있다는 점은 시스템 설계 측면에서 큰 장점이라고 느꼈습니다.
여기까지 보면, 자체 운영에는 장점이 많아 보입니다.
하지만 당연히 과제도 있습니다.
외부 API를 이용할 경우, 주로 사용량에 따른 비용이 발생합니다.
반면, 자체 운영의 경우에는 GPU와 같은 컴퓨팅 자원을 확보해야 합니다. 모델 규모나 동시 사용자 수에 따라 고성능 GPU나 여러 대의 서버가 필요할 수도 있습니다.
게다가 서버 가동 비용뿐만 아니라 유지보수 및 운영 비용도 발생합니다.
즉, 모델을 무료로 얻는 것과 무료로 운영하는 것은 별개의 문제입니다.
오픈 웨이트 모델 중에도 고성능인 것이 존재하지만, 용도에 따라 상용 최첨단 모델에는 미치지 못할 수 있습니다. 복잡한 추론이나 긴 컨텍스트 처리, 에이전트에 의한 도구 실행 등에서는 모델별 차이가 발생할 가능성이 있습니다.
특정 업무에 이용할 경우, 실제 업무 데이터와 유사한 조건에서 평가해야 합니다.
자체 운영을 함으로써 입력 데이터를 외부 AI 서비스로 전송하지 않는 구성을 만들 수 있습니다. 이는 기밀 정보를 다루는 업무에서 매력적입니다.
다만, 자체 운영이라고 해서 안전하다는 것은 아닙니다. 추론 API에 대한 접근 제어, 로그 관리, 모델 및 라이브러리의 취약점 대응, 에이전트가 수행할 수 있는 조작 제한 등 고려해야 할 것이 많습니다. 외부 서비스가 담당하던 운용 책임의 일부를 우리가 떠맡게 되는 것입니다.
| 비교 항목 | 외부 API형 | 자체 운영형 |
|---|---|---|
| 도입의 용이성 | 비교적 쉬움 | 환경 구축 필요 |
| ... | ||
| 어느 쪽이 더 낫다기보다는, 이용 목적이나 규모에 따라 적절한 선택지가 달라질 것 같습니다. |
이번에 오픈 웨이트 모델에 대해 조사해 보고 나니, 생성 AI에 대한 시각이 조금 바뀌었습니다.
지금까지는 AI를 이용한다는 것이 ChatGPT나 Claude 같은 서비스를 계약하거나 API를 결합하는 이미지가 강했습니다.
하지만 오픈 웨이트 모델을 활용하면, 스스로 모델을 구동하고 필요한 기능을 조합하여 AI 시스템을 구축할 수도 있습니다.
물론, 현재 시점에서 모든 AI를 자체 운영으로 전환해야 한다고 생각하지는 않습니다.
외부 API를 이용하는 쪽이 성능 면이나 운영 비용 면에서 합리적인 케이스가 많을 것입니다.
다만, 이번 계기가 된 '만약 내일 ChatGPT나 Claude를 사용할 수 없게 된다면?'이라는 질문에 대해, 아무런 선택지가 없는 상태와 대체 수단을 이해하고 있는 상태는 크게 다르다고 느꼈습니다.
AI를 이용할 수 있다는 것뿐만 아니라, AI를 선택할 수 있다는 것에도 가치가 있다.
그런 생각을 할 계기가 되었습니다.
다음으로는 실제로 소규모 오픈 웨이트 모델을 로컬 환경에서 구동해 보고, 어디까지 실용적인지 시험해 보고 싶습니다.