먼저 결론

「중소기업은 AI에 손을 대지 마라」는 이야기가 아닙니다.

손을 대는 방법을 틀리면 큰코다친다는 이야기입니다.

그리고 중소기업일수록, 그 틀리는 방식을 밟기 쉬운 구조로 되어 있습니다.

여기서는 특히 로컬 LLM (Local LLM) 을 축으로, 실제로 현장에서 일어나기 쉬운 지뢰를 정리합니다.

왜 중소기업은 로컬 LLM에 끌리는가

우선 동기 자체는 대부분 타당합니다.

기밀 데이터를 외부로 내보내고 싶지 않다— 고객 정보나 설계 데이터를 클라우드 API (Cloud API)에 던지는 것이 두렵다 -
종량제 과금이 끝이 없을 것처럼 보인다— 사용한 만큼 과금되는 것이 오히려 불안하다. 로컬이라면 「공짜」처럼 보인다 -
「우리도 AI를 하고 있습니다」라는 것이 필요하다— 경영 판단 및 영업 멘트상의 니즈

모두 틀린 말은 아닙니다.

문제는 이 동기만 가지고 달려나가면, 다음과 같은 청구서가 나중에 도착한다는 점입니다.

큰코다치는 사례 ①: TCO를 완전히 오판함

가장 흔한 착각이 로컬 LLM은 무료라는 것입니다.

실제로 들어가는 비용은 다음과 같습니다.

GPU 초기 투자→ 컨슈머용 하이엔드 GPU (VRAM 24GB급)를 1장 장착해도, 현실적으로 돌릴 수 있는 것은 양자화(Quantized)된 중규모 모델까지입니다. 제대로 된 사이즈를 노린다면 복수의 GPU나 서버 투자로 이어집니다 -
전기료·공조→ 추론(Inference)을 계속 돌린다는 전제하에 은근히 영향을 미칩니다 -
운영 인건비→ 그리고 이것이 가장 큽

클라우드 API는 사용한 만큼만 지불하며, 게다가 경쟁 덕분에 점점 가격이 내려가고 있습니다.

반면 로컬은 이용량이 제로여도 고정비가 먼저 나갑니다.

손익분기점을 대략 생각해보면,

API 과금이 월 ◯만 엔을 계속 넘는다면 로컬이 더 저렴하다는 라인은 분명히 존재합니다.

하지만 중소규모의 이용량이라면 그 라인에 전혀 미치지 못하는 경우가 대부분입니다.

API 과금보다 GPU의 감가상각과 운영 공수가 더 높게 책정된다

이것이 첫 번째 함정입니다.

큰코다치는 사례 ②: 성능 격차와 기대치의 괴리

현장에서 기대하는 것은 대개 ChatGPT나 Claude 같은 것입니다.

그런데 로컬에서 현실적으로 돌릴 수 있는 양자화 모델과,

플래그십 클라우드 모델 사이에는 체감상 확실한 차이가 있습니다.

경영진이나 현장이 최신 클라우드 AI를 사용해 본 경험을 기준으로 삼아버리면,

"어라, 생각보다 똑똑하지 않네..."

하며 순식간에 열기가 식어버립니다.

이는 기술적으로 당연한 이야기(돌리고 있는 모델의 규모가 다르기 때문)입니다만,

기대치를 조율하지 않고 도입하면, AI = 쓸모없다는 결과만이 사내에 남게 됩니다.

큰코다치는 사례 ③: 운영과 속인화 (Personalization)

로컬 LLM은 돌리는 것으로 끝나지 않습니다.

• GPU 드라이버 / CUDA 주변의 환경 지옥
• 모델의 업데이트·교체
• 추론 서버 (Ollama / vLLM 등) 관리
• 모니터링, 장애 대응

SaaS라면 상대방이 관리해 줄 부분을 전부 스스로 떠안아야 합니다.

소규모 회사라면 이것이 한 사람에게 집중되기 쉽습니다.

그리고 그 사람이 퇴사하는 순간 막다른 길에 다다릅니다.

다룰 수 있는 사람이 한 명뿐인 시스템은,

중소기업에 있어서 편리한 도구가 아니라 부채입니다.

큰코다치는 사례 ④: PoC에서 힘이 빠짐 (이것은 AI 전반에 해당)

로컬에 국한되지 않고, AI 도입에서 가장 흔히 발생하는 사례가 이것입니다.

작동하는 데모는 요즘 시대에 비교적 쉽게 만들 수 있습니다.

문제는 그 다음입니다.

• 실제 업무 워크플로우(Workflow)에 편입시키기
• 출력 검증 프로세스 돌리기
• ROI (투자 대비 효과)를 숫자로 나타내기

여기까지 가지 못하고 "대단하다!"에서 끝나서 방치되는 패턴이 정말 많습니다.

원인은 단순합니다. 처음에 「무엇이 어떻게 되면 성공인가」를 정하지 않았기 때문입니다.

KPI 없는 PoC는 거의 확실하게 취미로 끝납니다.

큰코다치는 사례 ⑤: 애초에 데이터가 없거나/더럽다

RAG(검색 증강 생성)든 파인튜닝(Fine-tuning)이든, 사내 데이터가 정돈되어 있지 않으면 기능하지 않습니다.

• 문서가 각자의 로컬 PC와 메일에 산재해 있음
• 포맷이 제각각이고, 업데이트 날짜를 알 수 없음
• 애초에 문서화되지 않은 암묵지가 대부분임

실제로 AI 프로젝트 공수의 대부분은 "데이터 정비"에 사라집니다.

이 부분의 비용을 아무도 산정하지 않으면, 모델 운운하기 전에 번아웃이 옵니다.

그럼, 어떻게 해야 하는가

여기까지 겁을 주었습니다만, AI에 손을 대는 것 자체는 올바른 방향입니다.

손을 대는 방식을 바꾸는 것만으로도 고통을 상당히 피할 수 있습니다.

우선 클라우드 API로 작게 시도할 것. 로컬은 마지막에

많은 API는 엔터프라이즈 계약을 통해 데이터를 학습하지 않는 설정을 선택할 수 있습니다.

기밀이니까 로컬은, 우선 이 선택지를 검토한 다음에.
로컬 LLM이 정당화되는 것은 3가지가 모두 갖춰졌을 때뿐

① 명확한 데이터 주권·컴플라이언스 (Compliance) 요구사항 × ② 고정비를 회수할 수 있는 충분한 이용량 × ③ 운용할 수 있는 인력. 어느 하나라도 부족하면 포기할 것. -
유스케이스 (Use Case)를 1개로 좁힐 것

'전사 AI 기반'을 목표로 하는 순간 망합니다. 우선은 1개 업무, 1개 태스크 (Task).
SaaS로 해결된다면 자체 개발하지 말 것

수단의 목적화를 주의하십시오.

기존 툴로 해결할 문제를 굳이 직접 만들지 마십시오. -
철수 라인을 먼저 결정할 것

◯개월 내에 이 지표가 나오지 않으면 접는다라는 것을 처음에 합의해 두십시오.

요약

중소기업이 AI·로컬 LLM으로 고생하는 것은 기술 때문이 아닙니다.

기대치·TCO(총 소유 비용)·운용 체제에 대한 견적을 전부 낙관적으로 잡기 때문입니다.

화려한 모델을 세우기 전에, 수수한 데이터 정비와 철수 라인 설계를 하십시오.

작게 시작해서, 아프지 않은 범위 내에서 실패를 쌓아가십시오.

중소기업의 AI 활용은 아마 이것이 유일한 정공법일 것입니다.

Discussion