저는 로컬 LLM 솔루션 개발자이며, 최근 유럽의 작은 정부 중 한 곳의 AI 기술 담당자와 1 시간 동안 대화할 기회를 가졌습니다. 그의 임무는 해당 국가의 기업 커뮤니티 내에서 AI를 촉진하고, 로컬 AI 연구 및 프로젝트 등을 옹호하는 것입니다.

우리는 기술적 수준에서 연결되었습니다. 그는 나이가 많은 분 (저도 마찬가지입니다) 이고, 우리는 유사한 기술 배경을 가지고 있으며 유사한 글로벌 IT 조직에서 일해 왔기 때문입니다. 그는 제가 고객들을 위해 개발 중인 AI 제품에 대해 심층적으로 질문하며, 명백히 정부 관료 이상의 지식을 많이 갖추고 있었습니다. 이는 그의 첫 번째 정부 임명이며, 그는 기술 산업에 매우 경험이 풍부합니다.

하지만 저를 놀라게 한 것은 그가 로컬 AI 에 대한 인식이 부족했다는 점입니다. 물론 사람들이 LLM 을 다운로드하여 실행할 수 있다는 점은 이해했지만, 왜 개인이나 기업이 이를 원할지에 대해서는 전혀 인식하지 못했습니다. 저는 데이터 주권 (data sovereignty) 문제들을 설명했을 때, 그는 'Copilot 데이터 보호 협정'으로 맞대응했습니다. 제가 법률 기업들이 큰 AI 기술 계약서를 읽었으며 이를 좋아하지 않아 자신의 데이터를 로컬 LLM 솔루션을 통해 확보하고 있기 때문에, 법률 기업들이 자체적인 로컬 AI 스택을 구축하고 있다는 점을 설명했을 때에도 마찬가지였습니다.

우리는 또한 API 비용 리스크 (API cost risk) 에 대해 논의했습니다. 기업이 OpenAI/Anthropic 등의 API 호출에 의존하여 비즈니스에 AI 스택을 구축했다면, 해당 기업들이 API 비용을 극적으로 인상할 수 있어 기업이 고립될 수 있는 비즈니스 리스크를 창출한 것입니다. 더 나아가 프론티어 모델 (frontier model) 기업들은 사용량 부하나 모델 변경 등 내부 문제 때문에 모델 액세스를 끊임없이 변경하고 있으며, 일관성이 없습니다. 동일한 프롬프트를 두 번 API 를 통해 보내면 두 가지 다른 답변을 얻게 될 것입니다. 이는 비즈니스 관심사입니다.

그는 또한 큰 AI 기술 기업들에 대한 반발에 대한 인식이 부족해 보였습니다. 많은 조직들이 자신들과 다른 가치와 정치를 가진 기업과 거래하지 않으려 한다는 점, 더 나아가 환경 문제 (green issues) 를 언급했습니다. 저는 로컬 LLM 이 특정 사용 사례를 위해 이러한 문제를 해결하여 더 많은 기업이 AI 와 협력할 수 있음을 설명했습니다.

대화는 우호적이었으며, 그는 이해하려는 열의가 있었습니다. 하지만 많은 비즈니스 사용 사례에 대해 로컬 LLM 이 옵션으로 사용될 수 있다는 점에 대한 이해가 얼마나 적은지에 대해 실망했습니다. 그는 단순히 기업들이 큰 미국 AI 기업들에게 API 호출을 보내도록 하는 데만 집중하는 것 같았습니다. 그리고 그는 계속해서 Copilot 을 언급하여 저를 당황시켰습니다.

저는 로컬 LLM 사용자로서, 우리는 로컬 LLM 을 특정 사용 사례에 대한 진지한 비즈니스 솔루션으로 홍보해야 한다고 생각합니다. AI 리더들이 로컬 LLM 을 가능한 해결책 중 하나로 언급하기 시작할 수 있다면, 우리는 아마도 이 솔루션 스택을 큰 AI 대안으로서 더 많은 투자를 얻을 수 있을 것입니다.

여러분 중 로컬 LLM 에 대해 고위 정부 인사들과 대화하고 계신 분은 계신가요? 어떤 종류의 대화를 나누고 계신가요?