2019년 어느 아침, Adebayo Alonge는 케이프타운의 한 호텔 방에서 아프리카 의료계의 심각한 문제인 위조 의약품(counterfeit medication) 문제에 대한 자신의 스타트업이 내놓은 AI 솔루션을 시연할 준비를 하고 있었습니다. 위조 의약품은 매년 대륙 전역에서 수천 명의 목숨을 앗아갑니다.

RxScanner는 적외선(infrared light)으로 알약을 스캔한 다음, 해당 품목의 분자 프로필(molecular profile)을 제약 데이터베이스가 탑재된 AI 모델로 전송하는 휴대용 분광계(spectrometer)입니다. 단 몇 초 만에 AI는 분자 프로필을 통해 의약품을 식별하거나, 그것이 가짜라고 보고합니다.

가나, 케냐, 미얀마, 그리고 Alonge의 고향인 나이지리아를 포함한 10여 개국 이상의 약국에서 이 시스템을 사용하고 있었습니다. 하지만 남아프리카 공화국의 그날 아침, 시스템이 작동하지 않았습니다. "정말 충격적이었습니다."라고 Alonge는 말합니다.

분광계는 AI 모델에 연결되어 있었지만, 데이터 센터는 14,000km 떨어져 있었고 대역폭(bandwidth)은 제한적이었습니다. "우리 서버는 미국에 있었고, 단 한 번의 스캔 결과를 얻는 데만 5분 이상이 걸렸습니다."

그래서 Alonge는 즉시 엔지니어들에게 AI 모델을 크기를 줄여, 그의 안드로이드(Android) 폰에서 완전히 실행될 수 있는 더 작고 저전력이며 연결이 필요 없는 버전으로 만들어 달라고 요청했습니다. 그들은 2시간 만에 이를 만들어냈고, 덕분에 시연을 살릴 수 있었습니다.

더 중요한 것은, 이 작업이 광대역 네트워크, 컴퓨터, 심지어 안정적인 전력조차 없는 곳에서도 알약을 인증할 수 있는 새로운 버전의 장치를 탄생시켰다는 점입니다. 또한 이는 Alonge를 이러한 종류의 "소형 AI (small AI)"의 옹호자로 만들었습니다.

글로벌 의료 접근성을 위한 소형 AI

소형 AI는 부유한 국가들의 거대한 대규모 언어 모델 (LLMs), 하이퍼스케일 데이터 센터, 수십억 달러 규모의 투자, 그리고 AI 의식에 관한 논쟁과는 거리가 멉니다. 하지만 전 세계 수백만 명의 사람들에게 있어, 유일하게 중요하고 종종 유일하게 이용 가능한 AI는 바로 소형 AI입니다. (지난 11월 발표된 세계은행(World Bank) 보고서에 따르면, 가장 개발된 국가의 인터넷 사용자 4분의 1이 ChatGPT를 사용한 것에 비해, 세계 최빈국 인터넷 사용자의 0.7%만이 ChatGPT를 사용한 것으로 나타났습니다.)

“대부분의 사람들은 LLM(대규모 언어 모델)/생성형 측면에서 AI를 논의하고 있습니다. 하지만 그러한 모델은 막대한 컴퓨팅 파워(computing power), 전력, 방대한 데이터, 그리고 이를 관리할 숙련된 인력이 필요합니다.”라고 아제이 방가(Ajay Banga) 세계은행 총재는 지난 1월 다보스에서 열린 세계경제포럼(World Economic Forum)에서 말했습니다. “인도와 중국을 제외한 선진국 이외의 지역에서는 이러한 요소들을 모두 갖춘 국가가 거의 없습니다.”

반면, 소형 AI(small AI)는 이러한 요소가 전혀 없는 지역의 사람들에게 유용하고 심지어 생명을 구하는 서비스까지 제공할 수 있다고 방가 총재는 말했습니다. 정부의 AI 계획이 소형 AI의 더 많은 개발을 요구하고 있는 인도에서는, 이미 많은 시스템이 농부들을 위해 작동하고 있습니다.

예를 들어, 인도의 벨로르 공과대학교(Vellore Institute of Technology)의 발라 무루간(Bala Murugan)과 동료들이 개발한 드론 기반 시스템은 캐슈넛 식물을 촬영하여 질병을 나타내는 반점이 있는 식물을 빠르게 식별합니다. 모든 프로세싱(processing)은 드론 자체에서 이루어지기 때문에, 현장에 컴퓨터가 있을 필요도 없고 중앙 서버와의 연결도 필요하지 않습니다.

특정 문제를 위해 훈련된 소형 언어 모델(small language models)을 사용하고, 때로는 저렴하고 저전력인 장치에서 실행되는 다른 소형 AI 구현 사례들도 개발되었습니다. 우루과이의 포도밭에서 개미 침입을 식별하고, 여러 국가에서 말라리아를 옮기는 모기의 존재를 탐지하며, 더 복잡한 장비에 대한 접근성이 부족한 브라질 일부 지역에서 아두이노(Arduino) 장치를 통해 심전도(electrocardiograms)를 실행하는 사례 등이 있습니다.

“이것이 오늘날 AI 분야에서 가장 중요한 영역입니다.”라고 이 세 가지 프로젝트에 모두 참여했던 브라질 이타주바 연방대학교(Federal University of Itajubá) 공학 및 정보 시스템 연구소의 마르셀로 호세 로바이(Marcelo José Rovai) 교수는 말합니다. “매우 빠르게 성장하고 있습니다.”

장치 상의 저전력, 소형 AI 모델

소형 AI 모델은 [왼쪽부터] Arduino Nano 33 BLE Sense, Seeed Wio Terminal, 그리고 Arduino Portenta를 포함한 다양한 저전력 장치에서 실행될 수 있습니다. Moez Altayeb

Alonge, Rovai 및 다른 지지자들에게 있어 소형 AI는 단순히 월드뱅크(World Bank)의 11월 보고서가 언급하는 ‘유망한 트렌드’에 그치지 않습니다. 장기적으로 볼 때, 이는 가장 많은 사람들의 삶에 영향을 미치고 거대 모델들이 대부분의 사용자에게 너무 비싸지는 상황에서도 지속 가능한 AI 형태일 수 있습니다.

Alonge는 “AI의 미래가 중앙에 있는 하나의 거대한 모델과 같지 않다고 생각합니다. 특정 문제를 해결하고 특정 맥락에서 작동하는 수백만 개의 작고 정밀한 모델들이 엣지(edge)에 배포되는 것이라고 생각합니다”라고 말합니다. 이는 부분적으로 인류의 많은 부분이—부유한 국가의 일부 지역은 물론 개발도상국을 포함하여—최첨단 프론티어 모델(frontier models)에 접근하지 못하는 삶을 살기 때문입니다. 하지만 그는 또한 그러한 모델들이 지속 가능하지 않다는 점도 이유라고 말합니다.

Alonge는 “누군가 보조금을 지원하지 않는다면, 대부분의 사람들은 그 모델들을 감당할 수 없을 것입니다. 따라서 소형 AI 개발자라고 불리는 우리들이 세상 대다수를 위해 구축해야 할 사람들입니다”라고 말합니다.

‘소형 AI’에 대한 엄격한 정의는 없지만, 사람들은 종종 몇십억 개의 매개변수(parameters)를 가진 언어 모델을 지칭할 때 이 용어를 사용합니다. (이는 1조 개가 넘을 수 있는 최첨단 모델과 비교됩니다.) 이는 휴대폰이나 Raspberry Pi에서 직접 실행하기에 충분히 작습니다. 이것이 이러한 애플리케이션들이 데이터 센터 연결 없이 장치에서 작동하고, 종종 배터리나 태양광 패널로 공급되는 몇 와트의 전력만을 사용하게 하는 비결입니다.

Rovai는 이러한 모델들이 작은 크기에도 불구하고 근본적으로 거대한 AI 모델과 다른 기술이 아니라고 말합니다. 소형 언어 모델의 많은 사례들은 Alonge의 제약학 스캐너의 휴대폰 기반 버전처럼, 큰 모델에서 ‘가지치기(pruning)’를 하거나 작업에 관여하지 않은 매개변수를 제거하는 방식으로 만들어졌습니다. 그 결과는 일반적으로는 능력이 떨어지지만, 가지치기를 거친 특정 작업을 수행하는 데는 여전히 매우 뛰어난 시스템이라고 Rovai는 말합니다.

RxAll의 RxScanner 분광계(spectrometer) 경량 버전은 약물의 분자 시그니처(molecular signature)가 진짜인지 확인하기 위해 그 결과를 휴대폰에서 로컬로 실행되는 AI 모델로 전송합니다. RxAll

다른 소형 모델들은 "증류 (distillation)"를 통해 만들어집니다. Rovai에 따르면, 이 모델들은 성능이 "교사 (teacher)" 모델의 성능에 근접할 때까지 대형 모델을 모방하도록 훈련됩니다. 다른 경우에는 대형 모델의 정밀도(precision)를 낮추기도 하는데, 예를 들어 32비트 아키텍처(architecture)에서 실행되는 모델이 8비트 설계에서도 실행될 수 있도록 하는 방식입니다. 머신러닝 (machine learning) 애플리케이션이 데이터 분류나 패턴 예측(예: 개미 침입)에 사용되는 상황에서는, 대형 모델에서 파생되는 것이 아니라 처음부터 소형 기기에서 직접 훈련됩니다.

Rovai는 두 가지 이유로 인해 이러한 모든 소형 전문 시스템을 실행하는 것이 점점 더 쉬워지고 있다고 말합니다.

첫 번째 이유는 하드웨어가 더 적은 전력을 사용하면서도 성능은 더 좋아지고 더 유능해지고 있다는 점이라고 그는 설명합니다. 이는 점점 더 많은 휴대폰이 소형 AI를 실행할 수 있음을 의미하며, 특히 얼굴 인식이나 사진의 밝기, 그림자, 대비를 변경하는 것과 같은 AI 작업을 처리하는 특화된 칩인 신경망 처리 장치 (NPU, neural processing units)를 탑재한 기기들이 이에 해당합니다.

기술 조사 기관인 Counterpoint에 따르면, 2025년 전 세계적으로 출하된 모든 스마트폰의 3분의 1을 약간 상회하는 기기가 생성형 AI (generative AI)를 실행할 수 있었으며, 이 수치는 올해 말까지 45%에 달할 전망입니다. 내년 말까지는 모든 스마트폰의 절반을 약간 상회하는 기기가 소형 AI 모델을 실행할 수 있게 될 것입니다.

Rovai가 언급한 두 번째 이유는 언어 모델 (language models)의 점유 면적 (footprint)이 줄어들고 있다는 점입니다. Rovai는 Google DeepMind의 Gemma 4 (4월 출시)와 Alibaba의 Qwen 3.5 모두 소형 AI에 있어 "환상적 (fantastic)"이라고 말합니다. 두 모델 모두 "오픈 웨이트 (open weight)" 방식으로, 사용자가 자신의 필요에 맞게 파라미터 (parameters) 사이의 연결을 조정할 수 있음을 의미합니다. Rovai는 이 덕분에 예를 들어 "낙농업 분야 등에서 많은 데이터를 가져와 해당 분야에 특화되도록 모델을 재훈련하는 것이 쉽다"라고 설명합니다.

Rovai는 자신의 가장 최근 실험 중 하나를 활용하여 Zoom 통화에서 이러한 이유들을 설명했습니다. 그는 장치를 들어 보이며 다음과 같이 말했습니다. “이것은 새로운 Arduino UNO Q입니다. Qualcomm 칩셋이 탑재된 50달러짜리 장치죠. 저는 여기서 언어 모델 (Language Model)을 실행하고 있는데, 이 모델은 센서로부터 데이터를 수집하고 그 데이터를 분석하여 모기가 번식할 수 있는 아주 작은 물웅덩이를 감지합니다. 이를 실행하는 데는 3와트 (Watts)가 소요됩니다.”

소형 AI (Small-AI) 개발 지원

수백만 명의 사람들이 이미 이러한 종류의 애플리케이션으로부터 혜택을 받고 있다고 확신한 세계은행 (World Bank)은 이제 보조금, 멘토링 프로그램, 금융 지원, 기술 자문, 그리고 소형 AI 개발에 우호적인 정부 정책 모델을 통해 소형 AI를 적극적으로 장려하고 있습니다. 예를 들어, 르완다 (Rwanda)에서 세계은행은 저소득 가구가 AI를 실행할 수 있는 장치를 확보할 수 있도록 돕는 정부 프로그램을 지원하고 있습니다.

그럼에도 불구하고, 그 누구도 거대 언어 모델 (Large Language Models, LLM)이 완전히 사라질 것이라고 주장하지는 않습니다. Rovai는 휴대폰이나 다른 소형 장치에서 실행될 수 있는 생성형 AI (Generative AI)를 만들기 위해서는 더 큰 모델의 아키텍처적 통찰력 (Architectural Insights), 데이터 처리 (Data Processing), 그리고 결과물이 필요하다고 말합니다. “이러한 더 작은 모델들을 만들기 위해서는 거대 모델 (Big Models)이 필요합니다.”

그리고 소형 AI가 거대 AI에 접근할 수 없는 사람들에게 많은 이점을 줄 수 있음에도 불구하고, Alonge는 이 기술가 개발 및 디지털 불평등이라는 더 큰 문제를 해결할 수는 없다고 말합니다. 소형 AI를 구현한다고 해서 국가들이 AI를 지원하기 위한 생태계, 즉 안정적인 전력, 작동하는 공급망 (Supply Chain), 그리고 AI 도구를 만드는 데 필요한 인재를 양성하는 교육 시스템을 구축해야 하는 과제에서 벗어날 수는 없다는 것입니다.

그의 약물 스캔 시스템은 연결이 없는 휴대폰에서도 며칠 동안 작동할 수 있지만, Alonge는 “새로운 약물 시그니처 (Signatures)와 분석 결과로 업데이트하기 위해 주기적인 동기화 (Syncing)를 활성화할 수 있어야 합니다”라고 말합니다. “또한 배터리를 사용하고 있을 때조차 안정적인 전력은 중요합니다. 휴대폰 배터리는 영원히 지속되지 않으니까요.”

그는 세계의 많은 지역에서 소형 AI의 미래가 보장되어 있지는 않다고 말합니다. “그것은 작동하며, 결국 많은 곳에서 이를 사용해야 할 것입니다. 문제는 정치적 행위자들이 이를 장기적으로 지원할 인프라(Infrastructure)에 투자할 만큼 충분히 현명한가 하는 점입니다.”

• 2026년 AI의 상태를 설명하는 12개의 그래프 ›
• 분산 학습 (Decentralized Training)은 AI의 에너지 문제를 해결하는 데 도움이 될 수 있습니다 ›
• 당신의 노트북은 LLM을 실행할 준비가 되지 않았습니다. 곧 변화가 일어날 것입니다 ›