📰 해외 사례
프론트엔드 개발자 Sylwia Lask 씨는 브라우저 안에서만 작동하는 AI 모델을 사용하여 실용적인 데모 5개를 만들고, '현재의 브라우저 내 AI가 실제 애플리케이션에 사용될 수 있는지'를 확인한 글입니다. 결론은 '중요한 기능을 맡기기에는 아직 이르지만, 유용한 추가 기능으로는 지금 바로 사용할 수 있다'였습니다.
브라우저 안에서 AI를 구동하면 AI 서버를 호출할 필요가 없습니다. API 비용이 발생하지 않고, 사용자 데이터도 기기 외부로 나가지 않아 개인 정보 보호 측면에서도 유리합니다. 한 번 다운로드하면 오프라인에서도 작동할 수 있습니다.
작가는 1년 전에도 시도했으나 그때는 '재미있는 장난감' 수준에 그쳤다고 합니다. 그런데 브라우저에서 AI를 구동하는 라이브러리인 Transformers.js의 최신 버전과 새로운 소형 모델로 다시 시도하자 결과가 눈에 띄게 좋아졌다고 합니다. 데모는 WebGPU라는 브라우저 GPU 사용 구조로 작동하며, 사용할 수 없는 기기에서는 대신 CPU로 작동합니다.
| 데모 | 기능 | 모델 다운로드 | 작가의 평가 |
|---|
| 배경 자르기 | 사진에서 사물만 잘라 투명 PNG로 만듭니다. | 약 170MB | 잘 작동함. 중고 거래나 쇼핑몰 상품 페이지에 붙이고 싶음 |
| ... | 문의 티켓 처리 시 어려웠던 점은 내용 이해보다도, 정해진 형식으로 매번 정확하게 출력시키는 것이었습니다. 항목을 만들어 이야기로 채우거나 형식이 무너지는 일이 생기므로, 지시문(프롬프트)의 고안과 출력 검사를 거듭한 끝에 겨우 작동했다고 합니다. | | |
가장 만족스러웠던 것은 검색 기능이었습니다. 문장을 생성하는 큰 모델은 필요하지 않았고, 의미적 근접성을 수치로 비교하는 작은 전용 모델만으로 충분했습니다. '작고 전문적인 모델이 범용 LLM보다 더 적합한 상황이 있다'는 것이 작가에게 가장 큰 배움입니다.
기기에 따라 작동하지 않음
GPU를 사용할 수 있는지 여부는 브라우저, OS, GPU의 조합에 따라 달라집니다. 작가의 스마트폰(Galaxy S24 FE)에서는 5개 중 2개가 시간 초과로 작동하지 않았습니다.
최초 다운로드 용량이 무거움
작은 것은 23MB, 큰 것은 거의 800MB에 달합니다. 두 번째부터는 브라우저가 저장해 주지만, 스마트폰 회선에서 처음 열 경우 부담이 크고, 저장도 언제까지 유지될지 보장할 수 없습니다.
불가능했던 점도 있음
이미지의 글자를 읽어내는 기능은 어떤 모델로도 실용적이지 않아 넣을 수 없었습니다. 대체 텍스트에 '이 강아지는 임시 보호를 기다리고 있습니다'와 같은 문맥을 반영하는 것도 불가능했으며, 문맥은 설명문 뒤에 추가할 수밖에 없습니다.
음성 인식은 작은 모델로도 능숙하다고 들었지만, 이번에는 시도하지 않았습니다.
브라우저 내 AI는 확실히 좋아지고 있으며, 실제 애플리케이션에서 사용 방안을 모색해 볼 가치가 있다는 것이 작가의 판단입니다. 다만, AI 서버 전체를 대체하는 것도 아니며, 대안 수단 없이 의존할 만한 것도 아닙니다. 사용자 경험을 개선하는 '임의 추가 기능'으로 사용하는 것이 적절하다고 마무리합니다.
브라우저 안에 AI를 결합한다는 발상은 매우 흥미하다고 생각합니다. 그 자체로 로컬 LLM(Local LLM)처럼 작동하기 때문에, 앞으로 이런 사용법도 나올 수 있을 것 같습니다.
다만, 시작할 때마다 170MB나 700MB 같은 데이터를 통신하는 것은 현재로서는 솔직히 현실적이지 않다고 생각합니다. 장기적으로는 브라우저에 AI가 내장되는 것이 당연해지고, 그 내장된 AI를 어떻게 조정할지 플러그인 형태의 데이터만 다운로드하는 방식으로 변해갈 것 같습니다.
이 역시 결국은 경량 로컬 LLM을 구동시키는 방향으로의 시행착오, 기술적인 실험 이야기라고 생각합니다. 어떻게 클라우드를 거치지 않고 민감 정보를 그 자리에서 처리할 수 있느냐. AI 개발 방향성 중 하나의 트렌드입니다.
