4GB가 자동으로 다운로드되어 화제가 된 Prompt API 사용 후기

개요

Google Chrome 148에서 웹 브라우저에 로컬 AI (Gemini Nano)가 내장되었습니다.

이 AI 모델은 4GB가 자동으로 다운로드된다는 점 때문에 곳곳에서 화제가 되었으나,

이번에는 그 시비에 대해서는 일단 제쳐두고, 실제로 사용해 본 소감을 전해드립니다.

※ Google Chrome 우측 상단에 나타나는 「Gemini에게 상담하기」와는 별개의 기능입니다.

결과물

결과물 개요

Prompt API를 그대로 사용한 채팅 앱입니다.

잡담용으로 만든 이유는 (모델 성능 문제로 인해) 그 정도의 용도밖에 없을 것 같았기 때문입니다.

그대로 두면 심심할 것 같아, 얼굴 이미지를 자유롭게 변경할 수 있는 기능도 추가했습니다.

서버에는 일절 업로드되지 않으므로, 어떤 이미지든 사용할 수 있습니다.

베타 버전으로부터의 API 변경

본 기사의 주제입니다.

막상 사용해 보려고 하니, 베타 버전으로부터 API가 변경되었다는 사실을 깨달았습니다.

구글링해서 나오는 기사의 샘플 코드는 동작하지 않으며,

AI에게 물어봐도 베타 버전의 API를 사용한 샘플 코드만을 반환해 줍니다.

그래서 공식 문서를 참고하여 TypeScript로 대략적인 래퍼 (Wrapper)를 구현했습니다.

텍스트 프롬프트 (Text Prompt) 사용만 목적이라면, 우선 이것으로 사용할 수 있습니다.

/**
* PromptAPI 래퍼
*/
...

/**
* 사용법
*/
...

소감

(대체로 예상했던 바와 같지만) '너무 짧으면 짧은 대로, 길면 긴 대로'라는 느낌으로,

유용한 유스케이스 (Use Case)는 상당히 제한적일 것 같다는 생각이 들었습니다.

대부분의 환경이 미지원

애초에 대부분의 환경이 지원되지 않습니다.

PC이면서 Google Chrome 148 이상, 그리고 어느 정도의 사양과 충분한 여유 공간이 있는

제한된 환경에서만 사용할 수 있습니다.

만약 대부분의 환경에서 사용할 수 있다면,

LLM으로 사용자의 입력문을 체크하는 등의 용도가 있겠지만,

미지원 환경이 더 많은 (그리고 앞으로도 금방 확산될 것 같지 않은) 상태에서는 상당히 미묘합니다.

초기화에 수 초 소요

AI 모델의 초기화 시간으로는 빠른 편이라고 생각하지만,

웹의 세계에서 수 초가 걸린다는 것은 상당한 단점입니다.

게다가 초기화 중에는 웹 페이지의 동작이 멈춰버리기 때문에,

백그라운드에서 조용히 초기화해 두는 것도 어려운 느낌입니다.

(이 점은 향후 개선될지도 모릅니다)

모델 성능이 낮음

4GB 모델인 만큼 성능은 낮습니다.

특히 지식량의 부족함은 처참한 수준이며, 거의 아무것도 모른다고 생각해도 무방합니다.

응답은 경쾌함

좋았던 점으로는 응답이 경쾌하다는 것입니다. 반응이 빠릿빠릿하게 돌아옵니다.

로컬 AI에서는 응답 성능이 중요하며, Google에서도 그 점을 중시하여 조정한 것이 아닐까 생각합니다.

향후 전망

이번에는 텍스트만 사용했지만, Gemini Nano는 멀티모달 (Multimodal)을 지원합니다.

즉, 이미지나 음성도 다룰 수 있다는 뜻이며, 이를 위한 API도 준비되어 있습니다.

브라우저만으로 이미지 판별이 가능하다는 점은 가능성을 느끼게 하며, 향후 유용한 유스케이스도 등장할 것 같습니다.

무엇보다 성능은 낮더라도 AI를 무료로 무제한 사용할 수 있다는 점은 가능성을 느끼게 하는 요소입니다.

ToDo 앱처럼 수익성 관점에서 AI를 도입하기 어려운 프로덕트라도,

부담 없이 AI를 통합할 수 있게 될 것입니다.

다만, Google Chrome 이외의 웹 브라우저가 추종할 가능성은 낮기 때문에,

결국 어디까지나 옵션 기능으로서의 제공에 머물 수밖에 없을 것입니다.