휴대폰에서 1.7B 모델을 완전히 구동하며 웹 검색 기능 구현 (API 및 백엔드 없음, 오픈 소스)

저희는 iOS와 Android 기기에서 LLM을 로컬로 구동하는 오픈 소스 앱인 Private Mind에 웹 검색 기능을 탑재하여 출시했습니다. 이 영상이 전체 발표 내용입니다: web 검색 기능이 없는 Qwen 3 1.7B 모델은 Apple의 9월 이벤트 내용을 재현하며, 웹 검색 기능이 활성화되면 정확하게 정보를 찾아내고 5개의 페이지를 인용합니다. 재미있는 제약 조건은 1.7B 모델에 짧은 컨텍스트로는 5개의 웹 페이지 전체를 읽을 수 없다는 것입니다. 따라서 대부분의 작업은 모델이 실제로 볼 수 있는 몇백 개의 단어를 선택하는 것입니다. 대략 작동 방식은 다음과 같습니다: 검색 API는 없습니다. 휴대폰의 숨겨진 WebView가 DuckDuckGo(Brave와 Mojeek이 대체재로 사용됨)를 열고, 저희는 그 결과 페이지를 파싱합니다. 상위 페이지들을 열어 약 500자 단위 청크로 자릅니다. 온디바이스 임베딩 모델 (LFM2.5, 약 415MB)과 키워드 매칭을 통해 가장 좋은 6개의 청크(페이지당 최대 3개)를 선택합니다. 오직 하나의 사이트만이 어떤 내용을 주장할 경우, 두 개의 사이트가 동의하는 내용보다 가중치가 낮습니다. 모델은 이 청크들로부터 답변하며 모든 출처에 링크를 겁니다. 웹 검색 기능은 채팅별 토글이며 기본적으로 꺼져 있습니다. 켜면 휴대폰이 브라우저와 동일한 요청을 수행합니다. 실제 채팅 내용은 기기에 남아있습니다. LLM과 임베딩 모두 react-native-executorch에서 실행됩니다. 레포지토리: https://github.com/software-mansion-labs/private-mind /u/K4anan 님이 제출함 [링크] [댓글]