브라우저에서 작동하는 소형 로컬 모델로 YouTube 피드를 필터링하는 Chrome 확장 프로그램 제작

제 YouTube 피드는 주로 노래, 장난 영상, 유명인 클립으로 구성되어 있어서, 저는 크롬 내부에서 실행되는 작은 의사결정(decision) 모델로 각 비디오 제목을 판단하는 필터를 만들었습니다. 아무것도 전송되지 않습니다: 서버도 없고, API 키도 없고, 계정도 필요 없으며, 한 번 다운로드하면 오프라인에서도 작동합니다. 기능은 다음과 같습니다 - 원하는 종류의 비디오를 숨길 수 있습니다 (11가지 유형: 음악, 게임, 코미디, 브이로그(vlogs), 뉴스, 방법 안내(how-tos) 등). 또는 사용자가 작성한 규칙을 따릅니다: "암호화폐 관련 비디오 숨기기", "요리 관련 비디오만 보기" - 스위치 하나로 Shorts를 숨길 수 있습니다 - 보너스 기능: 텍스트를 선택하고 마우스 오른쪽 버튼을 클릭하여 동일 모델로 프롬프트 인젝션(prompt injection) 여부를 확인할 수 있습니다. 작동 방식은 다음과 같습니다 - 이 모델은 opendecider-nano (ONNX)이며, 오프스크린 문서에서 ONNX Runtime Web을 통해 로드됩니다 - WebGPU에서는 fp16으로 (다운로드 755 MiB), GPU 없이 WASM에서는 q8로 (569 MiB) 작동합니다 - 비디오 제목 40개 처리 시: WebGPU에서는 1.1초, CPU(M4 Max)에서는 약 15초가 소요됩니다. 로드 상태에서 RAM은 약 3 GiB를 사용하며, 유휴 시간 10분이 지나면 언로드됩니다 - 가중치(weights)는 리비전 및 SHA-256으로 고정됩니다. 네트워크 요청은 Hugging Face에서 해당 파일만 가져옵니다. 성능은 다음과 같습니다 - 크리에이터의 카테고리를 레이블로 사용한 YouTube 비디오 400개 테스트 결과, "음악 숨기기", "게임 숨기기", "뉴스만 보기"와 같은 규칙이 평균 0.934의 균형 정확도(balanced accuracy)를 기록했습니다 - 11가지 유형으로 비디오를 분류하는 것은 더 어렵습니다: 0.780입니다. Focus 프리셋에서는 몇 가지 코미디 및 토크쇼 클립이 통과할 수 있습니다 - 영어 제목에 대해서만 평가되었습니다. 다른 언어로 시청한다면, 어떻게 작동하는지 정말 알고 싶습니다. 사용해 보세요 (Web Store 버전은 검토 중입니다): https://github.com/manjunathshiva/opendecider/releases/latest에서 opendecider-focus-0.8.1.zip을 다운로드하여 압축 해제하고 chrome://extensions → 개발자 모드(Developer mode) → 압축 해제된 확장 프로그램 로드(Load unpacked)를 선택한 후 폴더를 지정하세요. 아이콘을 클릭하고 모델을 다운로드하세요. Apache-2.0. 벤치마크, 코드 및 제한 사항: https://manjunathshiva.github.io/opendecider/guides/chrome-extension/ 이 아이디어는 Quietly에서 왔는데, 그곳에서는 클라우드 API를 사용합니다. 저는 동일한 것을 온디바이스(on-device)로 실행하고 싶었습니다. 피드백 환영하며, 특히 잘못 작동하는 부분이 있다면 알려주세요.

제출자: u/manjunath_shiva [링크] [댓글]