작은 로컬 모델들은 훌륭하지만, 또한 자신감 있게 틀린다. 내가 수정한 것을 만들었다
요약
작은 로컬 모델들이 확신에 차 있지만 틀리는 경향을 보인다는 문제점을 해결하기 위해, 개발자가 'pi'라는 무료 확장 프로그램을 개발했습니다. 이 에이전트는 모델의 답변 중 사실 확인이 필요한 부분(숫자, 플래그 등)이 있을 때, 두 번째 에이전트를 가동하여 실제 브라우저와 문서를 참조해 출처와 함께 검증된 정보를 제공합니다.
핵심 포인트
- 로컬 LLM의 부정확성 문제를 해결하는 확장 프로그램 'pi'를 소개함.
- 모델이 틀릴 가능성이 높은 진술 시, 웹 검색을 통해 출처 기반 답변을 보강함.
- 작은 로컬 모델일수록 이 기능의 효과가 크며 성능 향상이 두드러짐.
- 설치 및 사용 방법(npm:pi-ultra-scout)과 GitHub 링크를 제공함.
솔직히 말해서 작은 로컬 모델들도 많은 일을 해내고 있어. 다만... 너무 자신만만해. '기본값은 10이야'라고 하거나, '--cache-type 플래그를 사용해라', 또는 'node의 fetch는 그걸 지원하지 않아'라고 하면서 완전히 확신에 찬 목소리로 말하지만 실제로는 틀리는 경우지. 큰 모델들은 그런 실수를 어느 정도 감안할 수 있어. 집에서 실제로 구동하는 3B~7B 급 모델들은 매번 그 실수가 들켜. 정말 짜증나. 그래서 나는 pi 코딩 에이전트를 위한 무료 확장 프로그램을 만들었는데, 이 프로그램은 한 가지 일을 해. 모델이 틀릴 가능성이 높은 것을 진술하려 할 때(정확한 숫자, 플래그, 버전, '이것을 지원하지 않는다' 등), 단순히 추측하는 것에 그치지 않아. 대신 두 번째 에이전트를 가동해서 실제 브라우저를 열고, 실제 문서/레포/npm 페이지로 가서 내용을 읽은 후, 출처와 함께 답변을 제공해 줘. 검증된 정보 — 기본값은 10이야. 출처: index.d.ts (@default 10), npm readme에 API 키는 없어. 클라우드도 없어. 너의 모델은 로컬에 머물고, 사서(librarian)만 빠르게 웹 확인을 하는 거지. 나를 정말 놀라게 한 부분은 이거야. 같은 작업, 같은 작은 모델로 이 기능을 사용했을 때와 안 했을 때를 비교해 봤어. 사용하지 않았을 때는 중간에 포기하고 아무 답변도 못 했지만, 사용했을 때는 완벽하게 끝냈고 실제 문서를 인용했지. 모델이 작을수록 도움이 더 많이 돼. 큰 모델들은 이미 머릿속에서 어느 정도 이런 작업을 수행하기 때문에 크게 신경 쓰지 않아. 한번 시도해 봐. pi install npm:pi-ultra-scout 다음으로 그냥 pi를 사용하거나 (세션을 열고 /ulw를 입력하면 돼). 어떤 제공업체와도 작동해, 127.0.0.1에 있는 로컬 llama.cpp 라우터 포함. pi가 뭔지 모른다면, 기본적으로 확장 프로그램을 로드하는 터미널 코딩 에이전트라고 생각하면 돼 — REPL 같은 건데 코딩 에이전트인 거지. 레포 + 문서 링크: https://github.com/BrutchsamaJeanLouis/pi-ultra-scout npm: https://www.npmjs.com/package/pi-ultra-scout 차트와 함께 전체 설명 (약한 모델을 얼마나 끌어올리는지): GitHub 릴리스에서 확인 가능해. 누구나 자신의 환경에 설치할 수 있도록 기꺼이 도와줄게. 여러분은 무엇으로 사용하고 있어? /u/Express_Quail_1493 작성
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기