디버깅용 검색 엔진을 만들었는데 래퍼(wrapper)가 아닙니다
요약
이 글은 버그 보고서를 분석하여 수정해야 할 정확한 파일과 함수를 찾아주는 검색 엔진 'Odin'을 소개합니다. Odin은 WebAssembly와 WebGPU 기반의 로컬 모델을 사용하여 코드를 클라우드에 전송하지 않으며, SWE-bench Lite 데이터셋에서 높은 성능(파일 93%, 함수 79.4%)을 보여줍니다.
핵심 포인트
- 버그 보고서 기반으로 수정 파일/함수를 정확히 찾아냄 (파일 93%)
- WebAssembly와 WebGPU를 사용해 로컬 환경에서 실행 가능
- 1B 미만 모델로 Claude 4.5 수준의 높은 효율성 달성
- GitHub Action을 통해 새로운 이슈에 자동 댓글 기능 제공
요약하자면: 저는 버그 보고서(또는 직접 정의할 수 있게 하는)를 읽고 수정해야 할 정확한 파일(93%)과 정확한 함수(79.4%)를 알려주는 검색 엔진을 만들었습니다.
여러분, 최근 RAG와 자동화에 입문하려다가 새로운 프로젝트를 하나 만들게 되었습니다. Odin은 단순한 검색 엔진 그 이상입니다. 공개 레포지토리 URL만 붙여넣고 이슈를 연결하거나 버그를 직접 설명하기만 하면, 언급된 버그를 기반으로 다운로드하고, 파싱하며, 함수들을 순위별로 매깁니다.
이것이 다른 LLM과 다른 점은 무엇일까요:
- 주로 브라우저에서 실행됩니다: WebAssembly를 사용하는 Tree-sitter와 WebGPU를 사용하는 작은 로컬 모델을 사용하기 때문에 코드가 거대한 클라우드 LLM으로 무작정 전송되지 않습니다.
- 성능이 뛰어납니다: SWE-bench Lite 데이터셋의 실제 이슈 300개를 기준으로 평가했을 때, 올바른 파일을 상위 10개 결과에 포함하는 비율이 93.0%이고, 정확한 함수를 찾아내는 비율이 79.4%입니다.
- 매우 효율적입니다: 1B 파라미터 미만의 모델을 사용하면서도 무거운 Claude 4.5 에이전트의 정확도를 맞추며, 이슈당 비용을 극히 일부 센트로 낮춥니다.
또한 레포지토리에 바로 넣을 수 있는 GitHub Action도 있어서 새로운 이슈에 가장 수정 가능성이 높은 함수들로 자동으로 댓글을 달아줍니다.
직접 사용해 보시고 피드백이나 질문, 비판 모두 환영합니다 (벤치마크에도 도움이 될 것입니다) https://allfather.dev 제출자 /u/Massive_Capital9611 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/MachineLearning (hot)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기