Qwen2.5-Coder-1.5B를 Kaggle T4 무료 자원으로 파인튜닝하여 오프라인 Node.js 코드 검토에 활용한 경험

저는 API 키가 필요 없고 완전히 오프라인에서 실행되는 Node.js용 AI 도우미를 원했기 때문에 직접 구축하여 npm 패키지로 출시했습니다.

모델: jeeva1398/eventa-1.5b-gguf (Qwen2.5-Coder-1.5B-Instruct QLoRA 파인튜닝 모델, Unsloth 사용, r=16, 2 epochs, responses-only loss 적용), Q4_K_M, 986 MB. 약 9분 만에 무료 Kaggle T4에서 학습했습니다.

데이터셋 (약 740개 예시, 모두 생성 및 검증 완료, 스크래핑된 데이터 없음):

• 68가지 충돌 유형: 실제로 충돌하는 작은 Node 프로그램이 실행되고 그 실제 스택 트레이스(stack traces)가 파싱됩니다. 여기에는 TypeScript tsc 오류, NestJS DI 오류, Prisma 오류 코드가 포함됩니다.
• 74가지 검토 시나리오: 주석 처리된 이슈를 포함한 전/후 diffs로 구성되어 있습니다. 절반은 깨끗한(clean) diff이며, 모델이

그렇지 않으면, 고정된 lockfile에서 node-llama-cpp를 설치하고 (CPU 빌드만 가능하며, 약 80 MB) SHA-256 검증을 통해 GGUF 파일을 다운로드합니다. 동일한 CLI가 GitHub Action으로 실행되므로, 1.5B 모델은 일반 CPU 러너에서 풀 리퀘스트(pull requests)를 검토합니다 (모델은 실행 간에 캐시됩니다). - 레포지토리(Repo), 데이터셋 빌더, 노트북 및 평가: https://github.com/Jeeva1398/eventa - 모델: https://huggingface.co/jeeva1398/eventa-1.5b-gguf 데이터 파이프라인에 대한 질문에 기꺼이 답변드리겠습니다. 보지 못한 오류(unseen errors)에 대해 1.5B 모델이 더 잘 추론하도록 만드는 것에 대한 피드백은 환영합니다. /u/jeeva1398 제출 [링크] [댓글]