저는 Ornith 1.5-9B (8비트)를 실제 엔지니어링 작업에 대한 로컬 코딩 에이전트로 운영해 왔습니다. 이 모델은 작업을 수행할 수 있지만, 작은 모델을 위해 계획이 작성되었을 때만 가능합니다. 저는 제가 배운 내용을 더 강력한 플래닝 모델(저는 Claude Code를 사용합니다)에게 전달하기 위한 공개 파일로 정리했습니다: https://git.teamide.dev/David/TeamIDE-methodology/src/branch/main/Model-Best-Practices/Ornith-q8-best-practices.md
분할된 방식은 다음과 같습니다. 더 강력한 모델이 명세(spec)와 작은 태스크 카드들의 계획을 작성하고, 병합 전에 결과를 검증합니다. 로컬 모델은 길고 기계적인 중간 단계(명령어 실행, 빌드, 작업 폴링, git 작업 등)를 담당합니다. 토큰의 대부분이 여기서 사용되며, 이는 제 자체 하드웨어에서 실행됩니다.
파일이 다루는 내용:
- 작은 모델이 잘하는 것과 예상되는 결과(보고서보다 더 신뢰할 수 있는 작업 수행; 스스로 탐색하지 않음; 완료 시점을 알지 못함; 긴 컨텍스트에서 속도가 느려짐).
- 브리핑 방법: 정확한 파일 및 라인 범위, 절대 경로, 1~3줄 편집, 정확한 함수 서명(function signatures), 모든 규칙을 문서화, 명령어로 끝나는 모든 단계와 그 예상 출력값 명시, 명확한 중지 규칙.
- 실행 방법: 세션당 하나의 작업, 작은 컨텍스트, 메모리로서의 계획 파일. 아무것도 적용되기 전에: 모델의 요약이 아닌 git과 로그를 통해 주장을 검증해야 합니다.
지금까지의 결과: 9B 모델에 의해 수행되었으며 모든 회귀 테스트(regression test)가 통과된 두 개의 리포지토리에 걸친 75개 커밋 병합 작업입니다. 이 모델이 무엇을 했는지에 대한 기록은 여러 번 틀렸지만, 계획 파일의 검사와 최종 검증이 그 모든 오류를 잡아냈습니다.
한계점: 속도가 느립니다(해당 단계에서 Claude 단독으로 약 한 시간 걸리는 것에 비해 하루 가까이 소요). 그리고 괜찮은 로컬 모델을 실행할 수 있는 하드웨어가 필요합니다. 규칙 자체는 특정 장치에 구애받지 않지만, 하나의 모델로 학습되었기 때문에 다른 모델에서도 잘 작동하는지 듣고 싶습니다.
제출자: /u/Electrical_Ninja3805