작은 로컬 모델에 코딩 에이전트를 실행할 때 실제로 고장나는 점에 대한 노트

요약

본 기사는 작은 로컬 및 클라우드 모델을 사용하여 다중 파일 코딩 작업을 수행할 때 발생하는 실제적인 실패 지점들을 공유합니다. 주요 문제점으로는 모델이 코드 출력을 마크다운 펜스(```)로 감싸는 경향, 7B 파라미터 미만 모델의 구조화된 출력 신뢰성 부족, 그리고 프로젝트 맵을 기반으로 파일을 수정할 때 잘못된 파일이나 함수를 편집하는 오류가 있습니다. 이러한 문제들은 프롬프트 개선보다는 포스트-프로세싱 및 오케스트레이션 레이어에서의 강력한 검증 로직 구현을 통해 해결해야 함을 강조합니다.

핵심 포인트

• 코드 출력 시 모델이 마크다운 펜스(```)를 기본적으로 사용하므로, 후처리 과정에서 이를 제거하는 것이 필수적이다.
• 7B 파라미터 미만의 작은 모델은 복잡한 다단계 지시사항 하에서 신뢰할 수 있는 구조화된 출력(JSON 등)을 생성하기 어렵다.
• 모델이 언급하거나 수정한다고 주장하는 파일 경로와 함수 이름은 반드시 오케스트레이션 레이어에서 존재 여부를 검증해야 한다. 모델의 주장을 맹신해서는 안 된다.
• 작은 모델 사용 시, JSON 파싱 실패에 대비하여 유연한(permissive) 파서로 회귀하거나 재시도하는 등의 우회책이 필요하다.