github-copilot, pi, claude-code, 그리고 Qwen3.6 27B 기반 opencode를 이용한 동일 작업 비교

요약

코딩 에이전트의 성능이 모델 자체의 능력과 에이전트 하네스(harness)의 설계 중 어디에서 기인하는지 비교 분석한 실험 결과입니다. GitHub Copilot은 파일 편집 도구 사용 시 비효율적인 시도를 반복하며 성능 저하를 보인 반면, Opencode는 인터넷 검색 기능과 웹 개발 분야에서 뛰어난 성능을 나타냈습니다.

핵심 포인트

• 에이전트의 성능은 모델뿐만 아니라 하네스(harness) 설계에 큰 영향을 받음
• GitHub Copilot은 파일 편집 도구 사용 시 과도한 LLM 요청을 발생시키며 비효율적인 동작을 보임
• Opencode는 인터넷 검색 기능을 통해 특정 도메인 지식이 필요한 작업에서 우수한 성능을 발휘함
• Opencode는 웹 개발(webdev) 분야에서 인터랙티브 위젯 생성 등 높은 결과물을 보여줌
• 특정 모델(Qwen3-vl-4)과 하네스 조합에서는 무한 루프와 같은 실행 오류가 발생할 수 있음