GitHub는 6월 30일에 Copilot Agent가 JetBrains AI Assistant에서 사용 가능해졌다고 발표했습니다. 이 에이전트는 변경 사항을 제안하고, 명령을 실행하며, 반복 작업을 수행할 수 있으며, 개발자가 지원되는 모델과 추론 깊이(reasoning depth)를 선택할 수 있도록 합니다.

유혹적인 평가는 인상적인 데모 하나일 것입니다. 저는 아주 작은 종료 테스트(exit test)를 선호합니다.

본인의 저장소(repository)에서 종료된 이슈(closed issues) 3개를 선택하세요:

1. 강력한 회귀 테스트(regression test)가 포함된 국소적 버그(localized bug);
2. 문서화되지 않은 컨벤션(convention)이 포함된 파일 간 변경 사항(cross-file change);
3. 중단하고 제품 결정(product decision)을 요청해야 하는 작업.

각 이슈에 대해, 에이전트에게 보여주기 전에 다음과 같은 기록을 생성하세요:

issue: 417
expected_files:
  - src/parser.ts
...

그런 다음 느낌(vibes)이 아니라 증거(evidence)를 바탕으로 실행 결과를 점수화하세요.

마지막 행이 종료 테스트입니다. IDE 통합 방식은 변합니다. 모델도 변합니다. 당신의 이슈, 패치, 명령, 그리고 해결되지 않은 결정 사항들은 이러한 전환 속에서도 살아남아야 합니다.

나에게 MonkeyCode가 적합한 이유

저는 단일 에디터 세션 외부에서 더 긴 코딩 작업을 수행하는 또 다른 방법으로 MonkeyCode를 사용합니다. 제가 진정으로 가치 있게 여기는 것은 MonkeyCode가 Copilot Agent를 이긴다는 주장이 아닙니다. 저는 통제된 헤드 투 헤드(head-to-head) 벤치마크를 수행한 적이 없습니다. 제가 가치 있게 여기는 것은 호스팅된 워크스페이스(hosted workspace)와 동일한 휴대 가능한 작업 패킷(portable task packet)을 사용하는 오픈 소스 셀프 호스팅 배포 옵션을 평가할 수 있다는 점입니다.

이것은 실질적인 권장 사항입니다. 당신의 수락 고정 장치(acceptance fixture)를 도구 중립적(tool-neutral)으로 만드세요. 그런 다음 IDE와 작업 중심 플랫폼에서 각각 시도해 보세요. 만약 한 워크플로우가 유용한 증거를 채팅 기록에 가두어 버린다면, 그 고정 장치는 실제 마이그레이션 비용(migration cost)을 찾아낸 것입니다.

공개 사항: 저는 MonkeyCode 사용자로서 저의 개인적인 경험을 공유하는 것이며, 해당 프로젝트와 관련이 없습니다.

GitHub은 더 깊은 오케스트레이션 (orchestration)과 기술 (skills)이 향후 릴리스에 계획되어 있다고 밝혔으므로, 아직 출시되지 않은 동작에 대해서는 점수를 매기지 마십시오. 현재 설치된 버전이 오늘 무엇을 할 수 있는지 테스트하고, 원본 아티팩트 (raw artifacts)를 보관한 뒤, 의미 있는 업데이트가 이루어진 후 동일한 세 가지 이슈를 다시 실행하십시오.