Copilot이 갑자기 느려졌다고 생각했는데 '하네스(Harness)'가 바뀌어 있었다

최근 며칠 동안 VS Code의 Copilot Chat을 사용하면서 '뭔가 느리다', '차이점 보는 방식까지 바뀌었나?'라며 짜증을 느끼고 있었습니다. 제가 설정을 바꾼 기억은 없습니다. 알아보니, 채팅 실행 기반(runtime)이 이전에 사용하던 Local 하네스에서 Copilot 하네스로 전환되어 있었습니다.

VS Code 1.142의 릴리스 노트에도 새로운 채팅의 기본값으로 Copilot 하네스를 순차적으로 전개하고 있다고 적혀 있습니다. 모델은 동일한 GPT-6 Luna를 선택했음에도, 하네스가 바뀌니 사용감이 상당히 달랐습니다.

이전에는 Copilot이 건드린 파일을 채팅창에서 열고, 변경된 부분을 하나씩 확인하며 Keep / Undo 할 수 있었습니다. 파일 단위로 순서대로 보면서 필요한 변경 사항만 남기는 방식이었습니다. AI 기반 개발이라고는 하지만, 아직도 차이점을 대략적으로 확인하고 벽을 치며 진행하는 경우가 많아서 이 사용법이 마음에 들었습니다.

Copilot 하네스에서는 채팅 중인 파일 이름이 파란색 링크가 되었습니다. Local에서 익숙했던 아이콘이 달린 버튼 형태의 표시와는 달리, 처음에는 단순히 사용하기 어려웠습니다. 게다가 변경 사항별 Keep / Undo 기능이 없습니다. 변경 사항은 그대로 파일에 저장되며, 정리된 diff를 보고 확인하는 흐름입니다. VS Code의 변경 리뷰 설명에서도 이 차이가 설명되어 있습니다.

채팅 화면에는 +235 / -106 같은 숫자도 나옵니다.

이 숫자가 무엇을 계산하고 있는지 사용하면서 파악하기 어려웠습니다. 브랜치 전체와 develop 쪽을 비교한 차이점으로 보일 때도 있고, 세션 중이나 커밋되지 않은 변경 사항을 보여주는 것처럼 보이기도 합니다. worktree에서 작업했을 때는 무엇과 비교하는 것인지 포함해서 솔직히 잘 모르겠습니다.

develop로부터의 차이점이라면 필요할 때 따로 확인합니다. 여기서 보고 싶은 것은 이번에 Copilot이 무엇을 바꿨는지입니다. 오래 사용한 개발 브랜치 전체의 차이점이 나오고 있다면, 작업과 관계없는 변경까지 쌓여서 점점 보기 어려워질 것 같습니다.

Copilot 하네스에서도 diff는 열 수 있습니다. 하지만 제가 원하는 것은 '지금 Copilot이 어떤 줄을 바꿨는지 파일을 단위로 추적하며, 마음에 들지 않는 부분을 그 자리에서 되돌리거나 지적하는' 것입니다. 모아서 차이점을 보는 화면은 그런 작업에는 우회로처럼 느껴집니다.

개별 diff의 Keep / Undo 기능은 Copilot 사용 편의성의 큰 부분이었습니다. 저에게는 Codex나 Claude와 번갈아 사용하는 이유 중 하나였기 때문에, 그것이 사라지니 Copilot의 매력이 떨어지는 느낌이 들었습니다... VS Code 팀 역시 Copilot 측에서는 Local의 편집 단위 리뷰 작업이 계승되지 못한 것을 인정하고 개선을 위해 의견을 수렴하고 있습니다.

UI뿐만 아니라 응답 속도도 명확하게 느리다고 느껴졌습니다. 그래서 같은 모델로, 동일한 지시를 각각의 하네스에 던져 시간을 측정해 보았습니다.

이 비교는 화면도 녹화했습니다. Copilot 쪽 영상은 4분이 넘는 대기 시간을 보기 쉽게 하기 위해 일부를 16배속으로 처리했습니다. Local 쪽은 등속입니다.

Local 하네스 (등속)

Copilot 하네스 (일부 16배속)

'뭔가 이야기해줘'라는 말에 문어의 심장이 세 개 있다는 잡지식을 보여주기까지 4분을 생각했다는 것을 생각하니, 사회성이 부족해서 재미있습니다.

제가 며칠 동안 느꼈던 '가벼운 대화조차 너무 오래 기다려야 한다'는 스트레스를 잘 보여주는 결과였습니다. 코드 조사는 약 4.6배, 짧은 대화는 약 35배의 대기 시간입니다. credits는 Copilot 쪽이 적더라도, 평소 작업에서는 이 대기 시간이 버겁습니다. 특히 짧은 질문을 여러 번 왕복하는 사용 방식과는 맞지 않았습니다.

또 하나 신경 쓰였던 것이 말투나 취향입니다. 사용자 선호도를 기억하게 해도, Copilot 하네스에서는 갑자기 '합니다/해요체'로 돌아가는 경우가 있었습니다. 이것도 '평소의 Copilot과 다르다'고 느낀 이유 중 하나였습니다.

Reddit 게시글에서는 변경 사항별로 Keep/Undo 기능이 사라진 점, 여러 파일의 diff가 세로로 나열되어 보기 불편하다는 지적이 있었습니다. 이전 리뷰 작업으로 돌아가고 싶다는 질문에 Microsoft 관계자는 개별 변경 사항을 확인하고 싶다면 Local Harness가 더 적합하다고 답변했습니다. 다른 게시글에서도 자신의 변경 내용과 Copilot의 변경 내용을 분리해서 보고 싶다는 의견이 있었습니다.

저 혼자만 새로운 UI에 당황하는 것은 아닌 것 같습니다. 특히 AI에게 모든 것을 맡기기보다는, 변경 사항을 읽으면서 하나씩 채택하는 사용자에게는 영향이 클 것이라고 생각합니다.

Copilot Harness에도 장점은 있습니다. Local은 VS Code 창을 닫으면 진행 중인 작업이 멈추지만, Copilot은 독립된 Agent Host에서 작동하여 창을 닫아도 작업을 계속할 수 있습니다. Git worktree에 작업을 분리하는 것도 가능합니다. Harness 비교

무거운 조사나 대규모 수정 사항을 한 번에 던지고 나중에 결과를 확인하고 싶다면 Copilot이 좋습니다. 눈앞에서 짧은 주고받음을 거치며 파일 하나하나의 변경 내용을 보고 싶다면 Local이 더 적합합니다. 저의 일상적인 사용 방식은 후자였기 때문에, 지금은 Local로 되돌렸습니다.

새로운 채팅에서는 입력란의 Harness 선택 메뉴에서 Local을 선택할 수 있습니다. 저는 기본값도 돌리고 싶었기 때문에, settings.json에 다음 내용을 추가했습니다.

{
"chat.defaultToCopilotHarness": false,
"chat.editor.localAgent.enabled": true,
...

변경 후에는 새로운 채팅의 입력란이 Local로 설정되어 있는지 확인해 주세요.

참고로, 1.142 버전에서는 Copilot Harness를 위해 Canvases도 미리보기 기능으로 추가되었습니다. 이는 채팅 옆에서 에이전트와 같은 칸반 등을 조작할 수 있는 기능이며, 흥미롭습니다. 다만, 현재 저에게는 새로운 기능보다 평소의 빠르고 원활한 왕복 속도와 차분(diff)의 가독성이 더 중요했습니다. Canvases 설명

Harness 전환에 알아차리지 못한 채 'Copilot이 갑자기 사용하기 어려워졌다'고 생각하는 분들은, 먼저 채팅 입력란의 Local / Copilot을 확인해 보는 것이 좋을 것 같습니다.