AI 보조 코딩에 대해 틀리는 열두 가지 방식

작성자는 Software Carpentry 창립자 중 한 명이라, LLM이 나오기 훨씬 전부터 소프트웨어 생산성 측정을 더 잘하는 방법을 고민해 온 사람임
인용된 METR 연구는 흔히 보이는 이유보다 더 흥미롭다. 많은 사람에게 헤드라인은 “AI가 사람들을 더 느리게 만들었다”였고, 이는 2025년식 LLM이라 계속 좋아지는 중이라는 식으로 반박될 수 있음
하지만 더 흥미로운 결과는, 사후에 본인들이 추정한 값이 실제와 방향조차 맞지 않았다는 점임. 여기에는 대부분의 회사가 무시하는, 어떤 측정에도 근본적인 어려움을 만드는 요소가 있는 듯함
도구가 사람들을 더 생산적으로 만든다는 막연한 느낌조차 믿을 수 없음. 사람들은 스스로 알지 못함
이어진 후속 연구는 선택 편향 때문에 사실상 실패했음

The primary reason is that we have observed a significant increase in developers choosing not to participate in the study because they do not wish to work without AI
개발자들이 AI 없이 일하기를 거부한다는 건 도구가 잘 작동한다는 뜻일 수도 있고, 도구에 점점 의존하면서 더 어려운 작업을 하는 능력이 완전히 퇴화했다는 뜻일 수도 있음

사람들이 실제로 하기 싫은 부분에 LLM을 더 많이 의존하는 경향이 있고, 하기 싫은 일을 할 때는 시간이 항상 훨씬 더 느리게 느껴진다는 게 내 가설임

“새 도구는 새롭기 때문에 더 빠르게 느껴지고, 그 느낌은 보통 몇 주 안에 사라진다”는 말은 거꾸로인 것 같음
새 도구는 익숙하지 않아서 항상 나를 느리게 만듦. 물론 더 빨라질 잠재력은 보이지만, 아직 효과적으로 쓰지 못하기 때문임

관련된 효과가 하나 더 있음. 특히 새 도구를 자원해서 써보는 사람들은 열정이 있어서, 부족한 부분을 메우려고 근무 시간 밖에도 더 일함
한동안은 인상적으로 보이지만, 결국 평소 업무 방식으로 돌아가면서 자연스럽게 사라짐

측정은 어렵다. 어떤 의미에서는 AI 보조 코딩을 측정하려는 것 자체가 실수일 수 있음
어떤 작업은 더 빠르게 만들어 주는 게 분명하고, 더 빨라지게 쓰는 방법도 거의 분명히 있을 것임
더 중요한 질문은 그 방법이 무엇인지, 그리고 그 과정에서 무엇을 잃는지가 됨

생산성과 작업 속도 향상은 다름. 어떤 작업이 더 빨라져도, 그 작업이 병목이 아니었거나 속도 향상에 비용이 따른다면 생산성에는 긍정적 영향이 없을 수 있음
원문도 이를 “쉬운 절반만 측정하기”로 다루고 있음

“다음 주에 매니저가 회사에서 가입한 AI 코딩 도구가 구독료만큼 가치 있다는 걸 보여달라고 한다면, 생성된 코드 줄 수를 측정할 것인가, 닫힌 티켓 수를 측정할 것인가?”라는 질문에 대해, Claude는 이미 결제 내역에서 코드 줄 수, 수락률, 토큰 사용량을 측정함
닫힌 티켓 수는 팀의 속도일 텐데, AI 출력은 그중 일부 요소일 뿐이고 Jira가 스프린트 속도를 측정함
어쨌든 이 질문은 매니저가 원하는 산출물이 무엇이라고 생각하느냐에 따라 쉽게 조작될 수 있고, 아마 이미 그렇게 되고 있을 가능성이 큼

작성자가 매우 중요한 질문을 빠뜨린 것 같음. “AI 사용은 어떤 피해를 일으키는가?”가 그것임
이 질문은 다른 어떤 것보다 더 근본적이라고 봄. 피해는 측정하기가 훨씬 쉽기 때문임. Git forge를 하나 띄워두고, 크롤러들이 피 냄새 맡은 상어처럼 달려드는 걸 보면 됨
스크레이퍼가 인터넷 전체를 DDoS하는 건 측정 가능한 문제이고, 직접 호스팅하는 사람이라면 각자 체감하는 현실임
우리가 제대로 측정하기도 어려워하는 AI의 이른바 이점들이, 크롤러가 일으키는 매우 현실적인 피해를 감수할 만큼 가치가 있는가?
크롤러를 운영하고 그 요청을 처리하는 데 드는 에너지, 학습 비용, 추론 비용, 점점 더 큰 데이터 센터의 필요까지 더하면 어떨까?
AI의 그런 이른바 이점들이 이 모든 것을 희생할 만큼 가치가 있는지 묻는 게 훨씬 더 중요한 질문이라고 봄

이런 “우리는 X를 이야기해야 한다”식 문제에서 늘 답답한 건, 생태적 피해를 다룬 글에서는 정반대 주장을 봤다는 점임
“이것들이 에너지를 쓰지 않는다 해도 여전히 나쁜 코드를 만들어내니, 그걸 이야기하는 게 훨씬 더 중요하다”거나, “코딩 이야기를 왜 하느냐, 진짜 피해는 감시에 쓰이는 것이다” 같은 식으로 계속 넘어감