Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 보조 코딩 도구가 개발 생산성에 미치는 영향을 측정하는 것이 얼마나 어려운지 분석합니다. 단순한 속도 향상보다는 도구 의존성, 측정 지표의 왜곡, 그리고 AI 사용으로 인해 발생하는 실질적인 피해와 비용 측면을 고려해야 한다고 주장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기작성자는 Software Carpentry 창립자 중 한 명이라, LLM이 나오기 훨씬 전부터 소프트웨어 생산성 측정을 더 잘하는 방법을 고민해 온 사람임
인용된 METR 연구는 흔히 보이는 이유보다 더 흥미롭다. 많은 사람에게 헤드라인은 “AI가 사람들을 더 느리게 만들었다”였고, 이는 2025년식 LLM이라 계속 좋아지는 중이라는 식으로 반박될 수 있음
하지만 더 흥미로운 결과는, 사후에 본인들이 추정한 값이 실제와 방향조차 맞지 않았다는 점임. 여기에는 대부분의 회사가 무시하는, 어떤 측정에도 근본적인 어려움을 만드는 요소가 있는 듯함
도구가 사람들을 더 생산적으로 만든다는 막연한 느낌조차 믿을 수 없음. 사람들은 스스로 알지 못함
이어진 후속 연구는 선택 편향 때문에 사실상 실패했음
The primary reason is that we have observed a significant increase in developers choosing not to participate in the study because they do not wish to work without AI
개발자들이 AI 없이 일하기를 거부한다는 건 도구가 잘 작동한다는 뜻일 수도 있고, 도구에 점점 의존하면서 더 어려운 작업을 하는 능력이 완전히 퇴화했다는 뜻일 수도 있음
사람들이 실제로 하기 싫은 부분에 LLM을 더 많이 의존하는 경향이 있고, 하기 싫은 일을 할 때는 시간이 항상 훨씬 더 느리게 느껴진다는 게 내 가설임
“새 도구는 새롭기 때문에 더 빠르게 느껴지고, 그 느낌은 보통 몇 주 안에 사라진다”는 말은 거꾸로인 것 같음
새 도구는 익숙하지 않아서 항상 나를 느리게 만듦. 물론 더 빨라질 잠재력은 보이지만, 아직 효과적으로 쓰지 못하기 때문임
관련된 효과가 하나 더 있음. 특히 새 도구를 자원해서 써보는 사람들은 열정이 있어서, 부족한 부분을 메우려고 근무 시간 밖에도 더 일함
한동안은 인상적으로 보이지만, 결국 평소 업무 방식으로 돌아가면서 자연스럽게 사라짐
측정은 어렵다. 어떤 의미에서는 AI 보조 코딩을 측정하려는 것 자체가 실수일 수 있음
어떤 작업은 더 빠르게 만들어 주는 게 분명하고, 더 빨라지게 쓰는 방법도 거의 분명히 있을 것임
더 중요한 질문은 그 방법이 무엇인지, 그리고 그 과정에서 무엇을 잃는지가 됨
생산성과 작업 속도 향상은 다름. 어떤 작업이 더 빨라져도, 그 작업이 병목이 아니었거나 속도 향상에 비용이 따른다면 생산성에는 긍정적 영향이 없을 수 있음
원문도 이를 “쉬운 절반만 측정하기”로 다루고 있음
“다음 주에 매니저가 회사에서 가입한 AI 코딩 도구가 구독료만큼 가치 있다는 걸 보여달라고 한다면, 생성된 코드 줄 수를 측정할 것인가, 닫힌 티켓 수를 측정할 것인가?”라는 질문에 대해, Claude는 이미 결제 내역에서 코드 줄 수, 수락률, 토큰 사용량을 측정함
닫힌 티켓 수는 팀의 속도일 텐데, AI 출력은 그중 일부 요소일 뿐이고 Jira가 스프린트 속도를 측정함
어쨌든 이 질문은 매니저가 원하는 산출물이 무엇이라고 생각하느냐에 따라 쉽게 조작될 수 있고, 아마 이미 그렇게 되고 있을 가능성이 큼
작성자가 매우 중요한 질문을 빠뜨린 것 같음. “AI 사용은 어떤 피해를 일으키는가?”가 그것임
이 질문은 다른 어떤 것보다 더 근본적이라고 봄. 피해는 측정하기가 훨씬 쉽기 때문임. Git forge를 하나 띄워두고, 크롤러들이 피 냄새 맡은 상어처럼 달려드는 걸 보면 됨
스크레이퍼가 인터넷 전체를 DDoS하는 건 측정 가능한 문제이고, 직접 호스팅하는 사람이라면 각자 체감하는 현실임
우리가 제대로 측정하기도 어려워하는 AI의 이른바 이점들이, 크롤러가 일으키는 매우 현실적인 피해를 감수할 만큼 가치가 있는가?
크롤러를 운영하고 그 요청을 처리하는 데 드는 에너지, 학습 비용, 추론 비용, 점점 더 큰 데이터 센터의 필요까지 더하면 어떨까?
AI의 그런 이른바 이점들이 이 모든 것을 희생할 만큼 가치가 있는지 묻는 게 훨씬 더 중요한 질문이라고 봄
이런 “우리는 X를 이야기해야 한다”식 문제에서 늘 답답한 건, 생태적 피해를 다룬 글에서는 정반대 주장을 봤다는 점임
“이것들이 에너지를 쓰지 않는다 해도 여전히 나쁜 코드를 만들어내니, 그걸 이야기하는 게 훨씬 더 중요하다”거나, “코딩 이야기를 왜 하느냐, 진짜 피해는 감시에 쓰이는 것이다” 같은 식으로 계속 넘어감