대규모 언어 모델 (LLM)의 구체적인 활용 사례에 있어, AI 기업들은 코더와 소프트웨어 개발자들이 컴퓨터 코드를 생성할 때 생산성과 전반적인 효율성을 높이기 위해 이러한 모델을 사용할 수 있는 방법들을 강조하는 것을 좋아합니다. 하지만, 새로운 무작위 대조 실험 (Randomized Controlled Trial) 결과에 따르면

연구 대상 개발자 중 일부의 화면 녹화 데이터를 분석한 결과, METR 연구진은 AI 도구가 해당 개발자들이 코딩, 테스트/디버깅 (testing/debugging), 또는 "정보 읽기/검색 (reading/searching for information)"에 소비하는 평균 시간을 단축하는 경향이 있음을 발견했습니다. 하지만 이러한 시간 절감 효과는 결국 "AI 출력물 검토 (reviewing AI outputs), AI 시스템 프롬프팅 (prompting AI systems), AI 생성 대기 (waiting for AI generations)" 시간과, 화면 녹화상에 활동이 나타나지 않는 "유휴/오버헤드 시간 (idle/overhead time)"에 의해 상쇄되었습니다.

전반적으로, 연구에 참여한 개발자들은 AI가 생성한 코드 중 수정 없이 그대로 수용한 비율이 44% 미만이었습니다. 대다수의 개발자는 AI 동료 (AI companion)가 생성한 코드를 수정해야 할 필요가 있다고 보고했으며, 연구의 "AI 보조 (AI-assisted)" 부분에서 전체 작업 시간의 총 9%가 이러한 종류의 검토 작업에 소요되었습니다.