아마존은 직원들에게 발송한 메모를 통해 소프트웨어 엔지니어들을 위한 AI 사용 지침을 제시했으며, 직원들이 인공지능 도구를 활용하려는 과정에서 '토큰맥싱(tokenmaxxing)'에 의존하는 것을 자제할 것을 권고했습니다.
지난 9월 내부적으로 배포되었고 화요일에 회사 웹사이트에 게시된 이 메모는 AI 시대에 회사가 소프트웨어 개발 엔지니어와 관리자의 역할을 어떻게 정의하는지를 수정했습니다.
회사는 "우리는 이제 막 AI가 소프트웨어 엔지니어링에 미치는 영향의 시작을 보고 있을 뿐입니다"라고 작성했습니다. "미래가 어떻게 될지에 대한 비전은 있지만, 아직 많이 새롭게 등장하고 있습니다. 우리는 어떤 미래 모범 사례(best practices)가 있든 간에, AI가 소프트웨어 엔지니어링 실습의 중심이 될 것이라고 확신합니다."
CEO Andy Jassy 체제 하에서 아마존은 광범위한 사업 운영 전반에 걸쳐 AI를 빠르게 통합해 왔습니다. Jassy는 이전에 AI가 일상 업무의 '범위와 속도'를 변화시키고, 자동화를 통해 향후 몇 년 안에 기업 인력을 줄일 수 있지만, 동시에 "다른 일자리"도 창출할 것이라고 예측한 바 있습니다.
직원들이 AI 도구를 채택하기 위해 서두르면서, 회사들은 이 기술의 급증하는 비용과 이 기술이 생산성 향상이나 다른 가치 있는 투자 수익(return on investment)으로 이어지는지 신뢰성 있게 측정하는 문제에 직면했습니다.
회사들은 최근 개발자들이 결과물에 대한 고려 없이 가능한 한 많이 AI를 사용하는 '토큰맥싱'을 단속해 왔습니다. 일부 회사들은 급증하는 AI 청구서를 늦추기 위해 직원들의 토큰 사용량(AI 모델에 의해 처리되고 생성되는 데이터 단위)에 제한을 설정했습니다. 다른 회사들은 특정 작업을 위해 더 저렴한 오픈 소스 모델로 전환하기도 했습니다.
아마존 대변인은 회사가 직원들의 토큰 사용량에 상한선을 두지 않았다고 말했습니다. 아마존은 직원들이 순위를 올리기 위해 토큰맥싱을 하는 것을 발견한 후, 지난 5월 내부 리더보드를 폐쇄했습니다.
화요일에 게시된 메모에서 Amazon은 토큰 사용량, AI 도구 채택률, 코드 변경 또는 검토와 같은 지표들이 팀이나 조직의 AI 활용도를 측정하는 데 있어 여전히 “심각하게 결함이 있는(deeply flawed)” 방식이라고 밝혔으며, 이러한 지표들이 더 높은 비용과 과도한 복잡성을 초래할 수 있다고 덧붙였다.
다만, 직원들에게 해당 지표들을 완전히 무시하라고 말하지는 않았다. Amazon은 토큰 사용량과 코드 생성은 다른 데이터와 함께 “신중함과 판단력(care and judgment)”을 가지고 고려되어야 한다고 말했다.
이 회사는 “우리는 장기적인 결과로 측정하고, 그에 의해 측정되는 것이 가장 좋다고 믿는다”라고 적었다.
Amazon Web Services의 부사장 겸 Distinguished Engineer인 Marc Brooker는 CNBC와의 인터뷰에서 회사가 AI가 엔지니어 생산성을 어떻게 향상시키는지 측정하기 위해 “피처 벨로시티(feature velocity)”와 같은 지표를 살펴봤다고 말했다.
그는 이 지표가 “우리가 얼마나 많은 출시를 하고 있는지, 프로덕션 환경에서 얼마나 성공적인 변경을 이루고 있는지” 등과 같은 것들을 본다고 설명했다.
브루커는 “광범위하게 볼 때, 우리는 이것을 투자 수익률(return on investment)로 생각한다”라고 말했다. “만약 고객을 위해 해결해야 할 중요한 문제나 우리 비즈니스를 위해 해결해야 할 중요한 문제가 있다면, 우리는 도구, 시간, 토큰, 인적 노력 등에 투자할 것이다.”
그는 또한 “우리가 보고 싶지 않은 것은 의미 없는 곳에 노력을 낭비하는 것인데, 그곳에서 토큰을 사용해 중요하지 않은 문제를 해결하려 하는 경우다. 그리고 때로는 알기 어려울 수 있으므로, 우리는 실험에 대한 어느 정도의 의욕이 필요하다”라고 덧붙였다.
Amazon은 또한 주어진 작업에 AI가 적절하지 않을 때 직원들이 AI를 사용하는 것을 만류했다.
Amazon은 메모에서 “만약 당신의 업무가 현재 AI 도구로 인해 이점을 얻지 못한다면, 그것은 실패가 아니라 발견(finding)이다”라고 밝혔다.
이 회사는 또한 “AI가 아직 업무에 도움이 되지 않는 부분을 설명할 수 있는 엔지니어는 우리가 요구하는 판단력을 보여주고 있다”고 덧붙였다.Dan Ives on big tech's earning test: It all comes down to demand and what we see in CapEx
