Amazon은 내부 엔지니어들에게 토큰 사용량 같은 양적 지표에만 집중하는 것을 지양하도록 가이드라인을 발표했습니다. 대신, AI 활용의 초점을 '전송된 프롬프트'가 아닌 실제 '출시된 가치(shipped value)'와 장기적인 비즈니스 결과로 측정해야 한다고 강조합니다.
핵심 포인트
토큰 사용량 등 양적 지표는 목표 설정에 부적합하며, 컴퓨팅 비용을 고려해야 합니다.
AI 활용의 핵심은 '전송된 프롬프트'가 아닌 실제 '출시된 가치(shipped value)' 측정입니다.
판단과 결과 중심의 접근이 중요하며, 장기적인 비즈니스 성과를 기준으로 삼아야 합니다.
모호성을 줄이기 위해 사양 기반(spec-first) 프롬프트 사용을 권장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
무슨 일이 있었나:
일부 Amazon 직원은 내부 리더보드가 결과보다 사용량(AI가 읽고 쓰는 텍스트 조각인 토큰)을 보상했기 때문에 높은 토큰 수치를 추구했습니다. Amazon은 지난 5월에 이 중 하나를 폐지했습니다. 그리고 10월 27일, 공개 메모에서 더 나아가 지침이 내려졌습니다.
CNBC
전개 과정
목표: 매주 AI를 사용하는 개발자의 80% 이상 달성.
tomshardware
일부 직원들은 불필요한 작업을 실행하고 자신들의 수치를 부풀리기 위해 사내 에이전트 플랫폼(in-house agent platform)을 사용했다고 보고되었습니다.
tomshardware
추가 토큰 하나하나가 실제 컴퓨팅 비용(compute cost)입니다.
메모 내용
토큰 사용량, 도구 채택률, 코드 변경 횟수는 목표로 삼기에는 “심히 결함이 있는” 지표들입니다.”
CNBC
aboutamazon
AI는 장기적인 결과(고객, 비즈니스, 팀)를 통해 판단해야 합니다. 만약 AI가 당신의 작업에 적합하지 않다면, 그렇게 말하고 그 이유를 설명하십시오. 그것이 실패가 아니라 판단입니다.
신중하게 사용한다면, 사용량 지표는 여전히 출력물과 상관관계를 가집니다.
개발자들이 주목해야 할 이유
전송된 프롬프트(prompts sent)가 아닌 출시된 가치(shipped value)를 측정하십시오.
AI는 빠르게 작성하지만, 품질은 여전히 당신이 소유하고 있으므로 주의 깊게 검토해야 합니다.
사양 우선(spec-first) 프롬프트(예: Kiro의 요구사항, 디자인, 작업 흐름)는 모호성을 줄여줍니다.