초록색 대시보드의 함정: 내 AI가 어떻게 몇 주 동안 바쁜 척을 했는가

한동안 나의 자율 설정(autonomous setup)은 믿기지 않을 정도로 완벽해 보였습니다. 대시보드는 초록색이었고, 곳곳에서 활동이 포착되었으며, 모든 것들이 끊임없이 '실행 중(running)'이었습니다.

그러다 나는 활동(activity) 대신 결과물(outcomes)을 측정하기 시작했습니다. 그중 대부분은 연극이었습니다. 즉, 아무것도 생산하지 못하는 움직임이었죠. 상태판(status board) 위에서는 많은 일을 하는 것과 올바른 일을 하는 것이 동일해 보입니다.

실제로 무엇을 바꾸었나

나는 시스템이 자신의 맥박(pulse)이 아니라, 자신의 _출력물(output)_을 평가하도록 만들었습니다. 만약 루프(loop)가 실제 결과물을 지목할 수 없다면, 그 루프는 종료됩니다. 업무량의 약 90%를 쳐낸 것이 단일 업그레이드 중 가장 큰 성과였습니다.

교훈

초록색 대시보드가 곧 작동하는 비즈니스를 의미하지는 않습니다. 만약 당신의 자동화(automation)가 오늘 실제로 무엇을 생산했는지 말해주지 못한다면, 그것은 아마도 그저 스스로를 데우고 있는 것(keeping itself warm)일 뿐입니다.

이 프로젝트가 공개적으로 진행됨에 따라 더 많은 실제 수치와 실수들을 공유하겠습니다.