Tokenmaxxing은 죽었다, Tokenmaxxing 만세

Tokenmaxxing은 직원들이 AI를 의미 있게 활용하도록 강제로 전환시키는 방법이었을 뿐임
토큰 지출로 성과를 측정하던 회사들은 이제 그 강도를 낮출 수 있음. 직원들은 이전엔 AI를 쓰지 않았을 일에도 써보면서 무엇이 가능하고 불가능한지 배웠음
누구도 토큰 지출을 영원히 성과 기준으로 삼고 무제한 예산을 줄 만큼 어리석지는 않음. 애초에 새 환경으로 직원을 옮기기 위한 임시 조치였다고 봄
경영진은 직원들이 AI를 충분히 빨리 활용하지 않는다고 느꼈고, 그래서 2025년에 CEO들이 AI를 쓰지 않으면 해고하겠다고 압박한다는 주류 기사도 많았음. Tokenmaxxing은 그 반대편 극단이었고, 회사들은 결국 균형점에 도달할 것임
너무 깊게 생각할 필요 없음
덧붙여, 어떤 답글은 경영진이 왜 이런 조치를 해야 했는지 보여주는 예로 이 X 글을 들었음. 수백/수천/수만 명 규모의 회사를 바꾸는 건 어렵고, 한 번에 단순한 메시지 하나씩 보내야 함. https://x.com/danluu/status/1487228574608211969?lang=en

Tokenmaxxing이 의도적이고 신중한 접근이었다는 암시는 너무 웃김
실제로는 LLM의 단점을 이해하기엔 가치 창출 현장에서 너무 멀리 떨어진, 과하게 보상받는 관리자 계층이 맹목적으로 유행을 따라간 것에 가까워 보임

Tokenmaxxing 광풍 동안 VP와 최고위 임원들이 하던 논리를 들어보면, “직원들이 AI를 의미 있게 활용하게 만들기 위한 의도적 조치”였다는 해석은 너무 후하게 봐준 것 같음
대부분 회사는 잘해야 “남들이 하니까 우리도 한다”에 집중했고, 나쁘게는 “개발자 Joe가 팀 전체만큼 생산적일 수 있는지 보고 나머지를 해고하자”에 가까웠음
실제로 많은 회사가 “토큰 지출이 낮아 성과가 부족하다”는 이유로 직원을 대거 해고하기도 했음

이건 인간이 해줄 수 있는 가장 호의적인 설명에 가까움
이 특정한 경영진의 어리석음 사례에는 그냥 그대로 해당될 수도 있지만, 더 일반적으로 보면 참 아름다운 글쓰기임
CEO는커녕 어떤 인간에게라도 이 정도로 빗나간 믿음을 가질 수 있으면 좋겠음

예전에 HN에서 본 이야기가 떠오름. 조직이 클수록 모두에게 닿으려면 메시지와 도구가 단순해야 한다는 내용이었음
당시 주니어였던 사람이 자기 회사에서 A/B 테스트에 “Tokenmaxxing” 같은 제도를 도입했다고 했음. 테스트를 많이 할수록 성과 평가에 유리한 방식이었고, 그땐 멍청하다고 생각했지만 결과적으로 모두가 실험이 무엇이고 어떻게 돌리는지 익숙해지는 효과는 냈음

내부 승진한 관리자가 있는 작은 팀이라면 실제로 이런 의도가 있었을 수도 있음
하지만 대기업 관리자는 VP에게서 AI를 해야 한다는 압박을 받고, VP는 임원진에게서 압박을 받았을 가능성이 훨씬 큼. 임원진은 비용을 줄이면서 회사를 무한히 확장해줄 그럴듯한 마법 같은 AI 전략을 내놓으라는 압박을 받았을 것임
그런 환경에서는 Gartner 차트를 복붙하고 컨퍼런스에서 주워들은 유행어를 섞은 뒤, 어딘가의 누군가가 언젠가 그것을 전진처럼 보이는 무언가로 바꿔주길 바라는 쪽이 더 그럴듯함

“이제는 다르다, 에이전트가 오류가 아니라 성공을 누적한다”는 말을 적어도 1년은 들었지만, 아직 그렇게 보이지 않음
그런 말을 하는 사람들에게서 운 좋게 1인당 5만 달러짜리 1주일 AI 교육을 받았는데, 그나마 도움이 된 구체적 추천 중 하나가 일이 엇나가지 않게 맥락을 계속 자주 비우라는 것이었음
다만 보안 취약점 찾기에서는 이게 상관없을 수 있음. Tokenmaxxing은 그 용도에는 확실히 효과적임. 업계는 지금 매우 비싸고 복잡한 지속적 퍼징을 도입하는 중임

최신 최전선 모델조차도 실수를 지우기 위한 세심한 맥락 가지치기, 유지, 재작성에서 엄청난 이득을 보는데, 이를 중심에 둔 도구가 없다는 게 놀라움
예전에 그런 기능이 있던 도구인 Zed와 나중에 이름 붙은 Text Threads도 이제 그 기능을 제거했음

1인당 5만 달러짜리 1주일 AI 교육이라니, 믿기 힘든 사기성 장사처럼 들림
도대체 누구였길래 그런 투자가 가치 있다고 누군가 생각할 수 있었는지 궁금함

“진지한 기업 리더, 예를 들어 Mark Zuckerberg 같은 사람이 Meta가 돈을 태우겠다고 발표한다고 상상해보라”는 말은, 이를테면 메타버스 전환을 선언하고 진지함을 보여주려고 회사 이름까지 바꾼 일과 비슷함

“더 많은 토큰을 쓰면 일반적으로 더 좋은 결과가 나온다. 우리는 이를 ‘정확성의 복리’라고 부른다”는 부분이 이상함
정말 그런 국면에 들어섰나? 토큰을 더 많이 쓸수록 보통 더 나은 결과가 나온다는 게 일반적으로 맞나? 이 견해가 너무 이상해서 글쓴이가 Tokenmaxxing에서 금전적 이익을 얻는 게 아닌가 싶음

NVDA 지분을 꽤 갖고 있을지도 모름

이건 지옥 같음. 지옥이 영원히 정비가 엉망인 불편한 롤러코스터에 갇혀 있는 곳이라면 딱 이 느낌임

글 내용에 더 맞는 제목은 “Tokenmaxxing의 죽음이라는 보도는 크게 과장됐다”였을 것 같음
개인적으로 “x는 죽었다, x 만세” 같은 말이 안 되는 제목 관용구 사용을 싫어함

“x 만세”는 실제로 적절한 제목을 고민하지 않아도 관심을 끌 수 있게 해주는 게으른 밈임

그 제목이 더 낫다! 부제목으로 추가했음

여기서 말하는 루프가 뭘 뜻함? 원하는 결과가 나올 때까지 같은 프롬프트를 반복한다는 건가? 반복 결과들이 서로 너무 비슷하지 않나?

꼭 원하는 결과가 나올 때까지는 아니고, LLM 자신이 주어진 기준에 따라 “완료”라고 판단할 때까지 반복하는 것에 가까움
그 기준은 종종 갱신된 할 일 목록일 뿐임. 이런 극도로 단순한 “하네스” 중 하나는 그 결과로 생기는 머리 비운 듯하지만 끈질긴 Tokenmaxxing을 빗대려고 Ralph Wiggum Loop[1]라고까지 불렸음
[1] https://awesomeclaude.ai/ralph-wiggum

이런 일은 대형 기술 도입 초기 몇 년 동안 대부분 반복되는 것 같음
2010년대 초 빅데이터 붐 때도 임원들이 명확한 분석 활용 사례나 거버넌스도 없이 Spark 클러스터와 데이터 레이크부터 사들였음

“기업 리더가 기분 좋으려고 돈을 태우겠다고 말하는 건 거의 들어본 적이 없다”니, 정말인가?
약 4년 전 우리 CEO는 팀 빌딩 연습을 하겠다며 컨설턴트를 여러 번 비행기로 불러왔음. 우리는 3년 주기 서버 교체도 감당 못 하지만, 그 컨설턴트 비용은 문제없이 냈음
최근에는 브랜딩 컨설턴트도 불렀고, 사진을 모두 리브랜딩하느라 AWS 비용으로 수천 달러를 썼음. 우리는 포획 시장에서 운영함. 우리 시장에서 영업하려면 우리 서비스 구독이 필수이고, 그 시장 밖이면 구독할 수도 없음. 결국 브랜딩은 매출을 0만큼 늘림
예전에 함께 일하던 회사에서 새 CTO가 오자마자 한 첫 일 중 하나도 서버 이름 변경 규칙이었음. 미국 중심 직원들에게는 낯선 전 세계 도시 이름을 쓰는 방식이었고, 데이터베이스 서버는 스위스 도시, 웹 서버는 덴마크, 스토리지는 핀란드 식이었음. 소 떼처럼 다루던 이름에서 반려동물 이름으로 바뀌었고, 그 CTO는 약 6개월 버텼음
내 경험상 회사 리더십은 이 글이 생각하는 것만큼 검소하지 않음

회사에 대해 순진한 사람이 많은 것도 놀라움. “자본주의는 효율적”이라는 격언을 완전히 믿어버린 것처럼 보임
기업 환경에서 일하면서 이런 낭비의 명백한 예를 한 번도 못 봤다는 게 상상하기 어려움. 과하게 보상받는 컨설턴트와 반드시 써야 하는 예산은 전형적인 사례임
영화 Office Space는 27년 전에 나왔고, 경영진에게 사람을 해고하라고 말하는 것뿐인 과잉 보수 “효율 컨설턴트”를 조롱하는 줄거리가 있음

공평하게 말하면 리더들은 보통 그렇게 직접 말하지는 않음. “기분이 좋아서 돈을 태우겠다”는 뜻의 아무 말 대잔치를 할 뿐임
더 정확히는 “이게 내 경력에 도움이 되니까”에 가까움