이 글은 토큰을 무제한으로 쓸 수 있다는 전제에서 나온 듯함. 거의 공짜인 방법으로 같거나 더 좋은 결과를 얻을 수 있는데도 비용이 큰 방식을 사용함.
중간에는 변경마다 스킬 파일을 활용하고 Claude에 chrome-for-Claude 도구를 쓰게 해서 회귀를 확인하는 긴 설명이 나옴. 하지만 Playwright면 토큰을 쓰지 않고도 동등한 품질로 동일한 검증을 결정론적으로 반복할 수 있음. 한 번 작성해 여러 번 사용하므로 추가 실행 비용도 거의 0임.
Lauren Tan의 발표가 이 주제를 훨씬 잘 다룸. 핵심은 정적 분석처럼 저렴하고 결정론적인 검사를 먼저 도입한 뒤 다른 검증 방식으로 넘어가는 것임.
고객의 성과를 개선하면서도 토큰 사용량을 늘려 매출을 키우려는 마케팅이기 때문에 그렇게 느껴지는 것임.
Anthropic 외부 사용자에게도 토큰은 이미 거의 공짜라고 봄.
더 중요한 건 이 접근이 사고 작업을 미리 해두어야 했던 시대에서 비롯됐다는 것임. 가능한 실패를 예측하고, 이를 잡을 결정론적 테스트와 상황별 의사결정 트리를 설계하는 게 지금까지는 유일한 방법이었지만 앞으로는 달라질 수 있음. 애플리케이션과 기능의 목적을 모두 이해한 선임 엔지니어처럼 각 오류를 철저히 검토하면, 다른 통찰을 얻거나 예외 상황을 더 유연하게 다룰 수도 있음.
Playwright를 사용하지 않는다고 생각하는 근거가 무엇인가?
이 글은 코드 생성과 검증을 별개의 작업으로 취급하는 개발자를 겨냥한 것으로 보임. Playwright를 포함한 적절한 도구를 에이전트에 줘서 둘을 함께 수행하게 하면 토큰 효율은 오히려 좋아짐.
개발자 친구가 야간 체육관 예약을 자동화하려고 ChatGPT의 컴퓨터 사용 기능을 시도했지만, 비밀번호 입력을 거부했고 승인 없이 실행하도록 설득하기도 어려웠음.
AI에게 클릭을 수행하는 작은 Selenium Python 스크립트를 작성시키라고 했더니 아주 잘 작동함.
Claude Code 팀은 도대체 생각이라는 걸 하지 않는 듯함. Anthropic 팀들과 소통해 보면 회사 안에서 자기 소프트웨어가 어떻게 작동하는지 아는 사람이 아무도 없다는 게 분명해짐.
코드를 작성하지도, 읽지도 않고 수천 개의 에이전트와 막대한 토큰으로 모든 일을 한다는 사실을 스스로 공개하고 있음. 블로그와 대외 소통에도 이런 모범 사례와 코드 생산량 증가를 강조하는 내용이 가득함.
대부분 내부 도구나 모델 관련 작업일 수는 있지만, 공개된 소프트웨어를 보면 그 많은 작업이 3년 전보다 얼마나 큰 발전으로 이어졌는지 의문이 듦.
하는 일의 절반은 자기 제품을 망가뜨릴 방법을 찾는 것 같음. 여자친구의 업무용 설정을 도와주면서 써봤는데, Claude Mac 앱은 6개월마다 Cowork와 Claude Code 사이를 오락가락하며 지금까지 써본 AI Mac 앱 중 가장 형편없었음.
Cowork와 일반 Claude의 컴퓨터 사용을 제한하고 돈을 내라고 하길래, 그냥 컴퓨터 사용 MCP를 추가해서 해결함.
에이전트를 수십, 수백 개 병렬 실행할 수 있다는데, 이미 한두 개만으로도 월 2,000달러의 토큰 비용을 쓰고 있음. 대체 어떻게 하라는 건가?
개인 지출을 수익성 있는 기업의 운영 방식과 비교하는 이유를 모르겠음. 별다른 인프라에만 매달 수백만 달러를 쓰는 회사에서도 일했지만, 그걸 두고 지속 불가능하다고 하지는 않음. 토큰 사용 극대화는 끝난 게 아니라 이제 시작임. AI 비용은 몇 달마다 절반으로 줄고, 제번스의 역설에 따라 사용량은 더 늘어남. 릴리스 검증도 그렇게 자주 하는 작업이 아니며 5~6명 팀 전체를 위해 한 번 실행하는 것임.
왜 토큰에 1만 2,000달러, 아니 20만 달러를 쓰지 않는 건가? 코딩은 해결됐으니 이제 무한히 돈을 벌 수 있을 텐데, 에이전트의 미래에는 쓸모없어질 현재의 돈을 지금 Anthropic에 넘기면 되겠음.
요즘 Claude Code의 안정성은 어떤가? 약 9개월 전에 주력 도구로 쓰기를 중단했는데, 당시에는 무겁고 매끄럽지 않았으며 버그와 작업 흐름을 깨는 UI 변경도 잦았음. 나아졌다면 반가울 것 같음.
내 경험으로는 버그투성이임. 모델 API가 정상일 때 기본 채팅만 안정적으로 작동하고, 파일 탐색기·변경 사항 뷰어·모델 전환기 등 나머지 기능은 가끔만 제대로 동작하는 듯함. 검증에 관한 이들의 조언을 특별히 신뢰할 만한 근거로 삼지는 않겠음.
데스크톱 앱은 지금 꽤 훌륭해서 최근 CLI에서 옮겼음. 컨텍스트 창을 무엇이 채우는지 실시간으로 보여주고, 통합 터미널·변경 사항 보기·Markdown 뷰어·파일 트리·브라우저도 제공함.
에이전트 중심 개발을 한다면 좋은 환경임. 겪은 버그는 긴 대화로 전환할 때 가끔 1초 정도 지연되는 것뿐임.
충분히 안정적임. 다만 안정성과 전체적인 가치를 혼동하지 않아야 함. 안정성은 여러 지표 중 하나이고 단일 지표는 오해하기 쉬움. Claude Code는 전반적으로 매우 강력하고 가치 있는 도구임.
여전히 터미널이 더 좋음. 얼마 전 UI를 써봤는데 터미널보다 지나치게 장황하고 JIRA 항목을 비롯한 온갖 내용으로 화면을 채웠음.
지금은 무엇을 쓰는가? OpenCode를 써봤다면 Claude Code와 비교해서 어떤가?
“모든 변경을 읽을 수 없으니 실패를 기준으로 사람이 필요한 부분을 정한다”지만, 모든 변경 사항을 사람이 검토할지는 프로젝트 차원에서 의식적으로 결정할 사안임.
아직 그것이 불가능한 프로젝트는 보지 못했음. 수동으로 변경할 때처럼 검토 가능한 작은 단위로 나누면 됨. 제정신이라면 수백 개 파일에 걸친 비기계적 변경을 한꺼번에 하지는 않음.
기업의 합리성은 개인과 다르며, 보통 매출·비용·위험을 중심으로 판단함. 매출을 늘리거나 비용을 줄일 수 있다면 위험을 감수하고, 적발 가능성과 벌금까지 계산해서 법적으로 애매한 일도 기꺼이 함.
그런 관점에서 Anthropic이 모든 활동에 사람 없이 AI가 전부 할 수 있다는 서사를 밀어붙이는 건 당연해 보임. 이들에게 과열된 기대감은 산소와도 같음.
다른 많은 기업에는 누구도 이해하지 못하는 코드를 배포할 위험에 비해 보상이 너무 작겠지만, 결국 처지에 따라 달라짐. 안타깝게도 좋은 엔지니어링을 우선시하지 않는 기업이 많음.
서식을 바꾸거나 상용구 CRUD API를 추가하는 PR까지 검토하느라 시간을 쓸 필요는 없다고 봄.
이미 새로운 세상에 들어섰고, 수많은 유명 기업이 수백 개 파일에 걸친 그런 변경을 하고 있음.
6개월 전이라면 몰라도 지금은 완전히 터무니없는 일이 아님. 1년 뒤에는 일상적인 작업이 될 것임.
소프트웨어 엔지니어링의 변화 속도가 놀라울 정도임. 무엇이 옳고 그른 방식인지 아직 충분히 이해하지 못함.
자신들의 방식을 공유하는 건 좋지만, 대부분은 그 정도로만 받아들여야 할 듯함. 예산상 지속 가능한지, 다른 방식이 더 나은지, 유지보수와 품질 측면에서도 지속 가능한지는 아직 판단하기 어려움.
이런 글을 읽을수록 Claude는 프로세스 시제품 제작에 적합하지만, 비용을 낮추려면 그 프로세스를 일반 코드·스크립트·조직 체계로 굳혀야 한다는 생각이 듦.
Python이 시제품 제작용 언어로 쓰였듯이, AI의 미래도 더 큰 규모의 시제품을 손쉽게 만드는 데 있을 수 있음.
Anthropic이 자체 개발 프로세스를 제품화한 결과물을 아직 내놓지 않았다는 게 의외임.
불안정한 테스트의 근본 원인을 못 찾으면 삭제하고 이유를 적는다는데, 외부 의존성이 차단된 테스트라면 이분 탐색으로 언제부터 불안정해졌는지 추적해 원인을 찾을 수 있어야 함.
그렇지 않은 테스트라도 불안정성을 유발하는 의존성을 식별할 수 있어야 하며, 그래도 삭제가 타당하다면 그 의존성을 근거로 삼으면 됨.
완벽하게 격리된 실행 환경은 없음. 코드가 100% 단일 스레드가 아니라면 캐시 등의 영향으로 스레드 사이의 실행 타이밍은 항상 달라짐.
테스트에는 격리뿐 아니라 결정론적 동작도 필요함. 결정론은 “그냥 샌드박스에 넣으면 된다”는 식으로 간단히 달성할 수 없음.
부정적인 반응이 의외임. Claude 덕분에 양질의 소프트웨어를 출시했고, AI 없이는 비교하기 어려운 속도로 기능 추가·버그 수정·성능 개선을 진행해 이해관계자들도 매우 만족함.
직접 정립한 QA 작업 흐름이 이 글과 거의 같으므로, 실무 경험상 따를 만한 조언임. 이 작업에는 Ultra 요금제를 사용함.
지금 가장 큰 걸림돌은 검증을 늘릴수록 테스트 실행도 늘어나고, 평가 실행 비용이 금방 커진다는 것임. 제대로 검증하지 못하는 부분은 일부만 확인 가능한 UX와 에이전트 작업 흐름 자체임.
나머지는 이제 거의 신경 쓰지 않으며, 현재 구성으로는 잘 작동함.