에이전트 기반 코딩 어시스턴트(Agentic coding assistants)는 더 많은 기능이 더 나은 소프트웨어를 만들어낼 것이라는 가정하에, 브라우저 기반 테스트 도구 및 디자인 지향적 시스템 프롬프트와 같은 추가적인 기능들을 점점 더 많이 부여받고 있습니다. 본 연구는 이러한 가정을 직접적으로 테스트했습니다. 90회의 독립적인 에이전트 실행(agent runs)이 하나의 상세한 사양으로부터 동일한 애플리케이션인 실시간 회고 보드(real time retrospective board)를 구축하였으며, 각 실행은 고정된 14개 기준의 기능 루브릭(functional rubric, 최대 42점)과 시각적 품질 검토를 통해 점수가 매겨졌습니다. 실행 과정은 여러 모델 세대, 두 가지 에이전트 하네스(agent harnesses), 두 가지 추론 노력(reasoning effort) 수준, 하나의 테스트 도구, 그리고 두 가지 디자인 지향적 프롬프트를 포함했습니다. 기능 계층(Capability tier)이 지배적이었습니다. 프론티어 모델(frontier models)은 만점에 가깝게 밀집된 반면, 저비용 로컬 모델은 24점에서 37점 사이로 떨어졌습니다. 기준 수준 분석(criterion level analysis)은 실행 총점에서는 숨겨진 사실을 드러냈습니다. 컨테이너 배포(Container deployment)가 주요 결함이었으며, 실행의 44%에서 첫 시도에 실패했습니다. 이 실패율은 모델 세대에 따라 급격히 변화한 반면, 평균 총점은 1점 미만으로 움직였습니다. 테스트 도구는 인터페이스 가시적 기준에서조차 기능 점수나 신뢰성을 개선하지 못한 채 비용만 42%에서 68%까지 높였습니다. 추론 노력(reasoning effort)을 High에서 xHigh로 높였을 때, 첫 시도 완벽 실행(first try perfect runs) 비율은 28%에서 89%로 상승했고, 교정 프롬프트(corrective prompts)는 약 5배 감소했으며, 비용은 9%에서 29% 더 증가했습니다. 디자인 지향적 프롬프트는 기능을 높이지 않고도 시각적 품질을 5점 만점에 3.0에서 4.5로 높였으며, 해당 지침을 한 단락으로 바꾸어 표현하는 것만으로도 동일한 상승 효과를 재현했습니다. 실질적인 교훈은 실패에 맞춰 해결책을 매칭하는 것입니다. 대부분의 첫 실행 실패는 약한 추론(weak reasoning)에서 비롯되었으며, 이는 체크 도구가 잡아낼 수 있는 가시적인 결함이 아니라 더 강력한 모델이나 더 많은 노력을 통해 방지할 수 있는 문제입니다.