AI가 생성한 앱은 렌더링을 수행하고 해피 패스(happy path)를 완료할 수 있지만, 정작 중요한 비즈니스 요구사항(business requirement)은 충족하지 못할 수 있습니다. 누락된 권한 규칙, 처리되지 않은 예외(unhandled exception), 또는 데이터에 대한 잘못된 가정은 매우 설득력 있는 데모 뒤에 숨겨질 수 있습니다.

QuantumByte는 흥미로운 아키텍처적 움직임을 보여주는 초기 오픈 소스(open-source) 앱 빌더입니다. 빌더 에이전트(builder agent)의 작업이 끝난 후, 별도의 요구사항 하네스(requirements harness)가 명시적인 비즈니스 요구사항을 평가하고 증거에 기반한 SUCCESS(성공), FAIL(실패), 또는 INCONCLUSIVE(판단 불가) 판정을 보고합니다. 이 프로젝트는 해당 하네스를 앱을 생성한 에이전트가 아닌, 독립적이고 읽기 전용(read-only)인 존재로 설명합니다. Repository · README

생성과 완료 주장으로부터의 분리

이것의 실질적인 매력은 마법 같은 "자동 승인" 버튼이 아닙니다. 이는 자기 확인 루프(self-confirming loop)를 차단하는 방법입니다. 즉, 구현 코드를 작성한 에이전트가 요구사항이 완료되었다고 주장하는 유일한 출처가 되어서는 안 된다는 것입니다.

명시적인 요구사항, 판정, 그리고 그 판정에 사용된 증거는 검토자(reviewer)가 의문을 제기할 수 있는 요소를 만들어냅니다. 무엇이 확인되었는가? 어떤 관찰 결과가 이를 뒷받침하는가? 결과가 진정으로 실패인가, 아니면 시스템이 솔직하게 불확실한 상태인가? 가용한 증거가 동작을 충분히 커버하지 못할 때는, 자신감 있어 보이는 '통과(pass)'보다 INCONCLUSIVE(판단 불가)가 더 유용할 수 있습니다.

이는 grep, LSP, 파일 읽기, 유닛 테스트(unit tests) 또는 CI와는 다른 계층에 위치합니다. 이러한 도구들은 구현을 이해하고 테스트하는 데 도움을 줍니다. 반면 요구사항 하네스(requirements harness)는 에이전트 기반 빌드 루프(agentic build loop) 전반에 걸쳐 비즈니스 의도와 관찰된 증거 사이의 연결 고리를 가시적으로 유지하려고 시도합니다.

읽기 전용은 경계이지, 증명이 아니다

저장소 구조는 웹 앱(web app), 오케스트레이터(orchestrator), 워커(worker), 아키텍처 자료(architecture material), 그리고 Docker Compose 파일을 노출합니다. README는 또한 이 프로젝트를 퍼블릭 알파(public alpha)로 표시하며, 현재 로컬 필수 요구사항(prerequisites)으로 Docker, Node.js, Python, 그리고 Anthropic API 키를 나열하고 있습니다. 이는 초기 시스템으로서 프로젝트를 평가하기 위한 유용한 맥락이지, 이것이 프로덕션 준비가 되었다는 증거는 아닙니다. Architecture directory · Running guide · Docker Compose

읽기 전용(Read-only) 평가는 검증자(verifier)가 단순히 결과를 좋게 만들기 위해 대상을 변형(mutate)할 위험을 줄일 수 있습니다. 하지만 읽기 전용 방식이 모호한 요구사항을 정밀하게 만들거나, 환경이 관찰할 수 없는 증거를 드러내거나, 보안 테스트를 대체하거나, 프로덕션 출시를 승인할 수는 없습니다. 팀은 여전히 중대한 변경 사항에 대해 테스트, 리뷰, 최소 권한 원칙(least-privilege access), 그리고 인간의 의사결정을 필요로 합니다.

합리적인 도입 테스트

만약 귀하의 팀이 이미 AI 생성 내부 도구에 대한 구체적인 수락 기준(acceptance criteria)을 가지고 있음에도 불구하고, "의도(intent)"와 "완료(done)" 사이의 추론 과정을 계속 놓치고 있다면 이 패턴을 연구해 보십시오. 가치가 높은 소수의 요구사항부터 시작하여, 각 요구사항에 대해 어떤 증거가 신뢰할 수 있는지 정의하십시오. 실패와 불확실성을 대시보드의 세부 사항이 아닌, 인간의 워크플로(workflow)를 위한 입력값으로 취급하십시오.

만약 요구사항이 여전히 매일 변하고 있다면, 가벼운 수락 체크리스트(acceptance checklist)와 기존 테스트를 결합하는 것이 더 나은 첫 단계가 될 수 있습니다. 만약 문제가 비밀 정보(secrets), 권한 부여(authorization), 컴플라이언스(compliance), 또는 프로덕션 변경 제어(production change control)에 있다면, 해당 제어 항목들을 직접 해결하십시오. 요구사항에 대한 판결이 그 대안이 될 수는 없습니다. 이 저장소는 Apache-2.0 라이선스를 따릅니다. Roadmap · License

테스트되지 않음 / 실행되지 않음: 이 기사는 공개 저장소(public repository) 자료에 대한 읽기 전용 검토를 바탕으로 작성되었습니다. 저는 QuantumByte를 설치, 실행하거나 그 주장을 독립적으로 검증하지 않았습니다.