이번 #tilfm에서는 Anthropic의 The AI-Native SDLC Playbook을 바탕으로 실용적인 소프트웨어 개발 주기(SDLC)에 대해 이야기했습니다.
이 문서는 구체적인 작업 승인 프로세스나 평가 지표를 담고 있어 매우 참고가 됩니다. 팟캐스트와 함께 꼭 읽어보시길 바랍니다. 아래는 메모입니다.
먼저: 코드를 작성하는 것이 병목(bottleneck)이 아니게 되다
구현 속도가 10배 빨라진다고 해서, 사용자에게 도달하는 시간이 1/10이 될 것이라고 보장할 수 없습니다. 요구사항 결정, 검토, 테스트, 승인, 배포 과정에서 대기 시간이 발생합니다.
예외 처리가 회의나 승인 위원회로 넘어가면, 그곳에서 멈춥니다.
구현 속도 향상에 맞춰 전후 공정 역시 재설계할 필요가 있습니다. 이 자료는 각 공정별 인수인계 방식에서 운영 결과가 다음 개발 단계로 돌아오는 루프(loop)로의 전환을 제안하고 있습니다. 사람은 판단이 필요한 지점에 머무르며, 책임을 집니다.
각 공정을 연결하는 것: 산출물과 승인
각 공정의 결과를 다음 공정이 읽을 수 있는 산출물 형태로 남깁니다. 기획은 intent.md, 요구사항/설계는 spec.md, 구현 계획은 plan.md입니다.
구현 이후에는 코드, 테스트, PR(Pull Request), 검토 결과, 장애 기록 역시 산출물이 됩니다.
이러한 산출물과 승인 이력은 무엇을 요청했고, 무엇을 만들었으며, 누가 판단했는지에 대한 기록이 됩니다.
자세히 다룬 부분 → Plan, Test, Deploy, Maintain
Stage 1: Plan — 해결할 문제를 정리하기
아이디어의 진입점은 지원(support), 개발자, 고객의 목소리, 장애 등입니다. 제안자가 AI와 대화하며 문제와 원하는 결과를 구체화합니다.
조직의 템플릿에 따라 intent.md를 작성합니다. 포함해야 할 내용은 문제, 원하는 결과, 대상자/시스템, 제약 조건, 미해결 질문 등입니다.
제안자가 내용을 수정하고, 프로덕트 오너(Product Owner)가 다음 단계로 진행할지 판단합니다. 비엔지니어도 참여할 수 있다는 점이 핵심입니다.
Stage 2: Design — 의도를 요구사항과 설계로 만들기
AI가 intent.md를 읽고 spec.md를 만듭니다. 보안, UX(User Experience), 브랜드 등 정책을 Skills로 적용합니다. 우려 사항, 정책 충돌, 미해결 질문도 명시합니다.
프로덕트 오너는 사양서를 작성하는 것보다 내용 확인과 판단에 집중하게 됩니다. 필요에 따라 정책 책임자나 기술 리드와 상담하여 승인합니다.
Stage 3: Build — 계획을 확인한 후 구현하기
엔지니어가 AI와 구현 계획을 구체화합니다. 변경할 파일, 작업 순서, 고장 날 가능성, 대안, 검증 방법을 확인합니다. plan.md로 남기고 승인한 후에 구현을 시작합니다.
리스크가 높은 변경은 기술 리드나 아키텍트(Architect)에게도 확인받습니다. 구현이 계획과 달라지면, 계획 또한 업데이트해야 합니다.
개발을 지원하는 세 가지 메커니즘:
CLAUDE.md: 새로운 개발자가 첫날 알아야 할 정보입니다. 명령어, 규약, 구성, 자주 하는 실수 등을 작성합니다. 간결하게 유지합니다. (feedforward, guide)
Skills: 특정 작업에 사용하는 팀의 지식이나 절차입니다. 예시로는 API 개발 시의 보안 표준 등이 있습니다.
Hooks: 툴 실행 전후 등에 정해진 처리를 작동시킵니다. 보호 파일 변경을 막거나, formatter 또는 lint를 실행하는 식입니다. (feedback, sensor)
Skills는 지침입니다. 반드시 지켜야 할 제약은 Hooks나 권한으로 강제해야 합니다.
Stage 4: Test — AI가 스스로 결과를 확인하기
사람에게 전달하기 전에, AI가 검증과 수정을 반복할 수 있는 환경을 마련합니다. 테스트, 빌드(Build), lint를 적은 명령어만으로 실행할 수 있게 만듭니다. UI에서는 브라우저나 스크린샷을 사용하여 구현/비교/수정 과정을 거칩니다.
버그 수정 시에는 먼저 재현 테스트가 실패하는 것을 확인해야 합니다. 수정 중에 테스트를 약화시켜 통과시키는 일이 없도록, 테스트 변경에 제한을 둡니다.
Continuous evals in CI: (CI 환경에서의 지속적인 평가)
코드뿐만 아니라 AI의 작업을 좌우하는 설정도 회귀 테스트(regression test)합니다. CLAUDE.md, Skills, Hooks, 모델 등을 변경한 후에도 기대하는 작업이 가능한지 확인합니다.
과거 실습 과제 20~50건을 사용하여 테스트, lint, 동작, 정책 준수 등을 평가합니다. 실제 장애 사례도 평가 케이스에 추가하여 같은 실패를 반복하지 않도록 합니다.
Stage 5: Deploy — 검토와 수정을 진행하고 승인을 기다리기
REVIEW.md에 검토 항목이나 지적의 중요도를 작성합니다. AI가 버그, 보안, 사양/계획과의 일치 여부를 확인합니다.
AI가 리뷰 코멘트나 CI 실패에 대응하여 사람의 승인 대기까지 진행시킵니다. 코드를 작성한 AI에게 스스로 승인하는 경로는 주지 않습니다.
개발 환경과 운영(Production) 환경에서 권한을 다르게 합니다. 운영 배포는 사람의 승인이 필요합니다. 승인을 지침만 믿는 것이 아니라, Hooks나 배포 측의 권한으로 강제해야 합니다.
특히 참고가 된 실질적인 사례:
CI 내에서 에이전트를 샌드박스나 컨테이너에서 구동한다.
통신 대상을 제한하고, 짧은 기간 동안 필요한 범위의 토큰만 전달한다.
프로덕션 인증 정보를 상시적으로 보유하게 하지 않는다.
MCP를 통해 배포 상황 확인이나 롤백 도구를 제공한다.
빌드 실패 로그를 AI가 조사하여 원인 요약본을 추출하게 한다.
개인의 응용 방안으로는, 조사 결과를 Slack 알림으로 보내거나 수정 PR(Pull Request) 작성에 연결할 수 있을 것 같다.
롤백은 장애 발생 시에만 사용하는 것이 아니라, 사전에 리허설한다.
Stage 6: 유지보수(Maintain) — 운영 결과를 다음 개발 단계로 환류시키기
프로덕션 에러율이나 CI 실패율 등을 모니터링한다.
일반적인 변동 범위인 제어 범위(control band)를 벗어나면 대응을 시작한다.
자료 예시로는, 1σ에서 기록하고, 2σ에서는 읽기 전용 조사에 들어가며, 3σ에서는 수정 PR 또는 사전 승인된 절차를 실행한다.
이상 감지는 AI가 아닌, 정해진 계산과 규칙으로 진행한다.
AI는 탐지 후에 호출되어 원인을 조사하는 역할을 맡는다.
조사 결과를 새로운 intent.md로 되돌려 일반적인 개발 공정에서 수정한다.
수정이 완료되면 eval(평가) 단계도 추가한다. 이를 통해 운영에서 개발로의 루프가 완성된다.