Agentic Readiness Assessment
요약
Agentic Readiness Assessment는 AI 코딩 에이전트의 개발/유지보수 준비 상태를 평가하는 플러그인입니다. 이 도구는 저장소를 검사하여 근거 기반의 점수표와 실행 가능한 권장 사항을 제공합니다. 특히 설정만으로는 부족하며, 안전한 명령 실행과 실제 변경 증거가 중요함을 강조합니다.
핵심 포인트
- AI 코딩 에이전트의 준비 상태를 평가하는 도구입니다.
- 저장소의 14개 영역에 대해 가중치 기반 점수를 매깁니다.
- 단순 설정 언급보다 안전한 명령 실행을 통한 증거가 중요합니다.
- Cursor, Codex, Claude Code 등 다양한 환경에서 사용 가능한 플러그인 형식입니다.
Agentic Readiness Assessment는 AI 코딩 에이전트가 개발하고 유지보수할 준비가 된지 소프트웨어 저장소(repository)를 평가하는 에이전트 플러그인입니다. 이 도구는 저장소를 제자리에 검사하여 근거 기반의 준비도 점수표와 실행 가능한 권장 사항을 함께 생성합니다.Built by Exadel.
이 평가는 AI 코딩 에이전트가 이 저장소를 독립적으로 이해하고, 적절한 변경 지점(change points)을 찾고, 재현 가능한 환경을 구축하며, 작업을 검증하고, 배포를 위한 변경 사항을 준비할 수 있는지 증거와 함께 확립합니다.
이는 적용 가능한 최대 105점을 기준으로 14개 영역에 대해 가중치를 부여하여 점수를 매깁니다:
| # | Area | Max |
|---|---|---|
| 1 | Agent guidance and navigation | 10 |
| ... | ||
| Areas that do not apply to the repository's archetype are marked N/A and subtracted from the maximum, so the normalized score stays comparable across different kinds of repository. (저장소의 아키타입에 적용되지 않는 영역은 N/A로 표시되며 최대 점수에서 제외되므로, 정규화된 점수는 다양한 종류의 저장소 전반에 걸쳐 비교 가능합니다.) |
점수 위에는 세 개의 게이트가 있습니다. Gate 1은 설정(setup)을 기반으로 하고, Gate 2는 배포 가능한 결과물(deliverable)을 기반으로 하며, Gate 3은 아키타입의 주요 검증 표면(primary verification surface)이 되는 영역을 기반으로 합니다. 게이트는 해당 기준 영역이 완전히 검증될 때만 통과하므로, 높은 평균 점수가 실패한 게이트를 가릴 수는 없습니다.
설정이 아닌 증거가 중요합니다. 실행되지 않은 명령어는 주장일 뿐입니다. 이 평가는 안전한 명령을 실행하고 작업 디렉토리, 결과 및 아티팩트와 함께 각각 기록합니다. 특정 기능은 설정 파일에 언급되었다고 해서 검증되는 것이 아니라, 체크를 통해 입증되었을 때만 검증됩니다.
프로브가 루프를 증명합니다. 작고 가역적인 편집(reversible edit) 하나만으로 저장소가 실제로 변경 사항을 '편집'에서 '녹색(green)' 상태로 가져갈 수 있음을 확인한 다음, 그 변경 사항은 되돌려집니다. 다른 것은 수정되지 않습니다.
가드레일에는 하드 캡이 있습니다. 권한 우회(permission bypass), 전면 허용 정책(blanket allow-all policy), 보호되지 않은 비밀 파일 또는 커밋된 평문 자격 증명(plaintext credential)은 다른 어떤 것이 있든 간에 영역 13을 2로 제한하며, 각각 자체적인 P0 또는 P1 수정 기록이 됩니다. 경로는 보고되지만, 값은 절대 보고되지 않습니다.
실행 결과는 Ready, Partially ready 또는 Not ready 상태와 함께 High, Medium 또는 Low의 검증 신뢰도(verification confidence)를 쌍으로 제공하므로, 낮은 점수(weak score)와 약하게 입증된 점수(weakly-evidenced score)가 같을 리 없습니다.
이 플러그인은 단일 Agent Skill인 agentic-readiness-assessment를 배포합니다. 이 스킬은 완전히 로컬에서 실행됩니다: 작업 디렉터리의 저장소를 읽으며, 백엔드나 MCP 서버가 필요 없고, 어떤 저장소 내용도 외부로 전송하지 않습니다.
이것은 오픈 Agent Skills 형식으로 작성된 스킬입니다. Cursor와 호환되는 Agent Plugin을 위한 네이티브 매니페스트(native manifests)를 포함하며, Codex 및 Claude Code용 매니페스트도 포함합니다:
Cursor가 사용하는 휴대용 Agent Plugins 형식의 plugin.json
ChatGPT 및 Codex용 codex-plugin/plugin.json
Claude Code용 claude-plugin/plugin.json
세 패키지 모두 동일한 스킬을 가리키며 백엔드나 MCP 서버가 필요 없습니다.
Gemini CLI, Antigravity, Zed, Warp, Windsurf 및 Amp를 포함하여 Agent Skills 형식을 직접 읽는 클라이언트들은 변환 없이 skills/agentic-readiness-assessment/에서 스킬을 로드합니다. Gemini CLI의 확장 설치 프로그램용으로 gemini-extension.json 매니페스트가 존재합니다.
게시된 후에는 Cursor 마켓플레이스에서 설치할 수 있습니다.
이 저장소를 마켓플레이스로 추가하고 플러그인을 설치하세요:
claude plugin marketplace add exadel-inc/agentic-readiness-assessment
claude plugin install agentic-readiness-assessment@exadel-agent-plugins
마켓플레이스를 추가하지 않고 사용하려면, 저장소를 클론하여 claude --plugin-dir .로 직접 로드하세요.
공개 설치는 OpenAI 검토 및 게시 후에 가능합니다. 네이티브 Codex 패키지는 제출 및 로컬 패키징을 위해 이미 저장소에 존재합니다.
gemini extensions install https://github.com/exadel-inc/agentic-readiness-assessment
또는 확장 매니페스트 없이 스킬만 자체적으로 설치할 수 있습니다:
gemini skills install https://github.com/exadel-inc/agentic-readiness-assessment --path skills/agentic-readiness-assessment
copilot plugin marketplace add exadel-inc/agentic-readiness-assessment
Open /extensions
, go to the Marketplaces 탭으로 이동하여 Add marketplace를 선택하고 리포지토리 URL을 붙여넣으세요. Junie는 이 리포지토리에 있는 .claude-plugin/marketplace.json 파일을 읽습니다.
npx skills add exadel-inc/agentic-readiness-assessment
Zed, Warp, Windsurf, Amp 및 파일 시스템에서 스킬을 발견하는 기타 모든 경우에 대해, skills/agentic-readiness-assessment/ 폴더를 평가하려는 클라이언트의 스킬 디렉토리(일반적으로 .agents/skills/)로 복사합니다.
평가하려는 리포지토리를 클론하고 호환되는 클라이언트를 리포지토리 루트에 연결하세요:
git clone https://github.com/exadel-inc/agentic-readiness-assessment.git
원하는 리포지토리 내부에서 에이전트에게 평가를 요청하세요:
- "Run an agentic readiness assessment on this repository." (이 리포지토리에 대한 에이전트 준비도 평가를 실행해 줘.)
- "Generate an AI-readiness scorecard for this codebase." (이 코드베이스에 대한 AI 준비도 점수표를 생성해 줘.)
- "How ready is this repo for AI coding agents, and what should we fix first?" (이 리포는 AI 코딩 에이전트에게 얼마나 준비되었고, 무엇을 먼저 수정해야 할까?)
인수나 설정은 없습니다. 이 스킬은 현재 작업 디렉토리의 리포지토리를 읽습니다.
정확히 하나의 파일만 작성합니다: reports/agentic-readiness.md
, 존재하지 않으면 reports/ 폴더를 생성합니다. 이 단일 문서에는 결정 내용과 이를 뒷받침하는 증거가 열세 개의 고정된 섹션에 담겨 있습니다:
- Verdict (판결)
- Run and Scope (실행 및 범위)
- Glossary (용어집)
- Readiness Scorecard (준비도 점수표)
- Mandatory Gates (필수 게이트)
- What to Fix (무엇을 수정해야 하는지)
- What Can Be Delegated Today (오늘 위임할 수 있는 것)
- What Is Already Good (이미 좋은 것)
- Surface Resolution (표면 해결책)
- Golden Path (황금 경로)
- Probe (탐침)
- Commands Executed (실행된 명령어)
- Confidence and Limits (신뢰도 및 한계)
섹션 1부터 8까지는 결정 문서이며, 독자가 조치 목록에 도달하기 전에 전체 준비 상태를 파악할 수 있도록 순서가 지정되어 있습니다. 섹션 9부터 13까지는 그 배경이 되는 증거입니다.
리포지토리의 다른 부분은 변경되지 않습니다. 유일한 예외는 탐침(probe)이며, 이는 보고서 작성 전에 되돌려지는 단일 가역적 수정입니다.
examples/fs-demo-project/agentic-readiness.md
이는 Prisma와 PostgreSQL을 사용하는 Next.js 14 애플리케이션에 대한 전체 실행입니다. 이 테스트는 100점 만점에 71점을 받아 **부분적으로 준비됨(Partially ready)**으로, 중간 수준의 신뢰도(Medium confidence)를 기록했습니다. 골든 패스(golden path)와 테스트 스위트(test suite)는 깨끗하게 검증되었지만, 감사 호스트(audit host)에서 포트 충돌이 발생하여 데이터베이스가 차단되었고, 그로 인해 프로브(probe)도 작동하지 않았습니다. 이것이 유용한 사례를 읽을 수 있는 부분인데, 보고서가 저장소(repository)가 부족한 것과 이 특정 기계가 증명할 수 없었던 것을 분리해서 보여주기 때문입니다.
추가 실행 및 출판 전에 삭제된 내용은 examples/에서 확인할 수 있습니다.
Agent Skills 형식을 읽는 에이전트 클라이언트(Agent client)입니다 (지원되는 클라이언트 참조).
-
추가 런타임 종속성(runtime dependencies)이 없습니다. 이 스킬은 프롬프트 기반 분석만을 사용합니다.
-
이 스킬은 현재 작업 디렉터리 내의 저장소에 대해 읽기 전용 분석을 수행합니다.
-
플러그인 자체는 어떠한 저장소 내용도 외부 서비스로 전송하지 않습니다. 에이전트 클라이언트 자체 모델 요청은 해당 클라이언트의 개인정보 보호정책을 따릅니다.
-
이 플러그인은 자격 증명(credentials)을 포함하고 있지 않으며 필요로 하지도 않습니다.
감사 기계가 무엇을 증명할 수 있는지 결정합니다. 평가를 실행하는 기계에 필요한 도구, 서비스, 네트워크 경로 또는 권한이 누락된 경우, 이는 저장소의 점수로 계산되지 않고 환경 차단기(environment blocker)로 기록됩니다. 해당 영역은 최대 절반만 점수를 받으며 실행의 신뢰도가 떨어지므로, 점수는 여전히 저장소 자체의 속성으로 유지됩니다.
일부 명령어는 절대 실행되지 않습니다. 푸시(push), 게시(publish), 배포(deploy), 프로덕션 마이그레이션(production migration) 실행, 실제 자격 증명 또는 고객 데이터 사용, 유료 서비스 호출, 또는 루트 권한이 필요한 작업은 설계상 거부됩니다. 거부된 명령어는 해당 클래스와 함께 기록되며, 남아있는 안전한 증거를 바탕으로 해당 영역의 점수가 매겨집니다.
실패하는 잠금 설치(locked install)는 자체 영역을 제한합니다. 저장소의 고정 설치가 완료되지 않으면, 평가는 어떤 해결 파일도 변경하지 않고 한 번 재시도하며 그 결과를 '고정되지 않은 대체(unfrozen fallback)'로 표시합니다. 다운스트림 증거는 유효하게 유지되지만, 설정 영역은 최대 절반만 점수를 받습니다.
어려운 질문은 의도적으로 포기됩니다. 동일한 해결되지 않은 질문에 대해 대략 5번 시도하면, 평가는 미결정(not determined)으로 기록하고 현재 확보된 증거를 바탕으로 점수를 매깁니다.
모노레포는 전체가 감사되거나 아예 감사되지 않습니다. 적용 가능한 모든 워크스페이스와 구성 요소가 다루어지며, 평가는 임의로 일부만 샘플링하지 않습니다. 매우 큰 리포지토리에서 이것이 주요 비용 동인입니다.
낮은 신뢰도 등급은 실제 결과입니다. 적용 가능한 영역 중 절반 미만을 실행할 수 있거나 필수 프로브가 완료되지 않은 경우, 보고서에 그 내용이 명시됩니다.
plugin.json의 version 필드는 진실의 기준점(canonical source of truth)입니다. 플랫폼 마켓플레이스는 자체 포함형 매니페스트를 요구하므로, 동일한 값이 .codex-plugin/plugin.json과 .claude-plugin/plugin.json에 반영됩니다. 이 스킬은 휴대 가능한 루트 매니페스트를 읽어 모든 생성된 보고서의 prompt_version으로 그 값을 기록합니다.
현재 버전은 plugin.json의 version 필드입니다. MAJOR.MINOR는 평가 프롬프트 자체의 개정 이력을 이어가며, 이는 이 리포지토리보다 앞선 시점의 것입니다. 따라서 여기서 생성된 보고서는 프롬프트의 이전 개정판으로 생성된 보고서와 하나의 시간 흐름상에 머무릅니다. PATCH는 프롬프트를 건드리지 않는 패키징 변경 사항을 다룹니다.
다음과 같이 버전을 올리세요:
| 변경 내용 | 버전 상승 | 예시 |
|---|---|---|
| 보고서 계약이 깨짐: 점수 영역 또는 가중치, 게이트, 준비도 임계값 또는 보고서 섹션이 변경되어 점수가 더 이상 비교 가능하지 않음 | major | 4.5.0 → 5.0.0 |
| ... |
점수는 동일한 MAJOR.MINOR를 공유하는 보고서 전반에 걸쳐 직접적으로 비교 가능합니다. 마이너 버전 상승은 점수를 변경할 수 있으므로 신중하게 비교해야 하며, 메이저 버전 상승은 계약을 깨뜨리므로 절대로 비교해서는 안 됩니다.
커밋 메시지와 CHANGELOG.md에 무엇이 변경되었는지 설명하고, SKILL.md 내부에는 작성하지 마세요. 개정 이력은 git에 있습니다:
git log --follow skills/agentic-readiness-assessment/SKILL.md
기여는 환영하며 크게 감사드립니다. CONTRIBUTING.md를 참조하세요.
- 프로젝트 포크(Fork)하기
- 기능 브랜치 생성 (
git checkout -b feature/AmazingFeature
) - 변경 사항 커밋 (
git commit -m 'Add some AmazingFeature'
) - 브랜치로 푸시 (
git push origin feature/AmazingFeature
) - 풀 리퀘스트(Pull Request) 열기
첫 기여 PR을 생성한 후, 특별 메시지로 PR에 댓글을 달아 저희의 기여자 라이선스 계약(Contributor License Agreement)에 서명하도록 요청받게 됩니다.
Apache License 2.0에 따라 배포됩니다. 전체 약관은 LICENSE를, 출처 표시는 NOTICE를 참고하십시오.
이 평가는 설계상 범위가 좁습니다. 사용자의 장치에서 하나의 리포지토리를 감사하고, 모든 라인 뒤의 증거와 함께 순위가 매겨진 백로그(backlog)를 제공합니다.
이는 그 어떤 것도 고쳐주지는 않습니다. 팀이 실제로 어떻게 일하는지를 보지도 않습니다. 또한 50개의 리포지토리 중 어느 것부터 시작해야 할지, 또는 전체 자산(estate)이 얼마의 비용이 드는지 알려주지도 않을 것입니다.
그것들이 사람들이 다음에 저희에게 묻는 질문들이므로, 저희가 작업으로 수행합니다:
백로그 작업. AI 기반 제품 엔지니어링: 팀과 함께 복구 작업을 수행하는 엔지니어들. 리포지토리 대신 포트폴리오. AI 성숙도 및 준비성 평가(AI Maturity & Readiness Assessment): 사람과 프로세스뿐만 아니라 코드를 다루는 조직 수준의 보고서. 리포지토리가 준비되면. Exadel Colleague: 그 안에서 작업하게 할 AI 팀원.
이 중 어떤 것이 도움이 될까요? exadel.com/contact를 방문하십시오.
평가 자체에 관한 것은 이슈(issue)를 열어주십시오. 보안 보고서는 SECURITY.md를 통해 진행됩니다.
상업적인 문의는: exadel.com/contact를 방문하십시오.
Exadel 개인정보 보호정책 및 약관. 플러그인 자체는 아무것도 수집하거나 전송하지 않습니다.
Exadel 제작.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Tools의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기