에이전트 기술 (Agent skills)은 코딩 세션 전반에 걸쳐 지침을 재사용할 수 있는 편리한 방법이 되고 있습니다. 동일한 리뷰, 디버깅 또는 배포 프롬프트를 반복해서 붙여넣는 대신, 프로세스를 읽기 쉬운 SKILL.md 파일에 담아두고 작업이 일치할 때 불러오는 방식입니다.

이러한 편리함은 새로운 검토 문제를 야기합니다. 다듬어진 워크플로 (workflow)라 할지라도 여전히 안전하지 않거나, 모호하거나, 검증이 불가능할 수 있기 때문입니다.

제3자 기술을 설치하거나—심지어 팀 내부에서 작성된 기술이라 할지라도—신뢰하기 전에, 저는 여섯 가지 사항을 확인합니다.

1. 추측된 수정이 아닌 탐색(Discovery)에서 시작하는가

신뢰할 수 있는 워크플로는 에이전트에게 주장을 하기 전에 실제 대상을 조사하도록 지시합니다.

버그의 경우, 이는 다음과 같은 의미일 수 있습니다:

• 리포지토리 (repository) 및 커밋 (commit) 식별
• 정확한 실패 지점 포착
• 런타임 (runtime) 및 환경 기록
• 실패하는 입력값 축소
• 코드를 수정하기 전에 재현

배포 확인의 경우, 탐색 단계에서 실제 플랫폼, 프로젝트, 브랜치 (branch), 빌드 명령 및 프로덕션 URL (production URL)을 식별해야 합니다. 에이전트가 조용히 잘못된 환경을 선택할 수 있다면, "앱이 배포되었는지 확인하라"는 명령은 너무 모호합니다.

취약한 기술은 요청에서 바로 행동으로 넘어갑니다. 강력한 기술은 무엇이 사실인지부터 먼저 확립합니다.

2. 성공 여부를 관찰할 수 있는가

"코드를 더 좋게 만들어라"는 유용한 완료 조건이 아닙니다.

기술은 다른 사람이 검사할 수 있는 출력을 정의해야 합니다. 예시는 다음과 같습니다:

- 패치 (patch) 적용 전 실패하는 테스트 재현
- 패치 적용 후 집중된 회귀 테스트 (regression test) 통과
- 전체 관련 테스트 스위트 (test suite)가 종료 코드 (exit code) 0을 반환
...

이는 에이전트의 업무를 그럴듯한 답변을 생성하는 것에서 증거를 생성하는 것으로 바꿉니다.

증거가 정교할 필요는 없습니다. 명령, 종료 코드, 짧은 로그 발췌본 및 정확한 URL만으로도 충분한 경우가 많습니다. 중요한 것은 워크플로가 "내가 그것을 변경했다"와 "내가 그 결과를 실행해 보았다"를 구분하는 것입니다.

3. 권한과 파괴적인 경계가 명시적인가

재사용 가능한 기술은 에이전트가 자동으로 해서는 안 되는 일이 무엇인지 명시해야 합니다.

다음과 같은 경계 설정을 확인하십시오:

• 파일 또는 데이터 삭제;
• 자격 증명 (Credentials) 순환 또는 노출;
• 프로덕션 인프라 (Production infrastructure) 변경;
• 비용 발생 또는 구매 생성;
• 강제 푸시 (Force-pushing) 또는 히스토리 재작성;
• 메시지 전송 또는 콘텐츠 게시;
• 보안 제어 비활성화.

"주의하십시오 (Use caution)"는 경계가 아닙니다. 더 나은 지침은 다음과 같습니다: "명시적인 승인 없이 프로덕션 데이터를 삭제, 강제 푸시 또는 변형하지 마십시오. 먼저 읽기 전용 검사와 가역적인 (Reversible) 변경을 우선시하십시오."

워크플로 (Workflow)는 누락된 자격 증명을 추측하는 것도 거부해야 합니다. 접근 경로를 임의로 만들어내는 것보다 운영자에게 요청하거나 이미 권한이 부여된 세션을 사용하는 것이 더 안전합니다.

4. 가역적인 작업 (Reversible actions)을 우선시하라

훌륭한 운영 워크플로는 위험도에 따라 작업의 순서를 정합니다.

의존성 분류 (Dependency triage)는 업그레이드 전에 락파일 (Lockfile), 변경 로그 (Changelog) 및 사용량을 검사해야 합니다. 마이그레이션 (Migration) 워크플로는 복사하고 검증한 다음, 그제서야 삭제를 고려해야 합니다. 배포 (Deployment) 워크플로는 프로모션 (Promotion) 전에 이전의 검증된 릴리스를 보존하고 롤백 (Rollback) 경로를 기록해야 합니다.

이것은 관료주의가 아닙니다. 이는 잘못되었을 때 발생하는 비용을 줄여줍니다.

유용한 테스트 방법은 다음과 같습니다: 만약 에이전트의 주요 가설이 틀렸을 경우, 워크플로가 당신에게 깨끗한 복귀 경로를 남겨주는가?

5. 검증은 실제 대상에 도달해야 한다

로컬 검증 (Local validation)은 필요하지만, 사용자가 요청한 사항을 증명하지 못할 수도 있습니다.

만약 작업이 프로덕션 페이지를 수정하는 것이라면, 로컬 빌드가 성공했다고 해서 프로덕션이 변경되었다는 것을 증명하지는 않습니다. 만약 작업이 패키지를 게시하는 것이라면, 아카이브를 생성했다고 해서 레지스트리 (Registry)가 이를 서비스한다는 것을 증명하지 않습니다. 만약 작업이 API를 수리하는 것이라면, 모킹된 (Mocked) 단위 테스트 (Unit test)가 라이브 라우트 (Live route)가 정상임을 증명하지는 않습니다.

견고한 기술 (Skill)은 계층을 분리합니다:

1. 정적 검사 (Static checks);
2. 집중 테스트 (Focused tests);
3. 광범위한 회귀 테스트 (Regression tests);
4. 빌드 또는 패키지 검증 (Build or package validation);
5. 배포 확인 (Deployment confirmation);
6. 라이브 대상 검증 (Live-target verification).

모든 작업에 모든 계층이 필요한 것은 아닙니다. 기술은 요청된 결과를 실제로 증명할 수 있는 가장 작은 집합을 선택해야 합니다.

6. 불확실한 것은 불확실한 상태로 남겨두어야 한다

에이전트의 출력(Agent output)은 가정이 사실과 같은 어조로 작성될 때 종종 오해를 불러일으킬 수 있습니다.

신뢰할 수 있는 워크플로(Workflow)를 위해서는 다음 사항들을 분리하여 보여주는 최종 보고서가 필요합니다:

• 관찰된 사실 (observed facts)
• 증거 (evidence)
• 가정 (assumptions)
• 해결되지 않은 리스크 (unresolved risks)
• 수행되지 않은 작업 (actions not taken)
• 다음 안전한 단계 (the next safe step)

네트워크 호출(Network call)이 실패했다면, 보고서는 실패했다고 말해야 합니다. 에이전트가 사용자의 이해도를 측정하지 않았다면, 디자인 추정치를 측정된 결과로 변환해서는 안 됩니다. 판매가 발생하지 않았다면, 결제 테스트를 "수익(revenue)"이라고 불러서는 안 됩니다.

확신에 찬 허구보다는 솔직한 불확실성이 더 유용합니다.

컴팩트한 검토 계약 (A compact review contract)

어떠한 에이전트 기술(Skill)을 채택하기 전에 이 체크리스트를 사용할 수 있습니다:

- [ ] 실제 저장소(Repository), 환경 또는 라이브 타겟을 검사하는가
- [ ] 관찰 가능한 성공 기준을 정의하는가
- [ ] 자격 증명(Credentials), 프로덕션 데이터 및 파괴적인 작업을 보호하는가
...

기술(Skill)은 일반 텍스트(Plain text)로 되어 있기 때문에, 코드처럼 이러한 규칙들을 검토하고 버전 관리할 수 있습니다. 이것이 주요 장점입니다. 즉, 워크플로가 확신에 찬 인터페이스 뒤에 숨겨져 있지 않다는 것입니다.

검토 가능한 네 가지 완전한 워크플로

무엇인가를 설치하기 전에 이 방법을 검토할 수 있도록 MIT 라이선스의 네 가지 예시를 공개했습니다:

• 코드 리뷰 게이트 (Code Review Gate)
• 버그 재현 브리프 (Bug Reproduction Brief)
• 의존성 리스크 트리아지 (Dependency Risk Triage)
• 롤백 준비 카드 (Rollback Readiness Card)

소스 및 설치 안내:

https://github.com/skyestrela/ai-agent-skill-preview?utm_source=devto&utm_medium=article&utm_campaign=trustworthy-agent-skills

검증된 MIT 라이선스 ZIP 파일 하나로 네 가지 완전한 워크플로를 모두 다운로드하세요:

https://github.com/skyestrela/ai-agent-skill-preview/releases/tag/free-workflows-bundle-v1.0.0

설치하지 않고 사용 가능한 기술(Skill) 목록을 확인하세요:

npx skills add skyestrela/ai-agent-skill-preview --list

무료 워크플로 (workflows)들은 그 자체로 완결되어 있습니다. 선택 사항인 19파운드 팩에는 리뷰, 디버깅 (debugging), TDD, 보안 (security), API, 마이그레이션 (migrations), 배포 (deployment), 리팩터링 (refactoring), PR 전송 (PR shipping) 및 인시던트 분석 (incident analysis)을 위한 10가지 엔지니어링 워크플로가 포함되어 있습니다:

https://ai-agent-skills-pack.vercel.app/?utm_source=devto&utm_medium=article&utm_campaign=trustworthy-agent-skills

이 팩은 7월 26일에 Product Hunt에 출시됩니다. 실제 저장소 (repositories)에서 코딩 에이전트 (coding agents)를 사용한다면, 검사 계약 (inspection contract)에 대한 직접적인 피드백이 일반적인 찬사보다 더 유용합니다:

https://www.producthunt.com/products/ai-agent-skills-pack?launch=ai-agent-skills-pack