AI 에이전트(AI agents)는 단일 챗봇(chatbot)의 형태를 벗어나 확장 가능한 런타임(runtimes)에 가까워지고 있습니다.

사람들은 단순한 모델(model)을 사용하는 대신 코딩 도우미(coding helpers), 연구 워크플로(research workflows), 브라우저 자동화(browser automation), MCP 통합(MCP integrations), 콘텐츠 생성 도구(content generation tools), 프로젝트 특정 지침(project-specific instructions) 등 다양한 스킬(skills)을 추가하고 있습니다.

이는 매우 강력합니다.

하지만 이는 새로운 신뢰 문제(trust problem)를 야기하기도 합니다.

제3자 스킬(third-party skill)을 설치할 때, 여러분은 에이전트(agent)에게 새로운 지침, 새로운 도구 액세스 패턴, 새로운 의존성(dependencies), 그리고 때로는 새로운 스크립트(scripts)를 부여하게 될 수 있습니다. 스킬은 README 파일에서는 유용해 보일 수 있지만, 여전히 위험한 동작을 포함하고 있을 수 있습니다.

예를 들어:

• .env, SSH 키, 브라우저 쿠키 또는 API 토큰 읽기
• curl ... | sh 실행
• 웹훅(webhook)으로 데이터 업로드
• 파괴적인 셸 명령(shell commands) 사용
• 에이전트에게 우선순위가 높은 지침을 무시하도록 명령
• 토큰(tokens)을 낭비하는 거대한 프롬프트(prompt) 파일 포함
• 고정되지 않았거나(unpinned) 불필요한 패키지(packages)에 의존

스킬 생태계(skill ecosystems)가 성장함에 따라, 우리는 더 나은 설치 전 점검(pre-install checks)이 필요합니다.

그것이 제가 SkillPreflight를 만든 이유입니다.

SkillPreflight란 무엇인가요?

SkillPreflight는 설치 전 AI 에이전트 스킬을 스캔하는 오픈 소스(open-source) CLI 및 GitHub Action입니다.

이는 정적 분석(static analysis)을 수행하며 다음을 포함하는 100점 만점의 스코어카드(scorecard)를 생성합니다:

카테고리	점검 항목
보안 (Security)	위험한 명령, 비밀 정보 액세스, 데이터 유출(exfiltration), 프롬프트 인젝션(prompt injection), 원격 스크립트 실행
...

사용법

전역(globally)으로 아무것도 설치하지 않고 실행할 수 있습니다:

npx skill-preflight@latest scan ./my-skill

GitHub 리포지토리(repository)를 스캔할 수도 있습니다:

npx skill-preflight@latest scan https://github.com/owner/repo.git

JSON 생성:

npx skill-preflight@latest scan ./my-skill --format json --out report.json

GitHub Code Scanning을 위한 SARIF 생성:

npx skill-preflight@latest scan ./my-skill --format sarif --out skill-preflight.sarif

GitHub Action

SkillPreflight는 GitHub Action으로도 사용할 수 있습니다:

name: SkillPreflight

on: [pull_request, push]
...

안전 모델 (Safety model)

SkillPreflight는 스캔 중인 스킬의 스크립트를 실행하지 않습니다.

오직 파일들을 읽고 정적 분석 (Static analysis)만을 수행합니다. 이 목표는 스킬이 완벽하게 안전하다는 것을 보장하는 것이 아니라, 사용자가 설치하기 전에 명백한 위험 신호 (Red flags)를 드러내는 것입니다.

이것이 중요한 이유

브라우저에는 확장 프로그램 권한 확인 프롬프트가 있습니다.

npm에는 패키지 감사 (Package audits)가 있습니다.

컨테이너에는 이미지 스캐너 (Image scanners)가 있습니다.

AI 에이전트 스킬에도 설치 전 점검 (Pre-install checks)이 있어야 합니다.

AI 에이전트 생태계가 성장함에 따라, 사용자들은 다음과 같이 물을 수 있는 간단한 방법이 필요합니다:

이 스킬은 실제로 무엇을 하며, 설치할 만큼 충분히 안전한가?

SkillPreflight는 이를 위한 초기 시도입니다.

GitHub:
https://github.com/agent-contracts/skill-preflight

npm:
https://www.npmjs.com/package/skill-preflight

GitHub Marketplace:
https://github.com/marketplace/actions/skillpreflight

AI 에이전트 스킬을 구축하거나 설치하는 분들의 피드백을 기다립니다. 다음에 어떤 점검 항목이 추가되어야 할까요?