서론

실운용에 있어서 Agent Skills는 만드는 것으로 끝나는 것이 아니라, 검증 루프를 통해 키워나가는 것입니다.

최근 팀에 배포할 워크플로우 계열의 스킬을 작성했습니다. 스킬 자체는 /skill-creator 명령어를 사용하여 간단하게 작성할 수 있습니다. 하지만 그것만으로는 실운용을 견뎌낼 수 없습니다.

다음에 필요한 것은 스킬 본체를 수정하는 것이 아니라, 스킬이 의도한 대로 동작하는지 다각도로 검증하는 것입니다.

망라성, 스킬, 스킬 내의 프로세스 준수 등 검증해야 할 사항은 알고 있지만, 수동 체크만으로는 정밀도 개선에 한계가 있습니다.

따라서 본 기사에서는 Claude Code의 Dynamic workflow와 /goal 명령어를 조합하여, 수동 튜닝에 의존하지 않고 스킬을 키워나가는 검증 루프 기법을 제시합니다.

이 기사의 대상 독자

• Claude Code로 Skills를 운용하고 있는 분
• 스킬 수가 늘어나서 어떤 것을 언제 사용할지 고민하기 시작한 분
• dynamic workflow나 /goal을 통한 스킬 최적화에 관심이 있는 분

이 기사에서 알 수 있는 것

• dynamic workflow의 개념과 기존의 정적 스킬 운용과의 차이점
• /goal을 사용한 스킬 선택 및 최적화 메커니즘
• 실전적인 워크플로우 설계 지침

이 기사에서 다루지 않는 것

• Skills의 작성 절차 상세
• 특정 프로덕트의 API 구현

Dynamic workflow

Dynamic workflow (동적 워크플로우)란 서브 에이전트(Sub-agent)를 대규모로 오케스트레이션(Orchestration)하는 JavaScript 스크립트입니다.

Claude는 설명된 태스크용 스크립트를 작성하고, 백그라운드에서 태스크를 실행하면서 응답할 수 있도록 세션을 유지합니다.

예를 들어, 코드베이스 전체의 버그 조사, 프로젝트 전체를 다른 언어로 리플레이스(Replace), 여러 소스에 대해 상호 검증이 필요한 태스크에 유효합니다.

/goal 명령어

/goal 명령어는 완료 조건을 설정하며, 해당 조건의 달성을 향해 추가 지시 없이 계속 동작합니다.

각 턴(Turn)이 끝난 후, 작고 빠른 모델이 조건이 성립되었는지 체크합니다. 성립되지 않은 경우, Claude는 사용자의 응답을 기다리는 대신 다른 턴을 시작합니다. 조건이 충족되면 골(Goal)은 자동으로 클리어됩니다.

예를 들어, 수락 기준(Acceptance Criteria)이 충족될 때까지 구현을 진행할 때, 혹은 큰 파일을 기준 이하가 될 때까지 분할할 때 유효합니다.

우선 워크플로우만 알고 싶은 분은 이 내용을 확인하세요

• /skill-creator로 스킬을 작성한다.
• Dynamic workflow를 사용하여 검증을 의뢰한다 (예: "ultracode로 이 스킬의 동작을 검증해 주세요.")
• 검증 결과를 확인하고 개선점을 파악한다.
• /goal 명령어로 스킬의 개선이 완료될 때까지 실행한다.

워크플로우

검증 대상 스킬 준비

이번에는 검증 루프 실행을 다음 리포지토리를 대상으로 진행합니다.

리포지토리의 내용은 LLM에 자연어로 지시함으로써 MacOS 컴퓨터를 조작하는 CLI 툴, 그리고 CLI를 조작하는 스킬이 포함되어 있습니다.

실행 대상 스킬이 존재하지 않는 경우, 다음과 같이 /skill-creator 명령어를 실행하여 스킬을 작성해 주세요.

Dynamic workflow 실행

그럼 다음으로 Dynamic workflow를 사용하여 스킬 검증을 시작해 봅시다!

Dynamic workflow를 실행하는 방법은 두 가지가 있습니다.

1. ultracode를 프롬프트에 포함한다.
2. /effort를 ultracode로 변경한다.

ultracode를 프롬프트에 포함하기

첫 번째 방법은 간단하며, ultracode라는 단어를 포함함으로써 명시적으로 실행할 수 있습니다. ultracode를 Claude Code에 입력하면 다음 이미지와 같이 컬러가 변화하여 표시됩니다.

/effort를 ultracode로 변경하기

두 번째 방법은 Claude Code에 /effort

명령어를 입력하여 Effort 설정 화면으로 이동합니다. 그 후, 가장 오른쪽에 있는 ultracode를 선택합니다.

ultracode를 선택하고 원래 화면으로 돌아오면, 입력창 오른쪽 상단에 ultracode가 표시됩니다.

본 기사에서는 검증 부분에만 Dynamic workflow를 적용하고 싶기 때문에, 프롬프트에 ultracode를 포함하여 실행합니다.

Dynamic workflow를 이용한 스킬 검증 시작

다음과 같이 입력하여 리포지토리(Repository) 내의 스킬 검증을 시작합니다.

ultracode로 이 리포지토리 내의 스킬을 검증해 주세요.

Dynamic workflow 실행이 시작되면, 이미지와 같이 리포지토리 구조를 파악한 후 ultracode의 멀티 에이전트 워크플로우(Multi-agent workflow)를 통한 검증이 시작됩니다.

이번 케이스에서는 3가지 패턴의 에이전트(Agent)가 기동되었습니다.

워크플로우를 기동했습니다 (4차원 병렬 리뷰 → 각 지적 사항의 적대적 검증 → 통합 리포트). 완료 통지를 기다립니다.
- Find: 스킬 관례 / CLI 기술의 정확성 / MCP·설치 기술의 정확성 / 파일 간 일관성 의 4가지 관점을 Explore 에이전트로 병렬 조사
- Verify: 각 지적 사항을 회의적으로 재검증 (실제 파일을 다시 읽어 오독을 기각)
...

Find 에이전트가 문제를 찾아내고, Verify 에이전트가 지적 사항을 재검증합니다. 마지막으로 Synthesize 에이전트가 검증 결과를 리포트(Report)로 출력해 줍니다.

기동 중인 에이전트 확인

기동 중인 에이전트는 /workflows 명령어로 확인할 수 있습니다.

이를 통해 실시간으로 기동 중인지, 완료되었는지를 확인할 수 있습니다. 또한, 기동 중인 에이전트의 설정이나 출력 내용 등을 기동 중 또는 완료 후에도 볼 수 있으므로, 에이전트가 어떤 동작을 수행했는지 확인할 수 있습니다.

스킬 검증 결과

검증 대상 스킬을 실행한 결과, 다음 이미지와 같은 문제가 검출되었습니다.

대략적인 내용을 요약하면, CLI를 조작하는 스킬임에도 불구하고 해당 조작 방법에 관한 기재가 부족하다는 점이 문제로 꼽혔습니다.

다음으로, 제기된 문제를 /goal 명령어를 사용하여 해결해 보겠습니다.

/goal 명령어를 통한 스킬 개선

마지막으로, /goal 명령어를 사용하여 스킬의 문제를 해결합니다. 다음과 같이 프롬프트에 /goal을 포함하여, Dynamic workflow에서 지적된 문제점의 개선을 요청합니다.

/goal 지적된 문제점을 개선해 주길 바랍니다.

/goal 명령어를 실행하면, 에이전트 내부에서 검증과 실행을 반복하며 스킬 개선이 완료될 때까지 실행을 계속합니다. 모든 검증이 문제없다고 판단되면, 이미지와 같이 스킬 업데이트가 완료됩니다.

마치며

AI 에이전트 분야에서 스킬의 검증 및 개선 방법은 아직 확립되지 않은 분야 중 하나입니다. 따라서 수동 튜닝(Manual tuning)은 많은 노력과 시간이 소요되며, 결정적인 종료 조건도 찾기 어렵습니다. 또한 LLM의 특성상 다각적인 검증을 수행하지 않으면 고려하지 못한 문제점이 발생할 가능성이 있습니다.

이에 반해, Dynamic workflow와 /goal 명령어를 조합함으로써 수동 튜닝에만 의존하지 않는 에이전트적인 검증을 수행할 수 있습니다. 이를 통해 스킬의 다각적인 검증과 개선이 가능해지며, 더욱 정밀도 높은 스킬이 될 것이라 생각합니다.

그 결과, 초기 단계부터 원활하게 동작하는 스킬을 제작할 수 있습니다. 또한 초기 단계부터 우수한 스킬을 제작함으로써 실운영에서 유용한 실행 결과를 수집할 수 있게 되어, 지속적인 스킬 개선에 도움이 될 것이라 확신합니다.

X 계정

일상적인 실천 내용은 X에서 발신하고 있습니다.

참고 문헌

Discussion