조작을 한 번 보여주면 Codex가 SKILL.md를 작성하는 Record & Replay

「이 작업, 매번 수동으로 하려니 귀찮네」라고 생각했을 때, 지금까지의 선택지는 두 가지였다. 프롬프트에 절차를 상세히 적거나, RPA 툴로 클릭을 기록하는 것. 전자는 언어화가 번거롭고, 후자는 화면이 조금만 바뀌어도 망가진다. OpenAI가 6월 18일 Codex 업데이트(앱 버전 26.616)에서 도입한 Record & Replay는 그 두 가지 문제를 모두 우회한다. 하고 싶은 작업을 Mac에서 한 번 실연해 보이면, Codex가 그것을 보고 「재사용 가능한 스킬(Skill)」로 작성한다.

포인트는 결과물로 나오는 것이 블랙박스 형태의 녹화 파일이 아니라, 인간이 읽을 수 있는 텍스트 형태의 「스킬(Skill)」이라는 점에 있다. 이 부분이 기존의 조작 기록 계열 툴과 결정적으로 다른 점이다.

공식 문서(Record & Replay – Codex)의 설명은 심플하다.

Show Codex a workflow once and turn it into a reusable skill.

녹화 중, Codex는 당신의 조작과 윈도우(Window)의 내용을 캡처한다. 정지하면, Codex는 캡처한 일련의 흐름을 분석하여 스킬의 초안을 작성한다. 그 스킬에는 「언제 사용하는가」, 「필요한 입력은 무엇인가」, 「어떤 절차를 밟는가」, 「어떻게 검증하는가」가 포함된다.

여기서 핵심적인 역할을 하는 것이 「의도로의 변환」이다. 고전적인 RPA나 매크로는 좌표(x, y)에 대한 클릭이나 키 입력을 그대로 나열하여 재생한다. 그래서 화면 레이아웃이 바뀌면 즉시 망가진다. Record & Replay가 생성하는 것은 조작 로그 그 자체가 아니라, Computer Use(PC 조작), 브라우저 조작, 연동 플러그인을 조합하여 에이전트(Agent)가 재실행할 수 있는 절차서다. 따라서 다음에 실행할 때는 입력을 교체하여, 상황에 따라 에이전트가 판단하며 실행한다. 경비 정산, 정해진 설정에서의 Issue 생성, 정기 리포트 다운로드와 같이 「설명하는 것보다 보여주는 것이 빠른」 작업이 예상 유스케이스(Use case)로 꼽히고 있다.

기존의 RPA/매크로 녹화	Record & Replay
기록하는 것	클릭 좌표·키 입력의 열
...	...

개인적으로 가장 흥미로운 점은, Record & Replay가 내뱉는 것이 특별한 독자 형식이 아니라, Codex가 이전부터 가지고 있던 Agent Skills의 표준 포맷 그 자체라는 점이다. Codex의 스킬은 「open agent skills standard」를 따르고 있으며, 디렉토리의 내용은 다음과 같다.

my-skill/
├── SKILL.md # 필수. 프론트매터(Front matter) + 절차
├── scripts/ # 선택 사항
...

SKILL.md의 서두에는 name과 description의 프론트매터가 필요하다. 이 description이 「언제 이 스킬을 트리거(Trigger)할 것인가」를 결정하는 가장 중요한 부분이다.

---
name: skill-name
description: Explain exactly when this skill should and should not trigger.
...

스킬은 여러 장소에서 계층적으로 탐색된다. 프로젝트 직하의 .agents/skills, 상위 디렉토리(중첩된 리포지토리용), 리포지토리 루트, 사용자 개인의 $HOME/.agents/skills, 시스템 전체의 /etc/codex/skills다. 호출은 두 가지 방식으로, /skills 명령어나 $skill-name으로 명시적으로 기동하거나, description에 부합할 때 Codex가 자율적으로 선택한다. 후자의 경우, 먼저 이름과 설명과 경로만 읽어 들인 뒤, 실제로 사용하기로 결정했을 때 비로소 SKILL.md의 본문을 전개한다(점진적 공개 (Progressive Disclosure)).

즉, Record & Replay는 지금까지 수동으로 작성하던 SKILL.md를 「실연으로부터 자동으로 초안을 작성해 주는」 입구라고 파악하는 것이 정확하다. 생성 후에도 일반적인 Markdown이므로 직접 수정할 수 있고, Git에 넣어 차분 관리(Diff management)를 할 수 있으며, 팀에 공유할 수 있다. 녹화한 채로 블랙박스화되는 것이 아니라, 리뷰 가능한 자산으로 남는다는 점이 매력적이다.

사용 흐름은 공식 절차와 동일하다. Codex 앱의 Plugins를 열고, + 메뉴에서 Record a skill을 선택한다. 제안된 프롬프트를 확인하고 문맥을 추가하여 전송한다. 녹화 권한을 부여한 뒤, 평소처럼 Mac에서 작업을 수행한다. 작업이 끝나면 메뉴 바나 오버레이, 혹은 Codex에 "끝났다"라고 말하면 정지된다. 재생은 새로운 스레드를 열고, 생성된 스킬을 사용하도록 요청하면서 자신의 케이스에 맞춰 입력을 교체하기만 하면 된다.

다만 제약 사항을 무시할 수 없다. 현재 시점에서는 macOS로 한정되며, Computer Use를 활성화한 상태여야 한다는 전제가 붙는다. 제공 지역에서는 유럽 경제 지역(EEA)·영국·스위스가 제외되어 있다. 같은 6월 18일 업데이트에서는 자동화(Automation) 일괄 조작이나, 로컬과 원격 호스트 간에 스레드를 인계하는 기능도 추가되었으므로 변경 이력을 한 번 확인해 두는 것이 좋다.

실무적인 관점에서 한 가지만 주의를 주고 싶다. 생성된 스킬이 "인간이 읽을 수 있는 SKILL.md"라는 점은 장점이지만, 뒤집어 말하면 에이전트(Agent)가 따르는 지시 그 자체이기도 하다. 녹화로부터 자동 생성된 절차를 내용을 읽지 않고 그대로 공유하거나 실행하는 것은 피해야 한다. Agent Skills는 그 성질상 악의적인 지시를 심는 공격 표면(Attack surface)으로서 논의되어 온 영역이기도 하다. 편리함의 본질이 "직접 작성하는 SKILL.md를 시연으로 대체할 수 있다"는 데 있다면, 마지막에 인간이 해당 Markdown을 검토하는 비용까지 포함하여 운영에 반영하는 것이 가장 올바른 사용법이라고 생각한다.