이 클립의 호스트는 한 장의 사진에서 그려졌습니다.
A photo of the Mona Lisa, an arrow, and the cartoon host drawn from it, waving and saying: I was drawn from one photo, and now I can host your explainer.
이 캐릭터는 깜빡이고, 손을 흔들고, 포인트를 하며 입 모양을 말에 맞추어 움직일 수 있으며, Claude에게 요청하는 모든 주제에 대한 설명(explainer)을 발표할 수 있습니다. 여기 사용된 사진은 공공 영역(public domain) 회화인 모나리자이며, 사용자 본인의 사진을 대신하여 사용되었습니다.
저희는 이를 무료 오픈소스 Claude Code 스킬인 selfclone으로 제작했습니다. 버전 0.2.0이 현재 출시되었습니다. 이 스킬이 무엇을 하는지, 어떻게 작동하는지, 그리고 어떤 한계가 있는지 알려드리겠습니다.
사진 한 장으로 호스트 캐릭터를 만듭니다
selfclone character --photo me.jpg --consent "This is my own face. Your Name" --name "Your Name"
이 스킬은 MediaPipe를 사용하여 사용자의 얼굴 랜드마크(landmarks)를 찾고, 거기서 비율을 가져와 사진에서 색상을 샘플링합니다. 그 결과로 그려진 SVG 캐릭터가 나옵니다. 이 캐릭터는 관절이 있는 팔과 여섯 가지 감정의 표정을 가진 얼굴, 그리고 말하는 소리에 맞는 입 모양을 가지고 있습니다. 헤어스타일(12가지), 수염, 의상도 선택할 수 있습니다. 또한 다음과 같은 미리보기 시트를 작성합니다:
The cartoon character drawn from the Mona Lisa in eight poses: rest, smile, open mouth, rounded mouth, serious, pointing, waving and explaining.
이 캐릭터는 의도적으로 만화 같은 것이며, 사용자의 딥페이크(deepfake)가 아닙니다. 동의 진술서(consent statement) 없이는 실행을 거부하며, 이 진술서를 캐릭터 파일 내에 저장합니다.
그리고 비디오를 요청하세요
“내 캐릭터가 진행하는 복리 이자(compound interest)에 대한 설명 영상”과 같이 Claude에게 요청해 보세요. Claude는 사실 관계를 확인하고, 장면당 하나의 아이디어를 담은 짧은 문장들을 작성하며, 이를 장면 파일 형태로 배치합니다. 다음은 저희 예시 중 하나인 첫 번째 장면입니다:
{
"title": "How does money grow?",
"cast": { "host": { "character": "random:money-5", "voice": "kokoro:af_sarah" } },
...
렌더링 전에, selfclone explainer scenes.json --preview는 장면당 세 개의 스틸 이미지(stills)를 작성하고 다음 경고 사항을 출력합니다: 항목이 겹치는 경우, 프레임 밖으로 나가는 경우, 자막 아래에 위치하는 경우 또는 캐릭터를 가리는 경우, 그리고 내용이 비어 있거나 너무 급하게 진행된 장면.
Claude가 파일을 수정하면, 다음 명령어로 렌더링을 수행합니다:
selfclone explainer scenes.json --character .selfclone/character.json
selfclone explainer scenes.json --aspect 9:16 # 세로형 (Shorts, Reels 및 TikTok용)
selfclone explainer scenes.json --html # 챕터와 자막이 있는 인터랙티브 플레이어
각 렌더는 MP4 파일, .srt 자막 파일 및 비디오 제작 과정을 기록하는 출처(provenance) 파일을 작성합니다.
렌더링 과정에서 발생하는 일
- 음성 (Voice). 82M 매개변수 텍스트-음성 변환 모델인 Kokoro가 CPU에서 실행됩니다. 이는 Apache-2.0 라이선스이며, 고정(pinned) 및 해시 검사(hash-checked)를 거칩니다. ElevenLabs, OpenAI 또는 사용자의 자체 녹음도 작동합니다.
- 입 (Mouth). 립싱크는 텍스트에서 읽어옵니다: M, B, P 발음 시 닫힌 입술, F와 V 발음 시 입술에 이가 보이는 형태, O와 U의 둥근 모양이며, 음성에 맞춰 시간 조정됩니다.
- 몸짓 (Body). 스크립트에 지시 사항이 없는 경우 단어에서 선택되는 일곱 가지 제스처(손가락질, 흔들기, 설명하기, 제시하기, 어깨 으쓱하기, 생각하기, 쉬기)를 사용합니다. 예: "hello"에서는 손을 흔들고, 질문에는 어깨를 으쓱하는 식입니다.
- 장면 (Scene). 성장하는 60개의 수작업 소품(props), 막대 그래프, 선 그래프 및 원형 차트, 스스로 작성되는 필기체, 그리고 수학을 위한 Manim이 사용됩니다.
- 프레임 (Frames). 헤드리스 크롬(Headless Chrome)이 네트워크를 차단한 상태에서 병렬 워커(parallel workers)를 통해 모든 프레임을 그립니다.
루프에는 GPU나 이미지 모델이 없습니다. 아래 예시 중 하나인 계절에 대한 37초짜리 설명 비디오는 노트북의 여섯 개 워커에서 27초 만에 900개의 프레임을 렌더링했습니다.
열 가지 설명, 열 가지 분야
A showreel of ten animated explainers made with selfclone: neural networks, how planes fly, compound interest, vaccines, the Pythagorean theorem, who or whom, neurons, the Ship of Theseus, why the sky is blue and the seasons.
이 모든 것은 동일한 스킬에서 나왔지만, 매번 다른 출연진을 사용했습니다: 진행자 1명, 대화하는 캐릭터 2명, 또는 화면에 아무도 없고 내레이터만 있는 경우입니다. 이들은 무작위 가상의 인물(random:<seed>)을 사용하므로 실제 얼굴은 나타나지 않습니다. 주제는 신경망(neural networks), 비행기가 나는 방식, 복리(compound interest), 백신, 피타고라스 정리(Pythagorean theorem), who 또는 whom, 뉴런(neurons), 테세우스의 배(Ship of Theseus), 하늘이 파란 이유 (수직 쇼츠로 제작) 및 계절입니다.
씬 파일은 레포지토리(repo)의 examples/showcase/에 있으므로, 각 영상이 어떻게 작성되었는지 정확하게 읽을 수 있습니다. v0.2.0 릴리스에는 사운드가 포함된 쇼릴(showreel)이 있습니다.
이것이 아닌 것들 (What it is not)
- 수동 애니메이션(hand animation)이 아닙니다. 몸은 2D로 움직이며, 고개를 돌리는 것은 얼굴의 이동일 뿐이고, 걷기는 단순한 사이클입니다.
- 포토리얼리즘(photoreal)이 아닙니다. 그렇게 되려고 노력하지 않습니다.
- 팩트 체크기(fact checker)가 아닙니다. 영상의 품질은 씬 파일에 달려 있습니다. 렌더링하기 전에 스크립트를 읽으십시오. 미리보기 스틸컷은 레이아웃 실수를 포착하기 위한 것입니다.
작성 방식까지 복제합니다 (It also clones how you write)
selfclone의 또 다른 절반은 작성 방식 복제(writing clone)입니다. 자신의 채팅 내보내기(chat exports)를 제공하면, 사용자가 작성하는 방식으로 응답하는 페르소나 스킬을 구축합니다. 그런 다음 모델에게 스스로 평가하도록 요청하는 대신, 스타일 특징(style features)을 계산하여 클론이 한 번도 본 적 없는 답변에 대해 점수를 매깁니다. 레포지토리의 가상 예시에서, 이 클론은 순수 모델 대비 41%인 89%의 스타일 일치도를 기록했습니다. README에 방법과 한계가 나와 있습니다.
동의 및 라벨 (Consent and labels)
- 실제 얼굴은 소유자의 동의가 필요하며, 이 동의 기록은 캐릭터 파일 내에 저장됩니다.
- 사진 아바타(photo avatar)는 selfclone의 또 다른 얼굴 특징으로, 사진 자체를 애니메이션화하므로 항상 끌 수 없는 "AI CLONE" 라벨을 지닙니다.
- 설명 비디오는 파일의 메타데이터(metadata)와 영상 옆에 있는
.provenance.json 파일을 통해 출처(provenance)를 보존합니다.
사용해 보기 (Try it)
Claude Code에서:
/plugin marketplace add logitsolutionsai/selfclone
/plugin install selfclone@selfclone
그런 다음 "me.jpg에서 캐릭터를 만들고 백신이 어떻게 작동하는지에 대한 설명 비디오를 만들어 줘"라고 요청합니다. Node 20 이상 버전과 ffmpeg가 필요합니다. Manim은 수학 관련 용도로 선택 사항입니다. 이 기능(skill)은 Codex와 Cursor에서도 작동합니다.
이것은 MIT 라이선스이며 GitHub에 있습니다: logitsolutionsai/selfclone.
만약 자신을 카툰 버전으로 만들 수 있다면, 무엇에 대해 가장 먼저 설명하게 하시겠습니까?