Seth의 AI 도구: 스토리 및 이미지/영화 제작을 위해 ComfyUI와 LLM을 사용하는 Unity 기반 프런트엔드
라이선스: BSD 스타일 출처 표기, LICENSE.md 참조
다운로드
최신 버전 다운로드: V3.07 (2026년 10월 8일) AI 도구 클라이언트 (Windows, 158.9 MB) (본인이 코드 서명함)
기능
- 웹 앱이 아니라, 네이티브 로컬 실행 Windows .exe 파일입니다 (Unity와 C# 사용).
- AI 채팅 모드는 ChatGPT나 Nanobanana와 유사하며, 이미지, 포스터 제작을 요청하거나 앵커 이미지를 지능적으로 활용할 수 있습니다.
- AI 채팅은 참고 사진 및 짧은 비디오 클립(번들된 yt-dlp 사용)을 위해 웹 검색(Brave Search API 키 필요, 설정 > Web 참조) 기능을 사용할 수 있으며, 이를 이미지/비디오 모델에 공급합니다. 따라서 "레트로 게임을 하는 Seinfeld 에피소드를 만들어줘"와 같은 요청은 실제 유사성을 끌어올 수 있습니다. 모든 검색 및 다운로드는 채팅창에 전체적으로 표시됩니다. 또한 웹 페이지 전체(위키피디아 문서 등)를 읽어 주제를 조사하고 특정 기사에서 사진을 참고 자료로 가져올 수도 있으며, AI 채팅 헤더의 "Web" 체크박스는 온라인 기능을 켜거나 끌 수 있습니다.
- 자르기 및 크기 조정, 마스크 페인팅과 같은 내장 이미지 처리 기능.
- 화면에 있는 수천 개의 이미지를 패닝/줌(Pan/zoom) 할 수 있습니다.
- 여러 ComfyUI 서버와 LLM을 동시에 활용하도록 구축되었습니다.
- AI 가이드 기능은 AI의 힘을 활용하여 동기 부여 포스터, 삽화 스토리 등을 생성합니다.
- 어드벤처 모드는 실시간으로 삽화가 그려지는 어드벤처(AI Dungeon과 유사)를 플레이하거나 퀴즈를 생성하고 자신만의 모험을 선택할 수 있으며, 이는 독립적으로 실행 가능한 HTML 버전으로 내보낼 수 있습니다.
- 저는 이 도구를 3년 이상 개인 AI 테스트베드 및 도구/장난감으로 사용해 왔으며, 기이한 실험적인 기능들이 무작위로 추가되고 제거되었습니다.
- 프라이버시를 존중합니다 - 데이터를 외부로 전송하거나 통계를 수집하지 않으며, 순수하게 로컬에서만 사용됩니다. (새 버전을 확인하기 위해 github.com의 단일 파일만 확인하지만 그게 전부입니다).
최근 변경 사항
V3.07 (2026년 10월 8일)
- Qwen-Image 2.1이 이제 스틸 이미지 및 이미지 편집의 기본 모델로 지정되었으며, 최대 10개의 참조 이미지와 선택적 투명 출력 기능을 지원합니다.
- Unity 6.6으로 업그레이드되어 URP 렌더링과 새로운 Input System을 적용했으며, 자동화된 입력 및 렌더링 회귀 검사(regression checks)를 수행합니다.
- 더 안정적인 ComfyUI 업로드, 취소 및 실패 보고 기능이 추가되었습니다. 체인형 프리셋 크기 및 H3 지속 시간 재정의(overrides) 문제가 수정되었습니다.
- AI Chat 개선 사항: 간결한 웹 결과, 영구적인 사고 과정 상세 정보, 첨부 파일 이름 지정, 향상된 중지 처리(Stop handling) 및 클립 스티칭 후 자동 정리 기능이 추가되었습니다.
- LLM 스트리밍, 프롬프트 캐싱(prompt caching), 제공업체 엔드포인트(provider endpoints), 추론 제어(reasoning controls), 기본 샘플링 등이 개선되었으며, 설정 적용 시 모든 구성 옵션이 유지됩니다.
- Python CLI와 라이선스를 포함하여 Windows 패키징을 감사(audited)했으며, 비공개 구성, 생성된 캐시 및 구식 프리셋은 제외되었습니다.
V3.06 (2026년 8월 30일)
- MiniMax H3 비디오 생성: 텍스트-투-비디오(text-to-video), 시작 프레임, 참조 사진 및 참조 비디오 모드를 지원하며 네이티브 오디오와 음성 대화가 가능합니다. 터보(turbo) 및 품질(quality) 등급이 추가되었으며, 이제 AI Chat의 기본 비디오 경로입니다.
- H3 참조 렌더링은 사진과 비디오 클립 외에도 오디오 클립을 목소리/음악 스타일 참조로 수용합니다 (렌더당 최대 사진 9개 + 클립 2개 + 오디오 파일 3개).
- AI Chat 오디오 생성 기능(음악, 음향 효과, 음성)에 Audio bubbles와 set_video_audio 사운드트랙 믹싱이 추가되었습니다.
- AI Chat 웹 리서치: 웹 검색을 수행하고 이미지/비디오 클립을 가져오며 (시각 검사 완료), 참조 자료를 위해 웹 페이지 내용을 읽어옵니다.
- Windows 클립보드에서 비디오와 파일을 바로 붙여넣을 수 있습니다. 영화 탐색 바(movie seek bar) 및 재생 오류가 수정되었으며, 오디오가 포함된 비디오 가져오기 미리보기가 추가되었습니다.
- CLI를 통해 투명 배경 VFX 출력(alpha webm / sprite sheets)을 포함하여 모든 모드에서 H3 영화 렌더링이 가능합니다.
V3.05 (2026년 7월 13일)
- Claude Fable 5 및 GPT-5.6 모델 지원이 추가되었습니다.
- ComfyUI 서버를 설정(Settings)에서 재배열하여 어떤 서버가 먼저 사용될지 제어할 수 있습니다.
- 클라이언트 측 LLM 출력 토큰 제한이 제거되었습니다 (모델/서버 제한은 여전히 적용됩니다).
V3.04 (2026년 7월 10일)
- 큰 캔버스에서 대량 리로드 후 영화가 검은색으로 유지되는 문제 수정 (ffprobe 결과 캐싱, stalled-prepare watchdog, 단계적 리로드)
- AI 채팅 요약 버그 수정 및 간결한 요약 개선
- 서버 설정 패널에서 텍스트 입력이 제대로 작동하지 않던 문제 수정
V3.03 (2026년 7월 3일)
- FFmpeg 기반 트랜스코드를 사용한 AI 채팅 비디오 가져오기/클리핑, 긴 클립 선택, 미리보기 프록시, 오디오 제어 및 스틸 이미지 가져오기 기능 추가
- Bernini-R 이미지 편집/비디오-투-비디오 프리셋과 별도의 RIFE 비디오 보간 유틸리티 추가
- MOV/HEVC 처리 프록시, 소스 길이 기반의 Bernini 프레임 캡처, LTX 렌더를 위한 고유한 ComfyUI 출력 이름으로 비디오 워크플로우 신뢰성 개선
- AI 채팅 첨부 파일 드롭 기능 개선 및 가져온 이미지의 EXIF 방향 수정
- Generate 버튼 및 Unity 6000.5 빌드/에디터 문제 수정
- 비디오 처리를 위한 FFmpeg/ffprobe 도우미와 라이선스 번들 포함
V3.02 (2026년 6월 29일)
- AI 채팅이 더 이상 조용히 실패하는 대신 LLM/백엔드 오류를 보이는 버블로 표시하도록 변경
- Opus 4.8 추가 및 Gemini 모델 목록 새로 고침
- AI 채팅 입력 상자: 드래그 가능한 크기 조절 분할선, 스크롤바, 그리고 명령줄 스타일의 프롬프트 기록 기능 추가
- 더 강력한 앵커링과 다단계 '계속' 처리 기능을 통해 모델이 더 긴 계획을 수행할 수 있도록 개선
- 만화 제작이 이제 Ideogram 4를 기본값으로 사용하며, 프롬프트 캐싱도 개선됨
- Krea 2 Turbo 이미지 생성, AI 채팅 도움 시스템, 배경 제거 및 타일링 기능 추가
- AI 채팅에서 강조 단어를 식별하고 ElevenLabs를 통해 음성으로 출력하도록 함 (API 키 추가 필요)
- 재연결을 위한 강제 GPU 리셋 옵션, 이미지를 Windows 클립보드로 복사하는 기능 추가
V3.01 (2026년 6월 21일)
- AI 채팅 기능에 많은 작업이 이루어졌는데, 사실상 지금은 이 기능만 있으면 충분함
- 새로운 스플래시/시작 화면
- 다양한 조정 및 버그 수정, Ideogram 4 지원 추가 (AI 채팅이 자체 JSON 이미지 설명 형식을 직접 작성하여 상당히 좋은 결과를 얻을 수 있음)
알려진 문제점
- CrazyCam이 고장 났거나 비활성화되었습니다.
- 한동안 특정 기능을 사용하지 않으면 기능들이 오작동하는 경향이 있습니다. 아마도 앱 자체의 문제일 것입니다. 사용자님 때문은 아닐 겁니다.
스크린샷
<a href="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/aitools_ai_generate_example.png"><img src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/aitools_ai_generate_example.png" width="420"></a>
<a href="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/aitools_ai_edit_example.png"><img src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/aitools_ai_edit_example.png" width="420"></a>
<a href="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/ai_tools_dungeons_generate.png"><img src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/ai_tools_dungeons_generate.png" width="300"></a>
<a href="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/ait_dungeon_twine_export.png"><img src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/ait_dungeon_twine_export.png" width="300"></a>
<a href="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/ait_twine_stored_html2.png"><img src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/ait_twine_stored_html2.png" width="300"></a>
<a href="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/ait_quiz_kyoto.png"><img src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/ait_quiz_kyoto.png" width="300"></a>
미디어 (대부분은 이미 존재하지 않는 기능에 대한 오래되고 구식 영상들입니다만, 뭐 어쨌든)
<a href="https://www.youtube.com/watch?v=2TB4f8ojKYo"><img align="top" src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/apple_youtube_thumbnail.png" width=300></a>
<a href="https://www.youtube.com/watch?v=3PmZ_9QfrE0"><img align="top" src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/remove_bg_youtube.png" width=300></a>
<a href="https://www.youtube.com/watch?v=FoYY_90KlyE"><img align="top" src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/ai_paintball_youtube.png" width=300></a>
<a href="https://www.youtube.com/watch?v=VKj-x25-04E"><img align="top" src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/live_webcam_test.png" width=300></a>
<a href="https://www.youtube.com/watch?v=YQMWflU1v-U"><img align="top" src="https://raw.githubusercontent.com/SethRobinson/aitools_client/main/Media/aiguide_youtube.png" width=300></a>
설정 (Setup)
ComfyUI 서버를 시작할 때 --listen 매개변수를 사용해야 API에 접근할 수 있습니다.
서버 실행 후 config.txt 파일이 생성됩니다. 앱 내부에 설정 편집 버튼이 있는데, 이 버튼은 자체 설명서 역할을 하므로 내용을 확인하고 필요한 대로 업데이트하십시오.
ComfyUI 서버가 ComfyUI-Login 커스텀 노드와 같은 방식으로 비밀번호로 보호되어 있는 경우, 해당 노드가 출력하는 직접적인 API bearer 토큰을 add_server 라인에 추가하십시오:
add_server|http://secured-box.lan:8188|token=$2b$12$qUfJfV942n...
이 단계는 선택 사항입니다. 일반적인 공개 ComfyUI 서버의 경우 |token=... 부분을 생략하십시오. ComfyUI-Login의 경우, 웹 UI 비밀번호가 아닌 직접 API 호출에 사용되는 토큰을 사용해야 합니다. AITools는 ComfyUI HTTP 및 WebSocket 요청 시 이를 Authorization: Bearer 헤더로 전송합니다.
AI가 이미지 및 비디오 클립을 웹에서 검색하도록 하려면, https://brave.com/search/api/에서 Brave Search API 키를 받아 (Search 플랜에는 무료 월간 크레딧이 포함되어 있으며, 약 1000회 쿼리 사용 가능) Settings > Web에 붙여넣으세요. YouTube 및 기타 페이지에 호스팅된 비디오는 번들로 제공되는 utils/yt-dlp/yt-dlp.exe를 사용하여 다운로드됩니다 (최대 480p까지이며, 이후 요청한 초 단위로 로컬에서 잘라냅니다). YouTube는 다운로드 과정의 인증(challenge)을 위해 JavaScript 런타임이 필요합니다: Deno (winget install DenoLand.Deno) 또는 Node.js를 설치하면 앱이 자동으로 이를 감지합니다 (Settings > Web에 발견된 내용 표시). 사이트가 로그인을 요구하는 경우, 동일한 탭에 "브라우저의 쿠키 사용(cookies from browser)" 옵션이 있습니다 (Firefox가 가장 안정적으로 작동합니다). 가져온 클립을 음성 참조로 사용할 때 (생성된 캐릭터가 말할 때), 앱은 해당 클립이 실제로 음성을 포함하는지 확인하기 위해 오디오를 전사(transcribing)합니다: 탭의 speech-to-text 엔드포인트를 OpenAI와 호환되는 Whisper 서버에 연결하거나, 사용자의 OpenAI 키를 사용합니다.
ComfyUI 설정하기
팁: 최신 AI 어시스턴트 (Claude, ChatGPT 등)는 이 README를 읽고 AI Tools가 실행하는 데 필요한 워크플로우를 다운로드하고 설치하며 테스트하는 방법을 파악할 수 있습니다. 저는 실제로 그렇게 하는 것을 추천합니다. 단순히 AI에게 이 페이지를 보여주고 설정 과정을 안내받거나 직접 수행하도록 하면 많은 시간을 절약할 수 있습니다.
먼저 ComfyUI를 설치하고 렌더링이 가능한 상태로 만드세요.
다음으로 ComfyUI Manager를 통해 저의 Workflow to API Converter Endpoint를 설치하세요.
이 노드는 우리가 일반 워크플로우 JSON 파일만 다룰 수 있게 해주며, "API" 버전을 내보낼 필요가 없게 만듭니다. API 변환은 필요한 경우 백그라운드에서 자동으로 이루어지므로 훨씬 편리합니다. 도움이 필요하면 위의 페이지를 클릭하세요.
포함된 일반 워크플로우 JSON 파일들은 이 엔드포인트를 필요로 합니다. 사용하시는 모든 ComfyUI 서버에 설치해 주세요. 이미 API 형식으로 내보내진 워크플로우는 이것 없이도 실행할 수 있습니다. 생성된 API 캐시는 로컬에 남아 다운로드에는 포함되지 않습니다.
다음으로, AITools와 함께 제공되는 워크플로우가 작동하는지 테스트하기 위해 ComfyUI 웹 GUI 내부에서 aitools_client/ComfyUI/text_to_img_flux.json 또는 다른 파일을 드래그해 보세요. ComfyUI의 좋은 점은 이것을 읽어 시각적 워크플로우 형식으로 변환하여 실행할 준비가 된다는 것입니다. (여기서 테스트하는 동안 프롬프트를 <AITOOLS_PROMPT>에서 다른 것으로 변경하고 싶을 수 있습니다) - 'Queue'를 클릭합니다. 작동하나요? 아, 만약 Image Loader가 파일 <AITOOLS_INPUT_1>로 설정되어 있는 것을 본다면, 테스트하려면 ComfyUI 서버의 파일로 그것을 변경해야 합니다.
아마도 빨간색 노드와 오류들이 많이 보일 것입니다. 괜찮습니다! ComfyUI-Manager를 설치했는지 확인하세요. 이것을 사용하면 누락된 모든 노드를 설치할 수 있습니다. 비록 다양한 모델 파일을 찾아야 할 수도 있지만, 적어도 렌더링을 시도할 때 정확히 어떤 파일 이름이 누락되었는지 보여줄 것입니다. (특정 노드 주변의 빨간색 상자를 확인하세요)
