Launch HN: Eggnog (YC W24) – 일관된 캐릭터를 가진 AI 비디오

안녕하세요 HN, 저희는 Jitesh와 Sam이며, Eggnog를 만들고 있습니다:

https://www.eggnog.ai, 모든 장면에서 캐릭터가 동일하게 보이는 AI 비디오 플랫폼입니다. Eggnog를 사용하면 캐릭터를 생성하고, 이를 장면 생성에 사용하며, 다른 사람들이 리믹스(remixing)할 수 있도록 공유할 수 있습니다. 다음은 Eggnog로 제작된 몇 가지 영상입니다:

• 팬픽션 (Fanfiction): https://www.reddit.com/r/harrypotterfanfiction/comments/1bn6... (Eggnog 외부의 사운드가 일부 포함되어 있습니다)

• 코미디 (Comedy): https://x.com/jitsvm/status/1771609353725919316?s=20

• 포스트 아포칼립스 분위기 (Post-apocalyptic vibes): https://x.com/saucebook/status/1771212617601659279?s=20

저희는 지난 1년 동안 재미있는 AI 비디오를 만드는 데 몰두해 왔지만, 각 장면마다 캐릭터의 모습이 항상 다르게 보이는 점에 짜증을 느꼈습니다. 이로 인해 멋진 영상을 만들기가 더 어려워졌고, 친구들이 줄거리를 이해하는 데에도 방해가 되었습니다.

AI 비디오를 만드는 것과 같은 확산 모델 (Diffusion models)은 무작위 노이즈 (random noise)에서 시작하여 디테일을 추가하는 방식으로 작동합니다. 따라서 프롬프트 (prompt)에 아무리 많은 트릭을 추가하더라도, 캐릭터를 식별 가능하게 만드는 작은 요소들은 생성할 때마다 거의 항상 다르게 나타나게 됩니다. 예를 들어, 마법사가 빨간 모자를 쓰길 원한다면, 한 번의 생성에서는 모자가 삐딱하게 나오고 다음 생성에서는 똑바로 나올 수 있습니다.

Eggnog는 저순위 적응 (LoRA, Low-Rank Adaptation)을 사용하여 사용자가 일관된 캐릭터를 만들 수 있도록 지원합니다. LoRA는 다양한 시나리오에 있는 캐릭터의 이미지 세트를 입력받아, 해당 이미지들을 사용하여 모델에게 그 캐릭터를 하나의 개념 (concept)으로 학습시킵니다. 저희는 사용자가 캐릭터에 대해 작성한 단일 프롬프트(예: 검은 머리와 덥수룩한 수염을 가진 고대 그리스 병사)를 가져와서, 다양한 포즈와 다양한 각도에서 촬영된 캐릭터 이미지의 학습 세트로 변환하는 방식으로 이를 수행합니다. 일단 캐릭터가 모델에 학습되면, 사용자는 프롬프트에서 해당 캐릭터 개념을 호출할 수 있으며 약 80%의 확률로 일관된 생성 결과를 얻을 수 있습니다.

Eggnog의 생성 결과물을 더욱 일관되고 제어 가능하게(controllable) 만들 여지는 여전히 많이 남아 있습니다. 생성 시 때때로 성별이 잘못 나오거나, 의상의 핵심 디테일이 누락되거나, 혹은 그 외의 다양한 롱테일(long tail) 방식의 오류가 발생하기도 합니다. 또한 캐릭터의 정확한 신체 움직임을 제어하는 데에도 종종 어려움을 겪고 있습니다. 저희는 캐릭터 개념을 호출하는 프롬프트(prompt)를 더욱 최적화하고, 인간의 3D 표현(3D representations)이 내장된 새로운 오픈 소스 비디오 모델(open source video models)을 사용함으로써 이러한 문제들을 해결할 계획입니다.

Eggnog로 캐릭터를 만드는 또 다른 재미있는 점은 이를 공유할 수 있다는 것입니다. 저희는 이미 샌프란시스코 버전의 "아메리칸 사이코(American Psycho)" 영상을 제작하여 Twitter(https://x.com/jitsvm/status/1766987382916894966?s=20)에서 10만 회 이상의 조회수를 기록했습니다. 그 후, 동일한 캐릭터와 그의 새로운 친구가 등장하는 또 다른 영상을 제작하여 샌프란시스코 세계관을 확장했습니다(https://x.com/SamuelMGPlank/status/1767405784986718406?s=20). 결과적으로 여러분은 좋은 영상을 구성하는 모든 요소들, 즉 캐릭터, 의상, 세트, 그리고 사운드를 생성하고 리믹스(remix)할 수 있게 될 것이며, 이 모든 것들은 Eggnog 커뮤니티가 구축한 에셋 라이브러리(library of assets)의 일부가 될 것입니다.

Eggnog는 무료로 사용할 수 있으며, 플레이그라운드(playground)에서 직접 체험해 보실 수 있습니다: https://www.eggnog.ai/playground. 영감이 필요하시다면, 빛나는 지팡이를 흔드는 캐릭터 "herm"이나 더블린 거리를 걷는 캐릭터 "lep"를 사용해 보세요. 저희는 향후 AI 비디오를 시청하기 위해 Eggnog를 방문하는 시청자들에게 광고를 보여줌으로써 수익을 창출할 예정입니다.

저희는 사람들이 Eggnog로 만들어내는 모든 재미있는 영상과 캐릭터들을 보는 것에 매우 설레며, 여러분의 의견을 듣기를 고대하고 있습니다!