음성 생성 지시사항을 한 단락에 몰아넣으면 대화, 환경음, 효과음, 음악의 우선순위가 모호해지기 쉽습니다. 그래서 프롬프트를 작성하기 전에 '무엇이, 언제, 어느 거리에서 들리는가'를 작은 장면 사양서로 정리하는 방법을 소개합니다.
관련 프로젝트로서 제가 운영하는 SeedAudio 1.5 사이트도 소개합니다. 2026년 10월 11일 기준으로, 사이트 상에서는 1.5는 Coming Soon으로 표시되어 있으며, 이용 가능한 생성 기능은 Seed Audio 1.0입니다. 아래 예시는 음성 제작을 위한 설계 샘플입니다.
1. 먼저 '중심이 되는 소리'를 하나 정하기
예를 들어 '비 오는 밤의 카페'라는 장면이라도 목적은 여러 가지가 있을 수 있습니다.
- 대화를 들려주는 단편적인 한 장면
- 독서용 환경음
- 커피를 따르는 효과음
목적이 다르면 빗소의 존재감도 달라집니다. 대화가 중심이라면, 비는 목소리를 가리지 않는 배경으로 지정합니다. 환경음이 중심이라면, 대화를 넣지 않는 것이 장면의 의도를 정리하기 쉽습니다.
우선 '이 장면에서는 짧은 대사가 최우선'이라고 적고 주변 소리를 추가하는 것이 출발점입니다.
2. 대화/환경음/효과음/음악을 따로 기술하기
여기서는 16초의 장면을 예로 듭니다.
{
"scene": "비 오는 밤, 작은 카페 내부",
"target_seconds": 16,
...
이 JSON은 제작 메모용 형식이며, SeedAudio의 API 요청 형식을 나타내는 것은 아닙니다. 또한, target_seconds나 timing은 희망하는 구성을 기록하는 항목일 뿐, 생성 결과의 길이 또는 이벤트 시각을 보장하지 않습니다.
3. 사양서를 자연어 프롬프트로 변환하기
정리한 항목들을 일관된 지시사항으로 모읍니다.
비 오는 밤, 작은 카페 내부. 가까운 중앙에 있는 한 명의 화자가 차분하고 자연스러운 목소리로 '비, 좀 더 계속될 것 같네.'라고 말한다. 창밖에서 잔잔한 빗소리가 들리지만, 대사보다 작게 한다. 대사가 끝난 후 컵을 받침대에 놓는 짧고 작은 소리를 한 번 넣는다. 음악은 넣지 않는다. 16초 정도의 장면을 상정한다.
'영화적인', '고품질'과 같은 형용사를 늘리는 것보다, 화자의 수, 소리의 위치, 이벤트의 순서를 구체화하는 것이 나중에 수정할 대상을 정하기 쉽습니다.
4. 평가할 관점을 생성 전에 정하기
시청 시 확인할 항목도 사양서에서 만들 수 있습니다.
| 관점 | 확인 사항 |
|---|
| 대사 | 말이 들리는지, 의도하지 않은 단어가 추가되지는 않았는지 |
| ... | |
| 이것들은 채점용 자동 지표가 아니라, 사람이 시청할 때의 확인 항목입니다. 의도와 다른 결과가 나오면, 문제가 있는 항목을 특정하여 지시를 수정합니다. | |
5. 한 번에 바꿀 조건을 하나로 좁히기
비가 너무 크다면, 먼저 배경음 설명만 변경합니다. 목소리의 거리나 대사까지 동시에 바꾸면, 어떤 변경이 관련되었는지 판단하기 어려워집니다.
같은 지시라도 결과가 달라질 가능성이 있으므로, 하나의 출력물만으로 개선을 단정하지 않는 것도 중요합니다. 프롬프트의 버전을 그리고 시청 메모를 남겨두면, 다음 시도에서 비교할 자료가 됩니다.
제작 메모를 먼저 만들 때의 이점
장면 사양서는 생성 도구가 바뀌어도 제작 의도를 가지고 다닐 수 있는 메모가 됩니다. 공동 제작에서도, 우선 대사를 할지 배경의 분위기를 우선할지를 공유하기 쉽습니다.
seed audio 1.5 사이트를 사용할 경우에도, 모델명만으로 기능을 판단하지 않고 그 시점의 제공 상태와 입력 항목을 확인한 후, 이러한 제작 메모를 프롬프트에 녹여내는 것이 진행하기 수월합니다.
Discussion
