게임 NPC, 음성 인식 및 자연스러운 대화로 게임 세계와 상호작용 가능 (ElevenLabs의 ElevenAgents Unity SDK)

게임 NPC가 이제 사용자의 목소리를 듣고 자연스럽게 반응하며 게임 세계와 상호작용할 수 있게 되었습니다. 🎮

ElevenLabs가 ElevenAgents Unity SDK를 출시하여 개발자들이 대화형 AI 캐릭터를 Unity 게임에 직접 추가하기 쉽게 만들었습니다.

이 발표는 @ElevenLabsDevs에 의해 이루어졌으며, developer advocate인 @tadaspetra가 기술 워크스루를 진행했습니다.

흥미로운 부분은 단순히 캐릭터에게 현실적인 AI 음성을 제공하는 것만이 아닙니다.

NPC는 게임에서 무슨 일이 일어나고 있는지에 대한 정보를 받아 실제 게임 플레이 액션을 유발할 수 있습니다.

🎙️ 작동 방식은 어떠한가요?

게임 속의 캐릭터에게 다가가 있다고 상상해 보세요.

▪️ 캐릭터의 상호작용 구역(interaction zone)에 진입하면 음성 대화가 자동으로 시작됩니다.
▪️ 마이크에 말하면 NPC는 ElevenLabs voice agent를 사용하여 응답합니다.
▪️ 멀어지면 대화가 종료됩니다.
▪️ 동적 변수(dynamic variables)를 통해 캐릭터에게 다양한 성격 설정, 무드, 음성을 부여할 수 있습니다.

이 SDK는 상호작용 관리를 위해 Unity의 Conversation API를 사용합니다.

🧠 문맥을 이해하는 캐릭터들

개발자는 플레이어를 방해하지 않고 대화 중에 문맥 업데이트(contextual updates)를 보낼 수 있습니다.

예를 들어:

플레이어가 지하실 열쇠를 집었습니다.

에이전트는 이 정보를 다음 응답에 통합할 수 있습니다.

더 흥미로운 점은, 클라이언트 도구(client tools)가 에이전트가 게임 함수를 실행하도록 허용한다는 것입니다.

개발자는 NPC가 대화에서 요청하는 경우 특정 문을 열도록 하는 open_door 툴을 등록할 수 있습니다.

이는 인터랙티브 퀘스트, 음성 제어 컴패니언, 동적 대화 시스템 및 더욱 반응성이 높은 게임 캐릭터를 위한 기회를 창출합니다.

⚙️ 기술 세부 사항

▪️ Unity의 AudioSource를 통한 Spatial audio 지원.
▪️ 동적 변수(Dynamic variables) 및 세션별 음성 오버라이드(per-session voice overrides).
▪️ 캐릭터 입 또는 신체 애니메이션을 위한 오디오 볼륨 데이터(Audio-volume data).
▪️ 스크립트, 응답, 중단에 대한 대화 이벤트(Conversation events).
▪️ 플랫폼에 따라 WebSocket 및 WebRTC 전송 옵션.
▪️ Unity Editor, Windows, macOS, Linux, 그리고 WebGL 지원.

▪️ 현재 베타 버전으로 iOS, Android, 그리고 XR을 지원합니다.

이 SDK는 Unity 6.3 LTS를 목표로 하며, 팀에 따르면 약 10분 만에 완료할 수 있는 'GettingStarted' 샘플을 포함하고 있습니다.

중요한 구현 세부 사항이 하나 있습니다. 제작용 게임은 게임 내부에 개인(private) API 키를 배포하는 대신, 인증된 세션과 서버에서 생성된 서명 URL(signed URLs)을 사용해야 합니다.

이것이 중요한 이유

전통적인 NPC 대화는 보통 미리 정의된 대화 트리(predefined conversation trees)에 의존합니다.

이 접근 방식은 개발자들에게 음성 상호작용, 게임 상태 변경(changing game state), 그리고 실행 가능한 행동(executable actions)을 하나의 시스템으로 연결할 수 있는 방법을 제공합니다.

물론 이것이 지능적인 캐릭터나 좋은 게임 디자인을 자동으로 만들어주지는 않지만, 더욱 반응성이 높은(reactive) NPC 상호작용 구축을 훨씬 더 쉽게 만듭니다.

🔗 https://t.co/6ckMqcU53P

#ElevenLabs #게임개발 #Unity3D #AIAgents