실시간 대화형 에이전트(Real-Time Conversational Agents, RTCA): 자연스러운 멀티모달 상호작용을 향하여
제1회 RTCA 워크숍 @ NeurIPS 2026, 호주 시드니, 2026년 12월 11일 또는 12일
웹사이트: https://rtcaneurips26.github.io/

실시간 멀티모달 대화형 에이전트에 초점을 맞춘 NeurIPS 2026의 첫 번째 RTCA 워크숍을 위한 논문 및 데모 제출 공고를 공유하게 되어 기쁩니다. 이 워크숍은 스트리밍 음성, 비디오, 언어 생성; 상호작용에서의 자연스러움; 그리고 라이브 시스템 평가에 초점을 맞춥니다.

대화형 AI는 텍스트 채팅을 넘어 실제 세계로 진출했습니다. 즉, 대답하는 음성 모드, 구현된 아바타(embodied avatars), 우리의 화면과 도구를 공유하는 에이전트들입니다. 이러한 시스템이 자연스럽게 느껴지려면 실시간으로 작동해야 하며, 지속적으로 듣고, 보고, 재계획하면서 스트리밍되어야 합니다. 이는 오프라인 생성보다 근본적으로 어렵습니다: 지연 시간(latency), 순서 교대(turn-taking), 백채널(backchannels), 중단(interruptions), 그리고 크로스모달 정렬(cross-modal alignment)이 오프라인 패러다임이 우회하는 핵심 문제들이 됩니다.

전이중 음성–언어 모델, 실시간 토킹 헤드 생성, 스트리밍 ASR에 대한 최근 발전은 이러한 체제가 가능하다는 것을 보여주지만, 이 분야는 상호작용적 자연스러움(interactional naturalness)을 위한 공유 벤치마크, 어휘, 방법론이 여전히 부족합니다. RTCA는 음성, 비전, 언어, HCI, 사회 신호 처리 및 ML 시스템 전반의 연구자들을 세 가지 얽힌 질문들—하드한 지연 시간 예산 하에서의 실시간 생성, 상호작용에서의 자연스러움, 그리고 라이브 시스템 평가—주변으로 모읍니다.

관심 주제(Topics of Interest) 저희는 다음을 포함하는 다양한 주제에 대한 독창적인 기여를 환영합니다만 이에 국한되지는 않습니다: 스트리밍/저지연 음성 합성, ASR, 그리고 풀 듀플렉스 오디오-언어 모델; 실시간 토킹 헤드(talking-head), 아바타 및 체화된 비디오 생성; 스트리밍 환경에서의 립싱크, 시선 처리, 표현력; 스트리밍 언어 모델; 대화를 위한 증분적(incremental) 및 추측적(speculative) 디코딩; 차례 주고받기(Turn-taking), 백채널링(backchanneling), 중단 처리, 그리고 발언권 관리(floor management); 지연 시간 및 부분 관찰 제약 하에서의 멀티모달 정렬(Multimodal alignment); 상호작용 환경에서의 운율(Prosody), 감정, 그리고 준언어적(paralinguistic) 생성; 실시간 대화 중의 기억, 접지(grounding), 그리고 도구 사용; 자연스러움 평가: 지각 연구(perceptual studies), 차례 주고받기 측정 지표(turn-taking metrics), 인지된 지연 시간(perceived latency), 상호작용형 튜링 스타일 테스트; 상호작용적(비오프라인) 평가를 위한 데이터셋 및 벤치마크; 효율적인 추론, 온디바이스 배포, 그리고 시스템-품질 트레이드오프; 실시간 에이전트에서의 안전성, 정체성, 신뢰(딥페이크, 설득, 동의). 제출 유형 저희는 다음을 환영합니다: 전체 논문(Full papers) (최대 8페이지) — 포스터 및/또는 발표 강연으로 발표될 수 있음. 짧은 논문(Short papers) (최대 4페이지) — 진행 중인 작업 또는 집중적인 기여. 데모 논문(Demo papers) (확장 초록 또는 최대 2페이지). 모든 제출물은 NeurIPS 2026 스타일 파일을 사용해야 하며 이중 눈가림 심사(double-blind review)를 위해 형식화되어야 합니다. 페이지 제한에는 참고 문헌과 부록이 제외됩니다. 논문은 OpenReview를 통해 PDF 형식으로 제출해야 합니다 (포털 링크는 워크숍 웹사이트에 게시될 예정). 본 워크숍은 아카이브되지 않으며, 저자는 다른 곳에 출판할 권리를 보유합니다.

중요 날짜 (지구 어디든 자정 기준)
논문 모집 시작: 2026년 7월 18일
제출 마감일 (논문 및 데모): 2026년 8월 29일
저자 통보: 2026년 9월 29일
워크숍 날짜: 2026년 12월 11일 또는 12일
주최자들
Niki Foteinopoulou — Tavus, United Kingdom
Alessandro Conti — Tavus, Italy
Jack Saunders — Tavus, United Kingdom
Oya Celiktutan — King's College London, United Kingdom
Cigdem Beyan — University of Verona, Italy
Ioannis Patras — Queen Mary University of London, United Kingdom
더 자세한 정보는 저희 웹사이트 https://rtcaneurips26.github.io/를 방문하거나 [rtca-workshop@googlegroups.com](mailto: rtca-workshop@googlegroups.com)으로 문의해 주십시오.
여러분의 기여를 기대합니다!
submitted by /u/Few-Ferret9700 to r/MachineLearning [link] [comments]