Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ConvFill은 대형 추론 모델의 지식을 활용하여 작은 말하는 모델을 훈련시킨 음성 에이전트 기술입니다. 이 시스템은 사용자의 발화 후, 작은 모델이 빠르게 답변하며 시간을 벌고, 그 사이 큰 모델이 정교한 응답을 생성하여 자연스러운 대화를 이어갑니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기음성 에이전트는 빠하거나 스마트하다. ConvFill은 대형 추론 모델(large reasoner model)의 '치트 노트'를 활용하여 작은 말하는 모델(smol talker model, 0.6B!)을 훈련함으로써 이 간극을 메우는 방법을 제안한다. 작동 방식은 다음과 같다: 사용자의 음성이 전사된 후, 말하는 모델이 추론 모델이 생각할 시간을 벌기 위해 빠르게 답변하고, 그 사이 추론 모델이 적절한 응답을 생성하면, 말하는 모델이 이를 읽어 대화를 이어간다. 마치 로켓 과학자들과 패널에 참여했는데, 자신의 전문가가 무엇을 말해야 할지 알려주는 작은 이어버드를 가진 것과 비슷하다. 단순히 체면을 구기지 않도록 빠르게 답변하고, 그 후 이어버드의 전문가가 지시하는 내용을 말하기 시작하는 식이다. 모델을 가지고 놀아보니 주요 아이디어는 갖춰져 있으며, 이는 훌륭한 방향이 될 수 있지만, 마법처럼 작동하려면 말하는 모델이 조금 더 똑똑해야 할 것 같다. 그럼에도 불구하고 정말 멋진 방향이다! ConvFill은 University of Washington의 UbiComp Lab 학생들이 개발했다. 나는 이것이 흥미로워서 그들에게 연락했고, 함께 매우 좋은 데모를 만들 수 있게 되었다. 그들은 이번 주 EMNLP에서 논문을 발표할 예정이다. 우리 데모(https://huggingface.co/spaces/smolagents/convfill-speech-demo)에서 직접 사용해 보라: /u/futterneid 제출 [링크] [댓글]