버튼 대신 언어로 3D 아바타 제어하기

언어로 제어할 수 있는 3D 캐릭터를 만들었습니다: https://programasweights.com/avatar 전통적으로 3D 아바타는 미리 정의된 버튼이나 스크립트를 통해 제어됩니다. 여기서는 원하는 것을 평이한 영어로 설명하기만 하면 됩니다. '걷다가 손을 흔들고, 몇 번 점프하는 것'과 같이 버튼으로 연결할 수 없는 순서와 조합까지도 말이죠. 작동 방식은 다음과 같습니다. 이는 우리가 이전에 만든 programasweights를 기반으로 하며, 이 프로그램은 평이한 영어 설명을 신경망 프로그램으로 컴파일합니다. 이 아바타의 '감독(director)' 역시 그러한 프로그램 중 하나입니다. 런타임에 사용자의 문장을 작고 동작하는 프로그램(루프, 유지, 병렬 트랙)으로 변환하여 브라우저에서 로컬로 실행합니다. 이 아바타 뒤에 숨겨진 정확한 프로그램은 다음과 같습니다: https://programasweights.com/hub/9c2309c0c9019b180adc (그리고 여러분도 쉽게 자신만의 것을 만들 수 있습니다). 컴파일된 프로그램을 로컬에서 사용하는 것은 몇 줄의 코드만 필요합니다 (pip install programasweights): import programasweights as paw director = paw.function("9c2309c0c9019b180adc") # 아바타의 컴파일된 프로그램 print(director("jump twice")) # -> repeat 2 { jump } (첫 호출 시 작은 프로그램 + 기본 모델을 다운로드한 후, 오프라인으로 실행됩니다.) 디버깅 패널: URL에 ?dbg=1을 추가하면 디버그 패널이 열리고 각 문장에 대해 작성되는 정확한 동작 프로그램을 볼 수 있습니다. 저는 이것을 게임에 적용하는 데 매우 관심이 있습니다. NPC가 고정된, 사람이 직접 만든 레시피를 따르는 대신, 사용자 채팅과 감정으로부터 행동을 즉흥적으로 만들어낼 수 있게 하는 것입니다. 모델이 실시간으로 동작 프로그램을 작성합니다. AI는 우리에게 더 나은 게임을 제공해야 한다고 생각합니다.

코드 + 논문: 추론/런타임 코드는 이미 https://github.com/programasweights 에 공개되었으며, 접근 방식에 대한 더 많은 배경 정보는 여기에서 확인할 수 있습니다: https://x.com/yuntiandeng/status/2044086557330579851 . 만약 지금 당장 전체 코드를 정말 원한다면, 제출에 사용했던 정리되지 않은 버전은 https://anonymous.4open.science/r/programasweights 에 있습니다. 하지만 저희가 이를 정리하여 더 나은 버전을 출시할 예정입니다.

/u/yuntiandeng이 r/LocalLLaMA에 제출함 [링크] [댓글]