Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
사용자의 자연어 명령을 실시간으로 실행 가능한 동작 프로그램으로 컴파일하여 3D 아바타를 제어하는 기술을 소개합니다. 평이한 영어 설명을 루프나 병렬 트랙 같은 논리적 구조로 변환하여 브라우저 로컬 환경에서 실행할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어로 제어할 수 있는 3D 캐릭터를 만들었습니다: https://programasweights.com/avatar 전통적으로 3D 아바타는 미리 정의된 버튼이나 스크립트를 통해 제어됩니다. 여기서는 원하는 것을 평이한 영어로 설명하기만 하면 됩니다. '걷다가 손을 흔들고, 몇 번 점프하는 것'과 같이 버튼으로 연결할 수 없는 순서와 조합까지도 말이죠. 작동 방식은 다음과 같습니다. 이는 우리가 이전에 만든 programasweights를 기반으로 하며, 이 프로그램은 평이한 영어 설명을 신경망 프로그램으로 컴파일합니다. 이 아바타의 '감독(director)' 역시 그러한 프로그램 중 하나입니다. 런타임에 사용자의 문장을 작고 동작하는 프로그램(루프, 유지, 병렬 트랙)으로 변환하여 브라우저에서 로컬로 실행합니다. 이 아바타 뒤에 숨겨진 정확한 프로그램은 다음과 같습니다: https://programasweights.com/hub/9c2309c0c9019b180adc (그리고 여러분도 쉽게 자신만의 것을 만들 수 있습니다). 컴파일된 프로그램을 로컬에서 사용하는 것은 몇 줄의 코드만 필요합니다 (pip install programasweights): import programasweights as paw director = paw.function("9c2309c0c9019b180adc") # 아바타의 컴파일된 프로그램 print(director("jump twice")) # -> repeat 2 { jump } (첫 호출 시 작은 프로그램 + 기본 모델을 다운로드한 후, 오프라인으로 실행됩니다.) 디버깅 패널: URL에 ?dbg=1을 추가하면 디버그 패널이 열리고 각 문장에 대해 작성되는 정확한 동작 프로그램을 볼 수 있습니다. 저는 이것을 게임에 적용하는 데 매우 관심이 있습니다. NPC가 고정된, 사람이 직접 만든 레시피를 따르는 대신, 사용자 채팅과 감정으로부터 행동을 즉흥적으로 만들어낼 수 있게 하는 것입니다. 모델이 실시간으로 동작 프로그램을 작성합니다. AI는 우리에게 더 나은 게임을 제공해야 한다고 생각합니다.
코드 + 논문: 추론/런타임 코드는 이미 https://github.com/programasweights 에 공개되었으며, 접근 방식에 대한 더 많은 배경 정보는 여기에서 확인할 수 있습니다: https://x.com/yuntiandeng/status/2044086557330579851 . 만약 지금 당장 전체 코드를 정말 원한다면, 제출에 사용했던 정리되지 않은 버전은 https://anonymous.4open.science/r/programasweights 에 있습니다. 하지만 저희가 이를 정리하여 더 나은 버전을 출시할 예정입니다.
/u/yuntiandeng이 r/LocalLLaMA에 제출함 [링크] [댓글]