AI2, Hugging Face에 양손 페그보드 조작 벤치마크 공개
요약
AI2가 Hugging Face에 LeRobot 기반의 양손 페그보드 조작 벤치마크를 공개했습니다. 또한, 풀 어텐션 LLM의 효율성을 높이기 위해 검색 헤드를 분리하고 토큰 인덱서를 추가하여 컨텍스트 처리 속도를 획기적으로 개선한 연구 결과가 소개되었습니다.
핵심 포인트
- AI2의 양손 페그보드 조작 벤치마크 공개
- LeRobot을 활용한 14-DOF 암 조작 데이터셋 구축
- 검색 헤드 분리를 통한 LLM 프리필 속도 9.36배 향상
- 1M 컨텍스트 환경에서 디코딩 속도 2배 개선
AI2가 Hugging Face에 양손 페그보드 조작 (bimanual pegboard manipulation) 벤치마크를 방금 공개했습니다.
52개의 에피소드, 30k 프레임, 3개의 카메라 각도, 14-DOF (자유도) 암(arms)
LeRobot으로 구축되었습니다.
Full Attention Strikes Back
RTPurbo는 풀 어텐션 (full-attention) LLM이 이미 희소하다 (sparse)는 점을 밝혀냈습니다.
이 연구는 검색 헤드 (retrieval heads)를 분리하고 16차원 토큰 인덱서 (token indexer)를 추가합니다.
단 몇 백 단계의 학습만으로 1M 컨텍스트에서 9.36배의 프리필 (prefill) 속도 향상과 2배 빠른 디코딩 (decoding)을 달성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0