LatentSkill: 에이전트의 텍스트 기술을 LoRA 가중치로 변환
요약
LatentSkill은 에이전트의 텍스트 기술을 LoRA 가중치로 변환하여 지식을 가중치 공간에 저장하는 기술입니다. 이를 통해 ALFWorld 성공률을 21% 향상시키고 프리필 토큰을 72% 절감하며, Microsoft Research의 Mirage는 잠재 공간 메모리를 통해 비디오 생성 속도를 획기적으로 높였습니다.
핵심 포인트
- 텍스트 기술을 LoRA 가중치로 변환하여 지식 저장 효율화
- ALFWorld 성공률 21포인트 향상 및 프리필 토큰 72% 감소
- Mirage 기술을 통한 비디오 생성 속도 최대 10.57배 향상
- 잠재 공간 메모리로 메모리 사용량 55배 감소
LatentSkill은 에이전트의 텍스트 기술을 LoRA 가중치로 변환합니다.
하이퍼네트워크 (Hypernetwork)가 재사용 가능한 절차를 플러그 앤 플레이 (plug-and-play) 어댑터로 압축하여, 지식을 컨텍스트 (context) 대신 가중치 공간 (weight space)에 저장합니다.
이는 ALFWorld 성공률을 21포인트 이상 향상시키는 동시에 프리필 (prefill) 토큰을 최대 72%까지 줄여줍니다.
토론 (Discuss):
https://paperswithcode.co/paper/2606.06087
GitHub:
https://github.com/yuaofan0-oss/LatentSkill
LoRA 어댑터와 체크포인트 (checkpoints)가 Hugging Face Hub에 올라오기를 기대합니다.
Microsoft Research가 Mirage를 소개합니다.
잠재 공간 메모리 (Latent spatial memory)는 3D 장면을 잠재 토큰 (latent tokens)으로 직접 저장하여, 비용이 많이 드는 RGB 렌더링 및 재인코딩 (render-and-reencode) 루프를 건너뜁니다. 그 결과 비디오 생성 속도가 최대 10.57배 빨라지고, 메모리 사용량은 55배 감소하며, WorldScore에서 최첨단 (state-of-the-art) 일관성을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기