TAILOR, 시각적 월드 모델(visual world models)의 롱테일 격차를 드러내다

이미지 및 비디오 생성기(Image and video generators)는 일반적인 상호작용에는 뛰어나지만, 드문 물리적 추론(physical reasoning)에는 어려움을 겪습니다.

새로운 연구는 진정한 물리적 이해를 테스트하기 위해 일반적, 비관습적, 그리고 불가능한 시나리오를 아우르는 벤치마크를 도입합니다.

데이터셋(Dataset):
https://huggingface.co/datasets/bx6d/tailor-bench

논문(Paper):
https://paperswithcode.co/paper/2606.24256

프로젝트(Project):
https://tailor-bench.github.io

코드(Code):
https://github.com/tailor-bench/code

...

하이브리드 어텐션 모델(Hybrid Attention Models)로의 변형

FlashMorph는 사전 학습된 트랜스포머(Transformers)를 하이브리드 어텐션 모델(hybrid attention models)로 변환하여, 더 낮은 연산량으로 강력한 롱 컨텍스트 회상(long-context recall)을 유지할 수 있도록 어떤 레이어가 전체 어텐션(full attention)을 유지하고 어떤 레이어가 선형 어텐션(linear attention)을 사용할지 선택합니다.

ByteDance Seed, Fudan, 그리고 CUHK 연구진에 의해 작성되었습니다.