SenseNova-Loop-9B-Preview · Hugging Face

원문 발행 2026. 10. 30. 21:34원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

SenseNova-Loop-9B-Preview는 장문 컨텍스트와 에이전트 워크플로우를 위해 설계된 멀티모달 언어 모델입니다. 문서 이해, 코딩, 외부 도구 상호작용을 결합하여 텍스트를 생성하며, 루프형 디코더와 두 스트림 mHC 구조를 채택했습니다. 최대 262K 토큰 길이의 장문 시퀀스 처리가 가능합니다.

핵심 포인트

루프형 디코더와 두 스트림 mHC가 결합된 독특한 아키텍처입니다.
장문 컨텍스트(최대 262K 토큰) 및 멀티모달 입력 처리에 최적화되었습니다.
에이전트 워크플로우를 위해 문서 이해, 코딩, 도구 상호작용을 지원합니다.
하이브리드 어텐션을 사용하여 디코더 레이어 실행의 효율성을 높였습니다.

개요
SenseNova-Loop-9B-Preview는 장문 컨텍스트 및 에이전트 워크플로우(agentic workflows)를 위해 개발된 멀티모달 언어 모델입니다. 텍스트와 이미지를 입력받아 문서 이해, 코딩, 외부 도구와의 상호작용을 결합하는 애플리케이션을 위한 텍스트를 생성합니다. 이 모델은 루프형 디코더(looped decoder)와 두 스트림 매니폴드 제약 하이퍼 연결(two-stream manifold-constrained hyper-connections, mHC)을 결합했습니다. 연속적인 디코더 레이어 블록이 공유 가중치로 두 번 실행되며, 학습된 매핑(learned mappings)은 루프 섹션의 두 잔여 스트림(residual streams) 간 정보 흐름을 관리합니다. 이러한 구성 요소들은 반복되는 블록의 파라미터를 중복하지 않으면서 더 깊은 실행 경로를 제공합니다. 문서화된 훈련 레시피는 장문 시퀀스, 멀티모달 입력, 그리고 지도 학습 과제 궤적(supervised task trajectories)을 결합하며, 최대 훈련 시퀀스 길이는 262,144 토큰입니다. 최상의 모델 성능을 위해서는 문서화된 배포 환경 및 구성 매개변수 사용을 권장합니다.

모델 하이라이트
공유 루프 블록: 24개의 디코더 레이어가 순차적으로 두 번 적용되어, 총 32개의 고유한 레이어로부터 56번의 디코더 레이어 실행을 생성합니다.
두 스트림 mHC: 학습된 매핑이 루프 섹션의 두 잔여 스트림에 걸쳐 정보를 경로 지정하고 결합합니다.
하이브리드 어텐션(Hybrid attention): 디코더가 반복되는 4개 레이어 패턴에서 선형 어텐션과 전체 어텐션을 번갈아 사용합니다.
장문 컨텍스트 멀티모달 훈련: 문서화된 레시피에는 최대 256K 토큰 길이의 텍스트, 이미지, 코드 및 도구 궤적이 포함됩니다.

제출자 /u/jacek2023 [link] [comments]

AI 자동 생성 콘텐츠

원문 바로가기

SenseNova-Loop-9B-Preview · Hugging Face

요약

핵심 포인트

댓글