새로운 모델: Nanbeige4.2-3B (Looped Transformer, 4배 더 큰 모델보다 뛰어난 성능)
요약
Nanbeige4.2-3B는 Looped Transformer 아키텍처를 사용하여 파라미터 수를 늘리지 않고도 모델 용량을 확장한 컴팩트한 에이전트 모델입니다. 3B 규모임에도 불구하고 강력한 에이전트 동작, 추론 및 정렬 능력을 갖추어 일반 및 코드 에이전트 작업에서 뛰어난 성능을 보여줍니다.
핵심 포인트
- Looped Transformer 아키텍처를 통한 레이어 재사용
- 3B 파라미터로 대형 모델 대비 효율적인 성능 구현
- 강력한 에이전트 동작 및 추론/정렬 능력 결합
- 일반 에이전트 및 코드 에이전트 작업에 최적화
https://huggingface.co/Nanbeige/Nanbeige4.2-3B Nanbeige4.2-3B는 Nanbeige4.2-3B-Base를 기반으로 구축된 컴팩트한 에이전트 모델 (agentic model)로, 강력한 에이전트 동작 (agentic behavior)과 폭넓은 추론 (reasoning) 및 정렬 (alignment) 능력을 결합하도록 설계되었습니다. 이 모델의 루프드 트랜스포머 (Looped Transformer) 아키텍처는 파라미터 (parameters)를 추가하지 않고도 모델 용량을 늘리기 위해 트랜스포머 레이어 (transformer layers)를 재사용합니다. 임베딩 (embedding)을 제외한 파라미터가 단 3B에 불과함에도 불구하고, 이 모델은 일반 에이전트 (general-agent) 및 코드 에이전트 (code-agent) 작업에서 탄탄한 성능을 제공합니다. /u/Wooden-Deer-1276에 의해 제출됨 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기