LLaDA2.2-flash는 LLaDA2 시리즈의 에이전트 지향적 확산 언어 모델 (diffusion language model)입니다. 확산 언어 모델링 (diffusion language modeling)에 Levenshtein Editing (DELETE 및 INSERT 제어 토큰 포함)을 도입함으로써, 긴 문맥의 도구 사용 (tool use), 다회차 상호작용 (multi-turn interaction), 강력한 오류 수정 (error correction)을 포함한 에이전트 애플리케이션 (agentic applications)을 향한 LLaDA2 시리즈의 첫 번째 단계를 나타냅니다. 더 자세한 정보는 기술 보고서 (technical report)를 참조하십시오. 🚀 주요 특징

효율적인 128K 확산 인프라 (Diffusion Infrastructure): LLaDA2.2-flash는 컨텍스트 창 (context window)을 128K로 확장하고, 효율적인 긴 문맥의 에이전트 워크로드 (agentic workloads)를 가능하게 하기 위해 확산 블록 (diffusion-block) 수준에서 MoE 전문가 활성화를 제한하는 블록 라우팅 (Block Routing)을 도입합니다.

Levenshtein Editing: DELETE 및 INSERT 제어 토큰을 도입하여, 확산 디코딩 (diffusion decoding)이 시퀀스 구조를 편집하고, 중복된 내용을 제거하며, 병렬 생성 (parallel generation) 중에 삽입 슬롯 (insertion slots)을 생성할 수 있도록 합니다.

에이전트 강화학습 (Agentic Reinforcement Learning): 우리는 다회차 도구 사용 (multi-turn tool-use) 시나리오에서 Levenshtein Editing 및 오류 수정을 훈련하기 위해 에이전트 환경 보상 (agentic environmental rewards)을 활용하는 Levenshtein Editing ELBO 기반 블록 수준 정책 최적화 (L-EBPO, Levenshtein Editing ELBO-based Block-level Policy Optimization)를 제안합니다.

🔍 모델 개요
LLaDA2.2-flash의 사양은 다음과 같습니다:

유형: Levenshtein Editing을 적용한 전문가 혼합 (Mixture-of-Experts, MoE) 확산 언어 모델 (Diffusion Language Model)
컨텍스트 길이: 128K 토큰
Levenshtein Editing 제어 토큰: DELETE, INSERT
총 파라미터 수 (임베딩 제외): 100B
레이어 수: 32
어텐션 헤드 (Attention Heads): 32
위치 인코딩 (Positional Encoding): 회전 위치 임베딩 (Rotary Position Embedding, RoPE)
어휘 사전 크기 (Vocabulary Size): 157,184