v5.19.0 릴리스

새로운 모델 추가

EmbeddingGemma2

image겨마(EmbeddingGemma2)는 Gemma 4 아키텍처를 기반으로 Google에서 개발한 멀티모달 임베딩 모델입니다. 이 모델은 텍스트, 이미지, 오디오, 비디오를 개별적으로 또는 하나의 입력에 결합하여 인코딩하며, 이를 크로스모달 검색(cross-modal retrieval), 의미적 유사성(semantic similarity), 클러스터링(clustering), 분류(classification)를 위한 공유된 768차원 벡터 공간으로 변환합니다. Matryoshka Representation Learning을 사용하므로 임베딩을 512, 256 또는 128 차원으로 자르기(truncate)가 가능합니다. 또한 구성 가능한 시각 및 비디오 토큰 예산(token budgets)을 제공하며, 메모리 절약을 위해 로드 시 사용하지 않는 비전 또는 오디오 타워를 비활성화할 수 있습니다.

링크: Documentation

• Smthn smthn (#49364) by @vasqu in #49364

주요 변경 사항 (Breaking changes)

라우터(router)를 계산하는 모든 MoE 모델은 이제 output_router_logits=True 설정 시 해당 로짓을 반환합니다. 이는 Qwen3-MoE 패턴을 따르며 (기반 모델의 router_logits 기록, 백본의 MoeModelOutputWithPast, 헤드의 MoE 인과 LM 출력), 따라서 이전 출력을 사용했거나 그 부재에 의존했던 코드는 이 출력 클래스들에서 라우터 로짓을 읽어야 합니다.

• 🚨 라우터를 계산하는 모든 MoE 모델에서 라우터 로짓 반환 (#48920) (by @qgallouedec)

Owlv2ForObjectDetection.embed_image_query는 이제 원래 OWLv2 노트북처럼 가장 높은 객체성(objectness) 점수를 가진 쿼리 박스를 선택합니다. 이전에는 OWL-ViT 휴리스틱을 사용했기 때문에, 이미지 기반 쿼리 임베딩 및 탐지 결과가 이전 릴리스와 다를 수 있습니다.

• 🚨 객체성을 이용한 OWLv2 이미지 쿼리 선택 (#49200) (by @qgallouedec)

SDPA 및 flash attention 구현에서 `

연속 배치 처리(Continuous batching)에서 인덱스 기반 및 블록 테이블 경로의 캐시 업데이트가 단일 호출로 통합되어, 캐시 업데이트 함수의 동작이 약간 변경되었으며 개별 업데이트 경로를 호출하는 사용자 정의 코드에 영향을 미칩니다.

• 🚨 [CB] 🚨 index 및 block table 경로 업데이트 통합 (“#49088”)를 @remi-or가 수행

Continuous batching 내부 구조는 “paged” 제거 준비 과정에서 변경되었습니다: max

• 🚨 [CB] 🚨 “paged” 제거 전 작은 수정 사항 (“#49069”)를 @remi-or가 수행

병렬화 (Parallelization)

전문가 병렬화(Expert parallelism)에 토큰 디스패치 구현이 추가되었습니다. 이는 새로운 ep_dispatch_experts 계획 규칙을 통해 선택되며, 이제 Qwen3 MoE와 Mellum의 기본값이 되어 EP 크기가 TP 크기와 같아야 한다는 요구 사항을 제거했습니다. 또한 Trainer가 전문가 병렬화와 함께 작동하도록 조정되었으며, 문서에는 PEFT 어댑터가 텐서 병렬화(tensor parallelism)를 지원한다는 내용이 추가되었습니다. 파이프라인 병렬 처리(pipeline-parallel) 기반의 chart2table 추론에 대한 CI 관련 수정 사항도 포함되었습니다.

• [distributed]: Expert Parallel 처리를 위해 Trainer를 수정함 (#48873) by @3outeille in [#48873]
• [distributed] Qwen3 MoE의 기본값으로 Expert Parallel 토큰 디스패치를 추가함 (#48865) by @3outeille in [#48865]
• pp chart2table 추론 오류를 수정함 (#49225) by @zucchini-nlp in [#49225]
• [docs] PEFT 어댑터에 대한 TP (#49060) by @stevhliu in [#49060]

Cache

이번 릴리스에서는 양자화된 캐시(quantized cache) 처리를 수정했습니다: generate가 더 이상 사용자의 cache_config를 변경하지 않으며, QuantizedLayer.reorder_cache가 수리되었습니다. 또한 레이어별 캐시 구성이 추가되어, DynamicCache와 StaticCache가 각 레이어를 자체 설정(슬라이딩 윈도우, 어텐션 청크 크기, 컨볼루션 상태 및 어텐션 헤드 개수)으로 초기화하여 이질적인 모델을 더 잘 지원합니다. 별도로 마스크 및 캐시에 대한 사용 중단 주기(deprecation cycle)가 다뤄집니다.

• quantized cache 수정 (#48700) (작성자: @jiqing-feng)
• [CI] check_bad_commit: Xet FUSE OOM 방지 (exit 137)를 위해 EFS 캐시 사용 (#49273) (작성자: @ydshieh)
• 레이어별 캐시 설정 지원 (#48178) (작성자: @eladsegal)
• 마스크 및 캐시의 사용 중단 주기 제거 (#49231) (작성자: @Cyrilvallez)

버그 수정 및 개선 사항