b11400: llama에서 임베딩(embd)과 원시 토큰을 배치로 모두 지원 (#29622)
요약
llama 아키텍처가 임베딩(embedding)과 원시 토큰을 배치로 함께 지원하도록 업데이트되었습니다. 이는 `test-llama-archs`에 추가되었으며, 혼합 배치를 위한 전용 입력 제공 및 m-rope 위치 처리 통합 등의 개선 사항이 포함되었습니다.
핵심 포인트
- llama가 임베딩과 원시 토큰의 혼합 배치를 지원합니다.
- 테스트 아키텍처(`test-llama-archs`)에 해당 기능이 추가되었습니다.
- 혼합 케이스를 위한 전용 입력 및 위치 처리(m-rope) 통합이 이루어졌습니다.
- llama: 임베딩(embd)과 원시 토큰을 배치로 모두 지원
- test-llama-archs에 추가
- case llm_arch_supports_mixed_batch = false도 확인
- 상수 그래프 위상(constant graph topology)
- 혼합 케이스를 위한 전용 입력 제공
- rm set_tensor_backend
- is_embd --> type
- m-rope 위치 처리(pos handling) 통합
- nits
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기