- mlx: publisher 토크나이저 의미론 일치 pretokenizer 단계 순서, 분할 동작, Unicode 경계, added-token

• mlx: publisher 토크나이저 의미론 일치

pretokenizer 단계 순서, 분할 동작, Unicode 경계, added-token 정규화, 그리고 순위별 BPE 병합을 개선했습니다. 빈 added 토큰과 빈 Metaspace 입력을 일관성 있게 처리합니다.

게시된 토크나이저를 사용하여 공유 Go/Python 참조 케이스를 추가하고, 누락된 모델을 직접 가져오며 오류 발생 시 실패하도록 했습니다. 또한 설정 우선순위, 바이트 폴백(byte fallback), 그리고 병렬 인코딩에 대한 집중적인 회귀 테스트도 수행했습니다.

• 주석 처리된 부분 해결