tokenize : 공통 인자 (common args) 사용을 통한 사용 방식 일치 (#25516)

직접 구현한 argv 파싱, Windows UTF-8 처리 및 파일 읽기 기능을 공유된 공통 헬퍼 (common helpers)로 교체하여 tokenize 도구를 common_params_parse로 마이그레이션합니다.

모델 소싱 플래그 (-m, -mu, -dr, -hf, -hff, --offline, HF_TOKEN)를 LLAMA_EXAMPLE_TOKENIZE에 노출하고, --ids, --stdin, --no-bos, --no-parse-special 및 --show-count를 공통 인자 (common args)로 등록합니다. 기존 동작을 유지하기 위해 TOKENIZE의 parse_special 기본값은 true로 설정됩니다. 이제 에러는 fprintf(stderr) 대신 LOG_ERR를 통해 전달됩니다.

Signed-off-by: Adrien Gallouët angt@huggingface.co

macOS/iOS:

• macOS Apple Silicon (arm64)
• macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화됨
• macOS Intel (x64)
• iOS XCFramework

Linux:

Linux:

• Ubuntu x64 (CPU)
• Ubuntu arm64 (CPU)
• Ubuntu s390x (CPU)
• Ubuntu x64 (Vulkan)
• Ubuntu arm64 (Vulkan)
• Ubuntu x64 (ROCm 7.2)
• Ubuntu x64 (OpenVINO)
• Ubuntu x64 (SYCL FP32)
• Ubuntu x64 (SYCL FP16)

Android:

• Android arm64 (CPU)

Windows:

Windows:

• Windows x64 (CPU)
• Windows arm64 (CPU)
• Windows arm64 (OpenCL Adreno)
• Windows x64 (CUDA 12) - CUDA 12.4 DLLs
• Windows x64 (CUDA 13) - CUDA 13.3 DLLs
• Windows x64 (Vulkan)
• Windows x64 (OpenVINO)
• Windows x64 (SYCL)
• Windows x64 (HIP)**

openEuler:

• DISABLED
• openEuler x86 (310p)
• openEuler x86 (910b, ACL Graph)
• openEuler aarch64 (310p)
• openEuler aarch64 (910b, ACL Graph)**

UI:

• UI