Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 LFM2와 같은 비전 모델의 이미지 리사이징 과정에서 발생하는 정밀도 불일치 문제를 해결합니다. Pillow 포트와 torchvision 간의 가중치 및 스케일링 차이를 조정하여, bilinear 및 bicubic 리사이즈 결과가 torchvision 표준과 일치하도록 코드를 수정했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Lfm2VlImageProcessor와 d1-omni vision.py는 uint8 이미지를 torchvision (antialias=True)를 사용하여 리사이즈합니다. 이는 Pillow의 알고리즘인데, Pillow가 22비트를 사용하는 것과 달리 가중치(weights)는 int16이며 가장 큰 가중치가 허용하는 만큼의 분수 비트(fractional bits)를 사용합니다. 이로 인해 Pillow 포트는 d1-omni 및 LFM2.5-VL 크롭 값 중 약 1%의 값에서 1~2 레벨 차이가 발생했습니다.
RESIZE_ALGO_BILINEAR_TORCH는 Pillow 포트의 가중치를 해당 정밀도로 반올림하고 다시 22비트로 스케일링하여, 동일한 패스를 거친 torchvision의 출력을 제공하며, LFM2와 d1-omni에 대해 "bilinear"가 이를 매핑합니다. 다른 모델들은 여전히 Pillow 알고리즘을 유지합니다.
Lfm2VlImageProcessor는 bicubic 체크포인트(d1-3B, LFM2-VL)에 대해서도 torchvision을 사용하여 리사이즈하므로, "bicubic"은 LFM2의 경우 RESIZE_ALGO_BICUBIC_TORCH로 매핑됩니다. 이는 int16 가중치를 가진 torchvision과 동일한 Pillow bicubic 필터(a = -0.5, torchvision with antialias)를 사용합니다. Pillow 포트는 d1-3B 크롭 값 중 약 0.25%의 값에서 1~2 레벨 차이가 발생했습니다.
Co-authored-by: Xuan Son Nguyen [email protected]