Show GN: LiteRT-LM-Unity - LiteRT-LM용 유니티 안드로이드 래퍼
요약
본 글은 안드로이드 온디바이스 LLM 개발 과정에서 속도 개선을 위해 LiteRT-LM을 활용한 포팅 작업을 공유합니다. 기존에 사용하던 whisper.cpp의 GPU 가속 문제로 인해 성능 한계를 느꼈으나, LiteRT-LM과 MTP 적용을 통해 빠른 속도를 확보하여 만족스러운 결과를 얻었으며, 관련 벤치마크 결과도 함께 공개했습니다.
핵심 포인트
- 안드로이드 온디바이스 LLM 개발에 초점을 맞추고 있음.
- 기존 whisper.cpp 사용 시 GPU 가속 문제로 속도 개선의 필요성을 느낌.
- LiteRT-LM과 MTP 적용을 통해 성능 향상을 이루었으며, 포팅 작업을 성공적으로 완료함.
- 다양한 모델에 대한 벤치마크 결과를 공유하여 커뮤니티에 도움을 주고자 함.
안드로이드 온디바이스 LLM을 개발하고 있습니다.
기존엔 whisper.cpp를 쓰고 있는데 GPU 가속이 되지 않아 속도에 대한 갈증이 있었습니다.
LiteRT-LM이 공개되고 특히 MTP까지 적용되면서 속도가 상당히 빠르다고 판단하여 포팅 작업을 진행하였고,
만족스런 결과를 얻게 되었습니다.
LiteRT Community에 공개된 다양한 모델의 벤치마크 결과도 진행하였습니다.
혹시 도움이 되실까 하여 공개해봅니다
안드로이드 온디바이스 LLM을 개발하고 있습니다.
기존엔 whisper.cpp를 쓰고 있는데 GPU 가속이 되지 않아 속도에 대한 갈증이 있었습니다.
LiteRT-LM이 공개되고 특히 MTP까지 적용되면서 속도가 상당히 빠르다고 판단하여 포팅 작업을 진행하였고,
만족스런 결과를 얻게 되었습니다.
LiteRT Community에 공개된 다양한 모델의 벤치마크 결과도 진행하였습니다.
혹시 도움이 되실까 하여 공개해봅니다
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기2