Show GN: LiteRT-LM-Unity - LiteRT-LM용 유니티 안드로이드 래퍼

요약

본 글은 안드로이드 온디바이스 LLM 개발 과정에서 속도 개선을 위해 LiteRT-LM을 활용한 포팅 작업을 공유합니다. 기존에 사용하던 whisper.cpp의 GPU 가속 문제로 인해 성능 한계를 느꼈으나, LiteRT-LM과 MTP 적용을 통해 빠른 속도를 확보하여 만족스러운 결과를 얻었으며, 관련 벤치마크 결과도 함께 공개했습니다.

핵심 포인트

• 안드로이드 온디바이스 LLM 개발에 초점을 맞추고 있음.
• 기존 whisper.cpp 사용 시 GPU 가속 문제로 속도 개선의 필요성을 느낌.
• LiteRT-LM과 MTP 적용을 통해 성능 향상을 이루었으며, 포팅 작업을 성공적으로 완료함.
• 다양한 모델에 대한 벤치마크 결과를 공유하여 커뮤니티에 도움을 주고자 함.