휴대폰에서 미세 조정된 0.8B 비전 모델을 구동하는 영수증 스캐너 (무료) - 상세 비용 추적
요약
사용자가 영수증 사진을 찍어 품목별 지출 내역을 추적하는 안드로이드 앱을 개발했습니다. Qwen3.5 0.8B와 OvisOCR2 모델을 미세 조정하여 상점, 날짜, 총액 및 상세 품목 정보를 JSON 형식으로 추출합니다. 이 앱은 개인 프로젝트로 시작되었으며 무료로 제공됩니다.
핵심 포인트
- 영수증 스캐너를 이용한 지출 내역 추적 앱 개발
- Qwen3.5 0.8B와 OvisOCR2 모델을 미세 조정하여 사용
- 상점, 날짜, 품목별 상세 정보를 JSON 형식으로 추출
- 온디바이스 처리 및 OpenAI API 연동 옵션 제공
영수증을 누구에게도 보내지 않으면서 품목별 식료품 지출 내역을 추적하고 싶어서, 저는 영수증 사진을 찍어 상점, 날짜, 총액, 모든 품목별 항목이 포함된 JSON 형식으로 읽는 작은 비전 모델(vision model)을 기반으로 하는 안드로이드 앱을 만들었습니다. (iOS 버전은 Apple 팀의 검토를 위해 며칠 더 걸릴 예정입니다.) 또한, 대부분의 앱은 "식품(Food)"과 같은 광범위한 카테고리만 허용하지만, 저는 커피에 대한 지출액 150유로와 같이 더 상세하게 분류된 내역을 보고 싶었습니다... 저는 영수증 데이터로 Qwen3.5 0.8B와 OvisOCR2(이 자체도 Qwen3.5 0.8B를 파인튜닝한 모델임)를 미세 조정(fine-tuned)했습니다. 저는 이것을 개인 프로젝트로 발표하고 싶었지만, (절차가 덜 복잡해서) 직장을 통해 진행하기로 결정했습니다. 이 앱은 무료이며 계속 무료로 유지될 것입니다. 프로젝트에 기여하고 싶다면, 더 나은 모델을 위해 영수증 이미지를 기부해 주실 수 있습니다. 또한, 온디바이스(on-device) 처리가 메모리 집약적이라면 사용자 본인의 OpenAI API와 호환되는 서버에 연결할 수 있는 옵션도 있습니다. (앱에서 사용된 모델들은 오픈 소스(자체 서버 사용용)로 공개될 것입니다.) 다양한 기기에서의 피드백을 주시면 감사하겠습니다! 플레이스토어 링크는 /u/Trick_Ad_1135가 제출했습니다. [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기