Hysia Video to Retail Platform

<h1 align="center"> Hysia Video to Retail Platform </h1>

_{* 본 프로젝트는 Cloud Application and Platform Lab에서 주도하며, Prof. Yonggang Wen의 지원을 받았습니다.}

<p align="center"> <a href="https://www.python.org/downloads/release/python-369/" title="python version"><img src="https://img.shields.io/badge/Python-3.6%2B-blue.svg"></a> <a href="https://travis-ci.com/cap-ntu/Video-to-Retail-Platform" title="Build Status"><img src="https://travis-ci.com/cap-ntu/Video-to-Retail-Platform.svg?branch=hysia_v2"></a> <a href="https://app.fossa.com/projects/git%2Bgithub.com%2Fcap-ntu%2FVideo-to-Online-Platform?ref=badge_shield" alt="FOSSA Status"><img src="https://app.fossa.com/api/projects/git%2Bgithub.com%2Fcap-ntu%2FVideo-to-Online-Platform.svg?type=shield"/></a> <a href="https://codebeat.co/projects/github-com-cap-ntu-video-to-online-platform-master"><img alt="codebeat badge" src="https://codebeat.co/badges/a29fe416-0b03-4c2a-b416-287337e96c63" /></a> <a href="https://github.com/cap-ntu/Video-to-Online-Platform/graphs/commit-activity" title="Maintenance"><img src="https://img.shields.io/badge/Maintained%3F-YES-yellow.svg"></a> <a href="https://gitter.im/Video-to-Online-Platform/community?utm_source=badge&utm_medium=badge&utm_campaign=pr-badge" title="Gitter"><img src="https://badges.gitter.im/Video-to-Online-Platform/community.svg"></a> <a href="https://hub.docker.com/repository/docker/hysia/hysia"><img src="https://img.shields.io/docker/image-size/hysia/hysia/v2o"/></a> </p>

비디오, 제품 및 광고 분석을 위한 지능형 멀티모달 학습 기반 시스템입니다. 이 시스템을 사용하여 제품 추천(product recommendation), 비디오 검색(video retrieval) 등 다양한 다운스트림 애플리케이션을 구축할 수 있습니다. 몇 가지 예시가 제공됩니다.

현재 시스템은 활발하게 개발 중입니다. 이슈나 풀 리퀘스트를 여기에 생성해 주시면 감사하겠습니다. 다음 버전에 반영하여 크레딧을 표기하겠습니다.

hysia-block-diagram

<p align="center"> <a href="#showcase">쇼케이스</a> • <a href="#features">기능</a> • <a href="#setup-environment">환경 설정</a> • <a href="#configuration">구성</a> • <a href="#demo">데모</a> • <a href="#paper-citation">인용</a> </p>

뉴스

• (2020-08) 본 작업은 ACMMM2020에서 오픈 소스 경진 대회 논문으로 채택되었습니다!
• (2020-05) Docker 이미지가 업데이트되었습니다.
• (2020-05) 모델을 시스템에 쉽게 바인딩할 수 있습니다.

쇼케이스

:point_right: 쇼케이스 전체 목록입니다.

<ol> <li> 비디오를 업로드하고 다양한 모델을 선택하여 처리합니다.

select-models

</li> <li> 비디오 처리 결과를 표시합니다.

display-analytic-result

</li> <li> 이미지와 텍스트로 장면 검색을 수행합니다.

search-result

</li>

view-ads

</li> </ol>

기능

• 멀티모달 학습 기반 비디오 분석:
  • 장면 / 객체 / 얼굴 감지 및 인식
  • 멀티모달 데이터 전처리
  • 결과 정렬 및 저장
• 다운스트림 응용 프로그램:
  • 지능형 광고 삽입
  • 콘텐츠-제품 매칭
• 시각화된 테스트베드
  • 멀티모달 결과 시각화
  • 별도로 설치 가능

환경 설정

1. 데이터 다운로드

:point_right: Google Drive 접근 불가의 경우.

2. 설치

:point_right: Docker를 사용하여 설치합니다 :whale:

구성

디코더와 모델 서버 실행 장치는 device_placement.yml에서 변경할 수 있습니다:

장치 값 형식: cpu, cuda 또는 cuda:<int>입니다.

데모

Docker로 실행합니다 :whale:

그러면 http://localhost:8000으로 이동할 수 있습니다. 사용자 이름은 admin, 비밀번호는 admin을 사용하여 로그인하세요.

유용한 도구 (Some Useful Tools)

• 대규모 데이터셋 전처리
• 비디오/오디오 디코딩
• 모델 프로파일링
• 멀티모달리티(Multimodality) 데이터 테스트베드

기여 (Contributing)

Hysia에 기여해 주시면 환영합니다! 시작하려면 여기를 참조하세요.

논문 인용 (Paper Citation)

작품에서 Hysia를 사용하신다면, 다음을 인용해 주시면 매우 감사하겠습니다.

저희 소개 (About Us)

유지보수자 (Maintainers)

• Huaizheng Zhang :octocat:
• Yuanming Li :octocat:
• Qiming Ai :octocat:

이전 기여자 (Previous Contributors)

• Shengsheng Zhou :octocat:
• Wenbo Jiang (현재 Shopee) :octocat:
• Ziyuan Liu (현재 Tencent) :octocat:
• Yongjie Wang (현재 NTU 박사 과정) :octocat: