NutriLens: 패키지 식품 라벨을 실시간으로 감사하는 멀티모달 AI 에이전트

우리가 구축한 것:

NutriLens는 Google의 Gemma 4 모델로 구동되며 Agent Skill Open Standard (agentskills.io)에 따라 엄격하게 구축된, 오픈 소스 기반의 엣지 우선(edge-first) 멀티모달 AI 에이전트입니다. NutriLens는 영양 정보 패널을 읽고, 포장재 광고 문구를 검증하며, 숨겨진 혈당 감미료를 식별하고, 자동화된 클레임 무결성 점수(Claim Integrity Score, 0–100)를 계산합니다.

일반적인 식품 스캔 앱과 달리, NutriLens는 멀티모달 비전 인식 능력에 결정론적 Python 검증을 결합하여, LLM의 산술 연산에 의존하지 않고 수학 및 규제 확인이 100% 정확함을 보장합니다.

구축 방법:
NutriLens는 클라우드 장애 복구(cloud failover) 기능을 갖춘 제로 지연 시간(zero-latency) 엣지 컴퓨팅을 위해 설계된 이중 엔진 하이브리드 아키텍처를 사용합니다:

┌─────────────────────────────────────────────────────────┐
│ 사용자 입력 (포장재 사진) │
└────────────────────────────┬────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────┐
│ 이중 추론 엔진 (harness/engine.py) │
│ • 엣지 모드: Ollama를 통한 로컬 RTX 3050 (6GB VRAM) │
│ • 클라우드 모드: Google Gemini API를 통한 Gemma 4 │
└────────────────────────────┬────────────────────────────┘
│ 추출된 JSON
▼
┌─────────────────────────────────────────────────────────┐
│ 에이전트 스킬 엔진 (skills/nutrilens-auditor/) │
│ • SKILL.md (Agent Skill Open Standard Spec) │
│ • macro_verifier.py (Atwater 4:4:9 계수 수학) │
│ • glycemic_index.json (숨겨진 설탕 교차 참조) │
└────────────────────────────┬────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────┐
│ Streamlit 대시보드 및 규정 준수 점수표 │
└─────────────────────────────────────────────────────────┘

사용된 기술 및 도구:

AI 및 멀티모달 인텔리전스: Gemma 4 (Google Gemini API 및 로컬 Ollama 가중치 이용)

에이전트 프레임워크: Agent Skill Open Standard (agentskills.io)

백엔드 API: FastAPI & Uvicorn

프론트엔드 UI: Streamlit

로컬 하드웨어 최적화: NVIDIA RTX 3050 (6GB VRAM)에서 양자화된 가중치(quantized weights) 실행

품질 보증 및 테스트: Pytest & GitHub Actions CI/CD

라이선스: Apache License 2.0

youtube 링크

[

]

github

[https://github.com/venky829/hacktoberfest-hack-day-coimbatore-x-init-club-and-idea-club/tree/main#open-source-and-ai-usage]