Soul QA Bot: 오프라인에서도 작동하는 더 스마트한 AI

Kaggle 벤치마킹 챌린지 제출물

제가 벤치마크한 내용

이것은 인터넷 연결 유무와 관계없이 작동할 수 있는 스마트 AI 어시스턴트입니다. 문제 해결, 간단한 코드 작성, 작업 요약, 심지어 오프라인 모드에서도 전 세계 정보를 제공할 수 있습니다. 하지만 단점도 하나 있는데, 인터넷 없이는 실시간(live) 정보는 제공할 수 없습니다.
저는 이 시스템을 여동생을 위해 만들었습니다. 그녀가 학업에 AI가 필요하지만, 비싼 AI 모델 구독료를 구매할 수 없고, 다양한 작업에 AI가 필요한 학생들이 많지만 감당하기 어려운 상황입니다. 그래서 인터넷 연결 유무와 관계없이 작동하는 AI를 개발했습니다.

테스트한 모델

제 컴퓨터의 RAM이 "gemma4:e2b" 같은 대규모 모델을 구동하기에는 너무 낮았기 때문에 "gemma3:1b" 모델을 사용했습니다.

발견 사항 (Findings)

제로 비용 접근성: 10억 개의 파라미터를 가진 Gemma 3 모델은 소비자용 학생 노트북에서 약 820MB의 메모리 용량으로 원활하게 실행됨을 입증했습니다. 이는 고품질 학업 지원이 값비싼 서버 측 GPU나 활성화된 API 토큰 비용을 필요로 하지 않음을 의미합니다.

• 복원력 있는 라우팅 효과성: 하이브리드 연결 계층(hybrid connectivity layer)을 평가한 결과, 로컬 폴백 아키텍처(local fallback architectures)가 인터넷 끊김 상황에서도 핵심적인 학생 워크플로우(요약, 코딩 등)를 애플리케이션 충돌 오류 없이 성공적으로 유지할 수 있음을 입증했습니다.
• 실시간 트레이드오프: 로컬에서 Gemma 3을 실행하는 것은 정적 논리(static logic) 처리는 완벽하게 수행하지만, 이 벤치마크는 시간 민감형 질의(예: 실시간 로컬 업데이트)에 대해서는 온라인 라우팅 계층에 대한 엄격한 의존성을 보여줍니다. 이는 경량화된 로컬 모델이 정확히 어떤 부분에서 하이브리드 네트워크 지원을 필요로 하는지 명확하게 보여주었습니다.

저의 벤치마크