이미지, 비디오도 읽는 AI를 Ollama로 로컬에서 구동 가능하며 다른 2가지 모델

회의 슬라이드 사진이나 화면 녹화를 AI에 읽히고 싶다. 하지만 외부 서비스에는 내보내고 싶지 않다. 코딩 에이전트에게 '이런 에이전트를 만들어 달라'고 부탁했더니 '완성했습니다'라는 답변이 돌아왔다. 하지만 정말 작동하는지는 알 수 없다. 사내 검색에서 짧은 키워드에도 긴 질문에도 강하게 하려고 하자, 구조가 두 개로 늘어나 버린다.

오늘은 이 세 가지와 관련된 이야기를 다룹니다.

오늘 소개할 3가지 주제

• MiniCPM-V 4.7 (OpenBMB) — 이미지, 비디오, 문서를 읽는 공개 모델입니다. 전체 크기는 35B이지만, 단어(token) 단위로 작동하는 부분은 3B 정도만 합니다. 다만 로컬에서 구동하려면 약 22GB의 파일을 통째로 놓아야 하며, 메모리 32GB급 PC가 적정합니다. 1.8GB짜리 1B 버전도 있습니다. - AgentSWE (BAAI 등) — 코딩 에이전트에게 '에이전트를 만들게 하는' 능력을 측정하는 테스트입니다. 제로(zero) 상태에서 만들 경우, 보여주지 않은 사례에서는 만점 100점 중 평균 11.2점을 받았습니다. '완성했습니다'라는 보고가 기록과 다른 경우가 자주 발생합니다. - UIBK-Embedding-v1 (인스브루크 대학) — 문서 전체로 비교하는 검색 방식과 단어 단위로 대조하는 검색 방식을 하나의 인덱스로 동시에 처리하는 영어용 검색 모델입니다. 179M으로 작습니다. 한국어에는 사용할 수 없습니다.

1. 이미지와 비디오를 읽는 모델을 로컬 PC에서 구동 가능 (기준 메모리 32GB)

간단히 말하면: 이미지, 비디오, 문서를 읽는 공개 모델입니다. 전체 크기는 35B이지만, 단어 단위로 작동하는 부분은 3B 정도만 합니다.

무엇이 바뀌었나?

시리즈 최초로, 전체 중 일부만을 단어 단위로 구동하는 구조(MoE)가 되었습니다.

로컬에서 구동 가능한가?

작동하는 부분은 3B지만, 가중치(weight)는 전부 놓아두어야 합니다. 4비트 버전은 21.2GB이며, 이미지 인식 부품(1.12GB)도 필요합니다. 필요한 메모리는 공식적으로 명시되어 있지 않으나, 메모리 32GB급이 적정합니다 (필자의 추측).

공식에서 언급한 'iPhone에서 메모리 3GB, 초당 13단어 이상'은 가중치를 스토리지에서 미리 읽는 전용 버전의 llama.cpp를 사용한 결과입니다. 일반적인 Ollama로는 동일하게 나오지 않습니다.

ollama run openbmb/minicpm-v4.7 # 35B-A3B
ollama run openbmb/minicpm-v4.7:1b # 1B

사용해 보고 싶은 부분:

• 성능은 OpenBMB 자체 그래프만입니다. 이미지 이해 테스트 5가지 평균에서 Qwen3.6 35B-A3B보다 높은 점수를 짧은 시간 안에 받았다고 합니다. 깊이 생각하는 모드의 타사 모델에는 점수 면에서 밀립니다.
• 한국어 대응이나 평가 내용은 작성되어 있지 않습니다.

시도해 보기: 개인적으로 바로 시도할 수 있습니다. Ollama 또는 llama.cpp로 구동 가능합니다. 메모리가 부족하면 1B 버전부터 시작하세요.

회사에서 사용한다면: Apache-2.0 라이선스입니다. 외부로 내보낼 수 없는 이미지나 문서를 로컬에서 읽게 할 후보가 될 수 있습니다. 한국어는 자체 자료로 확인한 후 사용하는 것이 좋습니다.

출처:

저자는 BAAI(베이징 지위안 인공지능 연구원) 등의 연구자입니다. 다만 채점 역할을 하는 AI는 제작진 일부와 같은 계열이며, 각 조합에 대해 한 번씩의 결과가 나옵니다.

사용해 보기: 조건부로 시도할 수 있습니다. Linux(x86-64), Docker, Python 3.10 이상이 필요합니다. 추천하는 것은 8가지 과제의 경량 버전(Lite)입니다. DeepSeek API 키 하나만으로 제작진, 만들어진 에이전트가 호출하는 모델, 채점 역할을 모두 처리할 수 있습니다. 첫 준비 및 동작 확인에만 25~45분 정도 걸립니다. 기능 추가 과제는 관리자 권한이 필요하며, 동작 확인에 최대 2시간 정도 소요됩니다. API 요금의 예상치는 공개되지 않았습니다.

회사에서 사용한다면: 에이전트 제작을 맡겼더라도 '완료되었습니다'라는 말을 믿지 말고, 보여주지 않은 사례로 검수해야 합니다. 이것이 근거가 됩니다.

출처: "AgentSWE: Can Coding Agents Build the Agent You Actually Want?" / Jiahao Wang, Zheng Liu 외(BAAI 등) / 2026-10-09 / https://arxiv.org/abs/2610.13361

3. 영어 문서 검색에서 두 가지 검색 방식을 하나의 인덱스로 처리 가능

간단히 말하면: 문장 전체로 비교하는 검색 방식과 단어별로 대조하는 검색 방식을 하나의 인덱스에서 동시에 수행할 수 있는 영어용 소형 모델입니다.

무엇이 바뀌었나?

문장 전체를 모아서 비교하는 방식은 긴 질문에, 단어별로 대조하는 방식은 고유명사 찾기에 강합니다. 두 가지를 모두 사용하려면 보통 모델과 인덱스가 2개 필요했습니다.

단어별 정보 열에 '문장 전체 요약'을 3가지 삽입한 것이 핵심이며, 검색 한 번으로 두 가지 방식을 합친 점이 특징입니다.

인덱스는 작지만, 검색은 느려집니다. 검색 테스트(BEIR) 평균에서는 단어별 방식만 사용한 모델을 능가했습니다. 수치는 저자가 직접 측정한 것입니다.

설치 방법: pip install pylate

이후,

from pylate import models
model = models.ColBERT("DataScience-UIBK/uibk-embedding-v1", trust_remote_code=True)

참고할 만한 점

• 영어 전용입니다. 일본어 문서에는 사용할 수 없습니다.
• 요약 방식만 사용한 인덱스(169MiB)보다 3배 이상 크다.

사용해 보기: 개인적으로 바로 시도할 수 있습니다. 179M으로 소형이며, 인덱스를 만드는 데 사용하는 FastPLAID는 CPU에서도 작동합니다. CPU에서의 속도는 측정되지 않았습니다.

회사에서 사용한다면: Apache-2.0 라이선스입니다. 영어 매뉴얼의 사내 검색을 한 곳에 모으고 싶을 때 유용합니다. 포함된 코드 실행 허가가 필요합니다.

출처: "UIBK-Embedding-v1: A Dense and a Late-Interaction Retriever in One Model, One Index and One Search" / Abdelrahman Abdallah(인스브루크 대학교) / 2026-10-12 / https://huggingface.co/blog/abdoelsayed/uibk-embedding-v1

Discussion