nvidia/Nemotron-3.5-Embed-1B-BF16 · Hugging Face

Nemotron-3.5-Embed-1B-BF16은 NVIDIA가 개발한 다중 모드(multimodal) 및 다국어 질의응답 검색용 임베딩 모델입니다. 이 모델은 이미지, 텍스트 또는 결합된 이미지–텍스트 형태의 문서 페이지를 임베딩할 수 있습니다. 사용자가 텍스트 형태로 질문을 제시하면 문서를 검색할 수 있습니다. 이 모델은 텍스트가 포함된 페이지 이미지, 표(tables), 차트(charts), 인포그래픽(infographics) 등을 지원합니다.

텍스트 검색의 경우, 영어(English), 아랍어(Arabic), 아삼어(Assamese), 벵골어(Bengali), 불가리아어(Bulgarian), 중국어(Chinese), 덴마크어(Danish), 네덜란드어(Dutch), 핀란드어(Finnish), 프랑스어(French), 독일어(German), 힌디어(Hindi), 힝글리시(Hinglish), 인도네시아어(Indonesian), 이탈리아어(Italian), 일본어(Japanese), 한국어(Korean), 말레이어(Malay), 마라티어(Marathi), 네팔어(Nepali), 노르웨이어(Norwegian), 페르시아어(Persian), 포르투갈어(Portuguese), 루마니아어(Romanian), 러시아어(Russian), 스페인어(Spanish), 스와힐리어(Swahili), 스웨덴어(Swedish), 타밀어(Tamil), 텔루구어(Telugu), 태국어(Thai), 우크라이나어(Ukrainian), 우르두어(Urdu), 베트남어(Vietnamese) 등 34개 언어에 걸쳐 평가되었습니다. 이미지 검색의 경우, 아랍어(Arabic), 벵골어(Bengali), 중국어(Chinese), 영어(English), 페르시아어(Persian), 핀란드어(Finnish), 프랑스어(French), 독일어(German), 힌디어(Hindi), 인도네시아어(Indonesian), 일본어(Japanese), 한국어(Korean), 러시아어(Russian), 스페인어(Spanish), 스와힐리어(Swahili), 텔루구어(Telugu), 태국어(Thai), 요루바어(Yoruba) 등 18개 언어에 걸쳐 평가되었습니다. 이 모델은 이러한 평가 세트 외의 추가 언어를 지원할 수 있습니다. 본 모델은 상업적 또는 비상업적 사용이 가능합니다. https://huggingface.co/nvidia/Nemotron-3.5-Embed-8B-BF16

사용 사례: Nemotron-3.5-Embed-8B-BF16은 대규모 코퍼스에 걸쳐 다중 모드 질의응답 애플리케이션을 구축하고자 하며, 최신 밀집 검색 기술(dense retrieval technology)을 활용하려는 사용자에게 적합합니다. 이 모델의 입력은 텍스트 또는 문서 이미지이며, 출력은 고정 크기의 임베딩 벡터입니다. 이 임베딩 모델은 텍스트 형식의 컨텍스트(예: 질문 또는 페이지나 문서 섹션의 OCR 텍스트)나 문서 페이지 이미지를 지원하는 바이인코더(bi-encoder)입니다. 일반적으로, 임베딩 모델은 전체 코퍼스(문서 이미지 또는 텍스트 청크)를 먼저 임베딩(벡터화)하는 데 사용되며, 생성된 임베딩은 원본 콘텐츠(이미지 또는 텍스트)와 연결된 벡터 데이터베이스에 저장됩니다. 그런 다음 추론 시간(inference time)에 이 임베딩 모델을 사용하여 질문을 임베딩합니다.

해당 모델은 텍스트 또는 이미지 입력으로부터 밀집 벡터 임베딩(dense vector embeddings)을 생성하여 멀티모달 검색, 시맨틱 검색, 그리고 (에이전트 기반) RAG 워크플로우를 가능하게 합니다. /u/jacek2023 제출 [링크] [댓글]