Morphik: PDF 이미지를 이해하고 로컬에서 실행되는 오픈 소스 RAG

저희는 개발자들이 컨텍스트(어떤 것이든 복잡하고 미묘하더라도)를 AI 애플리케이션에 통합하는 가장 좋은 방법을 구축하고 있습니다. 저희는 비정형 데이터를 저장, 표현 및 검색(얕은 검색과 깊은 검색 모두)할 수 있는 도구 상자를 제공합니다. 엔드투엔드(End-to-End)로 말이죠.

데이터와 상호 작용하는 AI 애플리케이션을 구축한다고 해서 관련성 높은 결과를 LLM에 전달하기 위해 열두 가지 다른 도구를 임시방편으로 연결할 필요는 없습니다.

프로토타입 단계에서 작동하는 전통적인 RAG(Retrieval-Augmented Generation) 접근 방식은 종종 실제 운영 환경에서는 처참하게 실패합니다. 텍스트 추출, OCR(광학 문자 인식), 임베딩(embeddings), 벡터 데이터베이스(vector databases), 검색을 위한 별도의 시스템들을 조합하는 것은 현실 세계의 부하를 견디지 못하고 깨지는 취약한 파이프라인을 만듭니다. 각 구성 요소는 자체적인 API, 설정 및 실패 모드를 가지고 있어, 간단한 데모로 시작했던 것이 규모가 커질수록 유지보수 불가능한 엉망진창이 됩니다.

더 심각한 문제는 이러한 파이프라인들이 시각적으로 풍부한 문서를 이해하는 데 근본적으로 실패한다는 것입니다. 차트는 의미 없는 텍스트 조각이 되고, 중요한 다이어그램은 공간적 관계를 잃습니다. 표는 읽을 수 없는 문자열로 망가집니다. 텍스트와 비주얼이 혼합된 기술 사양서요? 정확성은 기대하지 마세요.

그 결과, AI 애플리케이션들은 문서를 진정으로 이해하지 못했기 때문에 자신감 있게 잘못된 답변을 반환합니다. 그들은 이미지에 내재된 중요한 정보를 놓치고, 기술 다이어그램을 오해하며, 시각 데이터를 사후 처리(afterthought)로 취급합니다. 그리고 성능은요? LLM이 모든 쿼리마다 동일한 500페이지짜리 매뉴얼을 재처리하면서 인프라 비용이 폭발하는 것을 지켜보세요.

Morphik은 개발자들에게 비정형 및 멀티모달(multimodal) 문서를 가져오고, 검색(깊은 검색과 얕은 검색), 변환하고 관리할 수 있는 도구를 제공합니다. 저희 기능 중 일부는 다음과 같습니다:

• 멀티모달 검색 (Multimodal Search): ColPali와 같은 기술을 사용하여 사용자가 제공하는 문서의 시각적 콘텐츠를 실제로 이해하는 검색을 구축합니다. 단일 엔드포인트로 이미지, PDF, 비디오 등에서 검색할 수 있습니다.
• 빠르고 확장 가능한 메타데이터 추출 (Fast and Scalable Metadata Extraction): 바운딩 박스(bounding boxes), 레이블링(labeling), 분류 등을 포함하여 문서에서 메타데이터를 추출합니다.
• 통합 (Integrations): 기존 도구 및 워크플로우와 통합할 수 있습니다. Google Suite, Slack, Confluence 등이 포함되지만 이에 국한되지 않습니다.

Morphik을 시작하는 가장 빠르고 쉬운 방법은 Morphik에서 무료로 가입하는 것입니다. 저희는 관대한 무료 티어를 제공하며, 많은 양의 데이터를 가져오려는 경우 투명하고 컴퓨팅 사용량 기반의 가격 책정을 제공합니다.

만약 Morphik을 자체 호스팅(self-host)하고 싶다면, 다음을 참고할 수 있습니다.