TensorAgent의 로컬 멀티모달 인덱싱: 에이전트가 문서를 비롯한 이미지, 오디오, 비디오를 검색할 수 있도록 구현하기

저는 TensorSharp의 개발자입니다. 제가 TensorAgent에서 작업하고 있는 기능 중 하나는 다양한 종류의 파일(문서, CSV, 이미지, 오디오, 비디오)을 검색 가능한 컬렉션으로 통합하는 로컬 지식 기반입니다. 이 아이디어는 정보가 여러 파일 형식에 흩어져 있더라도 원본 출처와의 연결성을 유지하면서 에이전트가 접근할 수 있도록 만드는 것입니다.

인덱싱 작동 방식
문서와 CSV 파일은 추출된 텍스트 및 구조화된 콘텐츠를 기여합니다. 이미지는 호환 가능한 비전 모델을 통해 설명과 가시적인 텍스트를 제공할 수 있습니다. 지원되는 오디오는 호환 가능한 오디오 모델을 통해 전사(transcribed)된 콘텐츠를 기여할 수 있습니다. 비디오는 샘플링된 프레임에서 정보를 기여합니다. 사운드트랙은 인덱싱되지 않습니다. 이러한 추출된 표현(representation)이 로컬에서 검색 가능해집니다. 검색(Retrieval)은 기본적으로 BM25를 사용하며, 선택적으로 임베딩을 사용할 수 있습니다. 이는 모든 모달리티가 하나의 공유 벡터 공간에 직접 임베딩된다는 주장은 아닙니다. 커버리지는 명시적입니다: 미디어 추출은 부분적일 수 있으며, 파일을 인덱싱한다고 해서 그 안에 있는 모든 세부 사항이 이해되었다는 의미는 아닙니다. 또한 컬렉션은 각 대화마다 명시적으로 활성화되어야 합니다.

인덱스에서 에이전트 작업으로
첨부된 워크스루(walkthrough)는 가상의 카페 캠페인을 사용합니다. 하나의 PDF 파일은 15% 할인을 지정하는 반면, 포스터는 20%를 광고합니다. 설명된 워크플로우는 상충되는 증거를 검색하고, 전체 판매 CSV 파일을 열어 계산하며, 출처가 연결된 실행 계획을 생성합니다. 이 구분이 중요합니다: 검색은 증거를 찾는 데 도움을 주지만, 원본 파일에 대한 접근은 소수의 검색된 행(row) 대신 완전한 데이터 세트를 사용하여 계산을 수행할 수 있게 합니다.

비디오 공개 정보: 본 것은 실제 TensorAgent UI와 합성 데이터, 스크립트화된 응답을 사용한 83초 분량의 시연이며, 라이브 모델 실행이나 벤치마크는 아닙니다. 계산은 Python에서 독립적으로 확인되었습니다.

GitHub · Knowledge Base 문서
사용자 자신의 로컬 파일에 대해, 가장 중요하게 고려해야 할 인덱싱 과제는 무엇인가요: 이미지 속 텍스트, 오디오 전사, 비디오 프레임 커버리지, 아니면 이 모든 것에서 증거를 검색하는 것일까요?

제출자: /u/fuzhongkai [링크] [댓글]