지난 기사에서는 Databricks AI Search의 인덱스 생성부터 유사도 검색(similarity search)까지를 Free Edition으로 실행했습니다. 검색 결과에는 chunk_id와 text만 반환되었지만, RAG(Retrieval-Augmented Generation)를 사용하는 경우 "이 답변은 어떤 파일에서 가져왔는가"라는 출처 정보도 필요하게 됩니다.

이 기사에서는 소스 테이블에 source_file과 source_url 컬럼을 추가하는 것만으로, similarity_search() 결과에 출처 정보를 포함할 수 있음을 데모합니다.

similarity_search()는 소스 테이블에 존재하는 컬럼이라면 무엇이든 반환할 수 있습니다. 인덱스 생성 시 특별한 옵션을 지정할 필요는 없습니다.

해야 할 일은 두 가지뿐입니다.

• 소스 테이블에 메타데이터 컬럼(source_file, source_url 등)을 추가한다
• similarity_search()의 columns 인수에 해당 컬럼명을 포함한다

Query a vector search index [...] You can specify a set of columns to return.

• Databricks Community Cloud (Free Edition)
• 컴퓨팅: Serverless Starter Warehouse
• 검증일: 2026년 7월 19일
• 지난 기사에서 생성한 AI Search 엔드포인트 mcp-demo를 재사용

지난번과 동일한 샘플 데이터(samples.bakehouse.media_gold_reviews_chunked)를 사용하여, source_file과 source_url 컬럼을 추가한 테이블을 생성합니다.

%sql
CREATE OR REPLACE TABLE demo_catalog.ai_search_demo.reviews_with_source AS
SELECT
...

지난번 테이블(chunk_id와 text 2개 컬럼)에 대해, 이번에는 source_file(파일명을 나타내는 고정 문자열)과 source_url(원본 데이터의 review_uri를 유용)을 추가했습니다.

테이블을 확인하면 4개 컬럼(chunk_id, text, source_file, source_url)이 저장되어 있습니다. 모든 행의 source_file에는 bakehouse_media_reviews가, source_url에는 원본 데이터의 S3 경로가 들어 있습니다.

인덱스 생성 코드는 지난번과 거의 동일합니다. source_table_name에 새로운 테이블을 지정하고, index_name을 바꾸기만 하면 됩니다. 메타데이터 컬럼을 위한 특별한 지정은 없습니다.

%pip install databricks-vectorsearch --quiet

dbutils.library.restartPython()

from databricks.vector_search.client import VectorSearchClient
vsc = VectorSearchClient(disable_notice=True)
vsc.create_delta_sync_index(
...

지난 기사에서 엔드포인트 mcp-demo는 이미 생성되어 있었기 때문에, 엔드포인트 프로비저닝 대기 없이 몇 분 만에 인덱스가 온라인 상태가 되었습니다.

describe()로 상태를 확인하면 ONLINE_NO_PENDING_UPDATE(준비 완료) 상태입니다. indexed_row_count는 16입니다.

similarity_search()의 columns에 source_file과 source_url을 추가하기만 하면 됩니다.

results = idx.similarity_search(
columns=["chunk_id", "text", "source_file", "source_url"],
query_text="best bakery experience",
...

결과(results)의 manifest에는 5개 컬럼(chunk_id, text, source_file, source_url, score)이 포함되어 있습니다.

각 결과 행에는 리뷰 텍스트와 함께 source_file (bakehouse_media_reviews) 및 source_url (S3 상의 데이터 경로)이 반환됩니다. 이를 통해 "이 검색 결과가 어떤 파일과 어떤 URL에서 왔는지"를 판별할 수 있습니다.

이전 글과 이번 글의 차이점을 정리합니다.

인덱스 생성 측면에서는 아무런 변경이 없다는 점이 핵심입니다. 소스 테이블에 컬럼을 추가하는 것만으로 검색 결과에 출처가 포함되도록 할 수 있습니다.

RAG (Retrieval-Augmented Generation) 파이프라인에서는 검색 결과의 텍스트뿐만 아니라 "어디에서 인용했는지"를 사용자에게 보여줌으로써 답변의 신뢰성을 높일 수 있습니다.

# 검색 결과로부터 출처가 포함된 컨텍스트를 구축하는 예시
for row in results["result"]["data_array":]
chunk_id, text, source_file, source_url, score = row
...

source_file에는 용도에 맞는 값을 넣을 수 있습니다.

• similarity_search()는 소스 테이블에 존재하는 컬럼이라면 무엇이든 반환할 수 있습니다.
• 출처 정보를 포함하려면 소스 테이블에 source_file 등의 컬럼을 추가하고, columns 인자에서 지정하기만 하면 됩니다.
• 인덱스 생성 시 특별한 옵션은 필요하지 않습니다.
• RAG 파이프라인에서 "어디에서 인용했는지"를 사용자에게 제시할 수 있어 답변의 신뢰성 향상에 도움이 됩니다.

본 기사의 기술 기술은 2026년 7월 시점의 공식 문서를 바탕으로 합니다. AI Search는 GA(General Availability) 상태이며, 패키지 명칭의 이전 (databricks-vectorsearch → databricks-ai-search)이 진행 중이므로 향후 사양이 변경될 가능성이 있습니다.