rails g migration AddEmbeddingsToDocuments # db/migrate/20260506120000_add_embeddings_to_documents.rb

class AddEmbeddingsToDocuments < ActiveRecord::Migration[8.0]
  def change
    # 1. Postgres 확장(extension) 활성화
    enable_extension "vector"

    # 2. 컬럼 추가. OpenAI의 표준 모델은 1536 차원(dimensions)을 출력합니다.
    add_column :documents, :embedding, :vector, limit: 1536
  end
end

# app/models/document.rb
class Document < ApplicationRecord
  has_neighbors :embedding
end

# app/services/embedding_service.rb
class EmbeddingService
  def self.generate(document)
    client = OpenAI::Client.new(access_token: ENV['OPENAI_API_KEY'])
    response = client.embeddings(
      parameters: {
        model: "text-embedding-3-small",
        input: document.content
      }
    )

    # 1536개의 부동 소수점(floats) 배열 추출
    vector = response.dig("data", 0, "embedding")

    # Postgres 컬럼에 직접 저장
    document.update!(embedding: vector)
  end
end

# app/services/rag_search_service.rb
class RagSearchService
  def self.search(question)
    client = OpenAI::Client.new(access_token: ENV['OPENAI_API_KEY'])

    # 1. 질문을 좌표로 변환
    question_vector = client.embeddings(
      parameters: {
        model: "text-embedding-3-small",
        input: question
      }
    ).dig("data", 0, "embedding")

    # 2.

Postgres에게 가장 가까운 문서 3개를 찾도록 요청합니다. # "inner_product"는 OpenAI 임베딩 (embeddings)에 가장 빠른 거리 측정 지표 (distance metric)입니다.

relevant_docs = Document
  .nearest_neighbors(:embedding, question_vector, distance: "inner_product")
  .limit(3)

relevant_docs
end
end

neighbor 젬 (gem) 덕분에, 벡터 검색이 표준 ActiveRecord 쿼리와 완전히 똑같이 느껴집니다!

STEP 4: RAG 프롬프트 (RAG Prompt)
사용자의 질문이 있고, 정답을 포함하고 있는 3개의 문서가 있습니다. 이제 이것들을 하나의 거대한 프롬프트로 합쳐서 ChatGPT에 보내 인간처럼 들리는 응답을 생성하게 합니다.

# app/controllers/chats_controller.rb
class ChatsController < ApplicationController
  def create
    user_question = params[:question]

    # 1. Postgres에서 관련 데이터를 가져옵니다.
    docs = RagSearchService.search(user_question)

    # 2. 컨텍스트 (context) 문자열을 구축합니다.
    context = docs.map(&:content).join(" \n\n --- \n\n ")

    # 3. RAG 프롬프트를 구축합니다.
    system_prompt = <<~ PROMPT
      You are a helpful company assistant. Answer the user's question using ONLY the context provided below. If the answer is not in the context, say "I don't know."

      CONTEXT:
      #{context}
    PROMPT

    # 4. AI에게 요청합니다.
    client = OpenAI::Client.new(access_token: ENV['OPENAI_API_KEY'])
    response = client.chat(parameters: {
      model: "gpt-4o",
      messages: [
        { role: "system", content: system_prompt },
        { role: "user", content: user_question }
      ]
    })

    @answer = response.dig("choices", 0, "message", "content")

    # 여기에 Hotwire 뷰를 렌더링합니다...
  end
end

요약
수십억 달러 규모의 전체 "RAG" 산업은 이 믿을 수 없을 정도로 단순한 파이프라인(pipeline)으로 귀결됩니다:

텍스트 (Text) -> OpenAI -> 숫자 (Numbers, Postgres에 저장됨).
질문 (Question) -> OpenAI -> 숫자 (Numbers).
neighbor를 사용하여 Postgres에서 가장 가까운 숫자를 찾습니다.
질문 + 찾은 텍스트를 보냅니다 -> OpenAI -> 최종 답변 (Final Answer).

pgvector와 ActiveRecord를 활용함으로써, 우리는 스택 (stack)에 완전히 새로운 인프라 조각을 추가하는 것을 피할 수 있습니다.

여러분의 AI 데이터는 사용자 데이터 바로 옆에 존재하며, 함께 백업되고, 여러분이 이미 알고 있고 애정하는 동일한 Ruby 구문을 사용하여 쿼리(query)됩니다. "One Person Framework"가 다시 한번 빛을 발하는 순간입니다.