이번에 어느 서비스의 고객 지원 대응 효율화 목적으로 Agent Search(旧 Vertex AI Search)를 사용하여 RAG 애플리케이션을 만들었습니다.

구체적으로는, 담당자가 검색창에 사용자 문의 내용을 입력하면, 과거 유사 문의 내용을 검색하여 자동으로 답변 문안 생성을 해주는 AI 어시스턴트입니다.

다만, 신규 문의의 경우에는 서비스 웹사이트 내용을 검색하여 답변 문안을 생성합니다.

이 과정에서 Agent Search 내의 'Serve' 설정 항목 중 '답변 커스터마이징(回答のカスタマイズ)' 내용이 출력 정밀도에 상당히 영향을 주었기 때문에, 설정 시 팁을 정리해 드립니다.

최종적으로는 다음과 같은 형태로 사용자 문의 내용을 검색창에 입력하면, 첨부 이미지와 같은 형태로 답변 문안을 생성해 줍니다.

그 결과, 문의 건당 대응 시간을 대폭 줄일 수 있었습니다.

이번 설정 항목인 '답변 커스터마이징'은 시스템 프롬프트(System Prompt)와 혼동될 가능성이 있으므로 개요를 정리하겠습니다.

• 시스템 프롬프트: 일반적인 LLM 모델의 전반적인 동작을 규정하는 최상위 지침
• 답변 커스터마이징: RAG로 취득한 내용으로부터 최종 답변을 정형화/생성할 때의 지침

아래에 답변 정확도가 개선되기 전과 후의 프롬프트를 기재하였는데, 다음 사항들을 의식하여 프롬프트를 개선함으로써 납득할 만한 답변 결과를 출력할 수 있게 되었습니다.

• 역할 고정: [persona]를 사용하여 역할을 고정합니다.
• 지시 구조화: [task], [condition], [format instruction]을 사용하여 지시를 구조화합니다.
• 참조처와 순서 지정: '먼저 과거 QA, 없다면 사이트 FAQ'처럼 탐색 순서를 명시합니다.
• 좋음/나쁨 예시 세트로 제시: 실례로 기준을 제시합니다.
• 출력 형식 고정: 템플릿을 준비하고 가변부를 {답변 문안 생성 내용} 한 곳으로 제한합니다.
• 정량적 제약: '200~300자', '오탈자 없음' 등 검증 가능한 기준으로 제시합니다.

프롬프트 작성 시에는 Google Cloud 공식의 다음 영상이 매우 참고가 되었습니다.

고객 문의에 답변해 주세요.
문의 내용: {문의 내용}

[persona]
당신은 [서비스명]이라는 [서비스 종류]의 고객 지원 AI 어시스턴트입니다.
다음 태스크를 수행해 주세요.
...

이번에 Agent Search를 활용하여 서비스의 고객 지원 생산성을 향상할 수 있었던 것은 저에게도 보람을 느낄 수 있는 일이었습니다.

실제로 담당자분께 감사하다는 말씀을 들은 것이 매우 기뻤습니다.

AI 관련 개발에 참여하는 것은 처음이었지만, Google Skills나 Google Cloud 공식 영상을 활용하여 기초를 학습하며 개발을 진행할 수 있었던 점이 좋았습니다.

• 検索拡張生成（RAG）とは | Google Cloud
• Google Cloud での生成 AI アプリの作成 | Google Skills for Partners
• エージェント検索 | Agent Search | Google Cloud Documentation
• 今さら聞けない！ベクトル検索超入門 〜データベース ユーザーは何をおさえておけばいいのか？〜 - YouTube
• Cloud Run で構築する生成 AI アプリと RAG の実践 - YouTube
• Vertex AI Search を使った社内向け AI チャット サービスの構築 - YouTube
• サイト内の検索コストを大幅削減！日本最大級のデリバリー サービス「出前館」に Vertex AI Search を導入した話 - YouTube
• BtoB 大企業の内製ベクトル検索エンジン: Vertex AI Vector Search 移行と高付加価値への挑戦 - YouTube
• AI のプロンプト エンジニアリング ガイド | Google Cloud
• Best practices for prompt engineering | Google Cloud Blog
• Generative AI prompt samples | Generative AI on Vertex AI | Google Cloud Documentation
• 大規模言語モデル（LLM）をビジネス アプリケーションで活用するための基礎知識と現実的なアプローチ - YouTube