검색 증강 생성 (Retrieval-Augmented Generation) a.k.a. RAG 이란 무엇인가?

편집자 주: 본 기사는 2023 년 11 월 15 일에 처음 게재되었으며, 업데이트되었습니다.

생성형 AI 의 최신 발전을 이해하려면 법정을 상상해 보세요.

판사들은 법률에 대한 일반적인 이해를 바탕으로 사건을 듣고 판결합니다. 때로는 전문적인 지식이 필요한 사건 — 예를 들어 의료 과실 소송이나 노무 분쟁 — 이 발생하면 판사는 법원 서기에게 전임법원에 precedents(선례) 와 특정 사례를 인용할 수 있는 자료를 찾아보도록 보냅니다.

좋은 판사와 마찬가지로, 대규모 언어 모델 (LLMs: Large Language Models) 은 다양한 인간의 질문에도 응답할 수 있습니다. 하지만 구체적인 재판 절차나 유사한 사건에 근거한 권위 있는 답변을 제공하려면 해당 정보가 모델에 제공되어야 합니다.

AI 의 법원 서기는 검색 증강 생성 (retrieval-augmented generation) 이라고 불리는 프로세스이며, 이를 줄여서 RAG 라고 합니다.

'RAG'라는 이름의 유래

2020 년 용어를 창안한 논문의 저자인 패트릭 루이스 (Patrick Lewis) 는 현재 수백 편의 논문과 수십 개의 상업적 서비스를 통해 확장되고 있는 방법론을 설명하는 불쾌한 약어가 되었다는 점에 대해 사과했습니다. 그는 이 기술들이 생성형 AI 의 미래를 대표한다고 믿습니다.

"우리의 작업이 이렇게 널리 퍼질 것이라고 알았다면, 이름에 대해 더 많은 고민을 했을 것입니다."라고 루이스는 싱가포르에서 데이터베이스 개발자 지역 컨퍼런스와 자신의 아이디어를 공유하던 자리에서 인터뷰했습니다.

"우리는 항상 더 나은 소리가 나는 이름을 계획했지만, 논문을 작성할 때가 되었을 때 누구도 더 좋은 아이디어가 없었습니다."라고 현재 AI 스타트업 코히어 (Cohere) 에서 RAG 팀을 이끄는 루이스는 말했습니다.

그렇다면 검색 증강 생성 (RAG) 이란 무엇인가?

검색 증강 생성 (Retrieval-augmented generation) 은 특정 및 관련 데이터 소스에서 정보를 가져와서 생성형 AI 모델의 정확도와 신뢰성을 향상시키는 기술입니다.

즉, 이는 LLMs 의 작동 방식에 있는 공백을 메웁니다. 내부적으로 LLMs 는 매개변수 (parameters) 가 얼마나 많은지 측정되는 신경망입니다. LLM 의 매개변수는 본질적으로 인간이 문장을 구성하는 데 단어를 사용하는 일반적인 패턴을 나타냅니다.

그런 깊은 이해, 때로는 파라미터화 지식 (parameterized knowledge) 이라고 불리기도 합니다. 이는 LLMs 가 일반적인 프롬프트에 응답하는 데 유용하게 만듭니다. 그러나 사용자가 광범위한 지식만으로는 부족하고 권위 있는 출처 기반의 답변이 필요할 때, RAG 는 필요한 깊이와 정확성을 제공할 수 있습니다.

내부 및 외부 자원 결합

루이스와 동료들은 생성형 AI 서비스를 외부 자원에 연결하기 위해 검색 증강 생성을 개발했습니다. 특히 최신 기술 세부 사항이 풍부한 자원을 말합니다.

구글 전 페이스북 AI 연구소 (현재 메타 AI), 런던 대학교, 뉴욕대학교의 공동 저자가 참여한 이 논문은 RAG 를 "일반 목적的微조율 레시피 (general-purpose fine-tuning recipe)"라고 불렀습니다. 이는 거의 모든 LLM 이 실제로 거의 모든 외부 자원에 연결할 수 있기 때문입니다.

사용자 신뢰 구축

검색 증강 생성은 모델이 연구 논문의 주석처럼 인용할 수 있는 출처를 제공하여 사용자가 모든 주장의 진위를 확인할 수 있게 합니다. 이는 신뢰를 구축합니다.

또한, 이 기술은 모델을 개선하는 데 도움이 될 수 있습니다.