2026년 중반 현재, 제창되고 있는 RAG (Retrieval-Augmented Generation) 아키텍처가 산더미처럼 쌓여 있고, 수법이나 복잡성 관점에서도 선택지가 많아서 어떤 것이 좋은지 알 수 없게 된 적은 없으신가요? 이번에는 오픈 소스 RAG 솔루션으로서 유력한 「RAGFlow」를 다시 한번 사용해 보았기에 조금 공유하고자 합니다.

아키텍처 선정의 한 가지 지표로서, 「EnterpriseRAG-Bench」라는 리더보드를 살펴보았습니다.

상위권 면면을 확인하면 다음과 같은 상황입니다.

1위: OpenClaw

• 이것은 RAG 아키텍처라기보다는 완전히 에이전트(Agent)로서의 성격이 강하기 때문에, 제 연구 대상에서는 제외했습니다.

2위: OpenAI File Search

• 매우 강력하지만, 온라인 서비스이기 때문에 다양한 제한이 있고 세밀한 커스터마이징도 할 수 없으므로 이 또한 제외입니다.

3위: RAGFlow

• 4위 이후도 온라인 서비스가 많은 가운데, 오픈 소스 솔루션으로서 당당히 상위권에 진입해 있습니다.

이 결과를 보고, "오픈 소스로 고른다면 RAGFlow가 유일한 선택지가 아닐까?"라고 느꼈습니다.

RAGFlow 자체는 2024년부터 출시되었습니다. 당시 저에게 가장 인상적이었던 점은 PDF 안의 표 구조 데이터를 잘 인식할 수 있고, 나아가 OCR 기능 등과도 심리스(Seamless)하게 통합되어 있다는 점에서 "꽤 강력한 도구구나"라고 느꼈던 점입니다. 그로부터 1~2년이 지나 더욱 강력한 기능이 추가되었을 것이라 생각되어, 이제 와서 다시 한번 시도해 보기로 했습니다.

셋업은 매우 간단합니다. 리포지토리(Repository)를 clone하고 다음 명령어를 실행하기만 하면 됩니다.

docker compose -f docker/docker-compose-base.yml up -d

한 가지 주의할 점은, 이 명령어 한 번으로 여러 컨테이너가 동시에 기동되기 때문에 머신의 리소스에는 약간 여유를 두는 것이 좋습니다.

무사히 기동되었다면, 브라우저에서 http://localhost에 접속함으로써 RAGFlow 화면이 열립니다.

곧바로 PDF를 임포트하여 테스트해 보았습니다.

개인적으로 가장 신경 쓰였고 편리하다고 생각한 것은 추출 테스트 기능입니다. 화면상에서 파라미터(Parameter)를 조절하면서 즉시 추출 결과를 프리뷰(Preview)하여 확인할 수 있기 때문에, 의도한 대로 데이터화가 되고 있는지에 대한 PDCA를 빠르게 돌릴 수 있습니다.

또 다른 중요한 포인트가 있습니다. 역시 RAG나 에이전트를 본격적으로 구축하려면 어느 정도의 Observability (가관측성)가 필수불가결합니다. 어떤 컨텍스트(Context)가 추출되었고, LLM이 어떻게 추론했는지를 추적할 수 없다면 그 이후의 개선책을 생각하기 어렵기 때문입니다.

RAGFlow에서는 설정 화면에서 엔드포인트(Endpoint)와 API 키를 입력하는 것만으로 「Langfuse」와의 연동을 간단히 할 수 있습니다.

물론 Langfuse의 기능 자체가 RAGFlow 안에 내장되어 있는 것은 아니기 때문에, 로컬에서 구동하는 경우에는 별도의 Docker 컨테이너를 띄워야 하지만, UI에서 간편하게 통합할 수 있다는 점은 매우 고마운 설계라고 생각합니다.

이번에는 셋업과 기본적인 동작 확인뿐이라 실제 검색 정밀도나 답변 정밀도 검증은 간단히 할 수 없어 아직 뭐라고 말하기는 어렵습니다. 다만, 셋업의 간편함이나 추출 프리뷰 기능, 그리고 Observability에 대한 배려 등 실전적인 도구로서 상당히 진화했다고 느꼈습니다.

우선은 직접 사용해 본 단계이지만, 앞으로는 파라미터 조정이나 실제 파일을 사용한 정밀도 튜닝 등 여러 가지를 탐색해 나가고자 합니다.