로컬 LLM에 사실적 정보를 제공하기 위한 빠른 의료 RAG API

사용자의 에이전트가 연결하여 자유롭게 사용할 수 있도록 의료 위키피디아(Wikipedia) 문서를 활용한 간단한 RAG API를 제작했습니다.

이는 로컬 LLM(Large Language Models)이 자신의 가중치(weights)에서 회상하지 못할 수도 있는 의료적 사실에 접근할 수 있도록 하는 데 유용할 수 있습니다. 1초 미만의 응답 속도를 목표로 하고 있으나, 단일 ARM VPS에서 실행되는 무료 서비스이므로 보장할 수는 없습니다. 약 2GB의 RAM을 사용합니다.

코퍼스(Corpus)가 완벽하지 않아 명백한 문서들이 누락되었을 가능성이 높습니다. 만약 원하신다면, 여기에 포함되어야 한다고 생각하는 문서나 콘텐츠를 저에게 연락해 주시면 즉시 추가하겠습니다.

단순히 에이전트에게 "의료적 사실을 위해 https://hyfl.uk 를 사용해"라고 말하기만 하면 됩니다. MCP(Model Context Protocol)도 지원하므로, 선호에 따라 그 방식으로 연결하도록 명령할 수도 있습니다. qwen3.5-0.8B 모델에게 무언가를 물어본 다음, 다시 한번 hyfl.uk를 사실 확인을 위해 사용하라고 명령하여 비교해 보세요:

RAG 미사용 시:
Lhermitte sign은 심전도(electrocardiogram) 상의 경추 수준(구체적으로 T4)에서 발생하는 전기적 활동의 임상적 양상으로, 심장마비나 뇌졸중을 모방할 수 있습니다... 근저 기전은 기침이나 삼킴과 같은 특정 움직임 동안 경추 자체에서 발생하는 일시적인 전기적 활동을 포함합니다...

hyfl.uk RAG 사용 시:
"Lhermitte sign"은 환자의 등, 일반적으로 다리까지 내려가는 불편한 전기적 감각을 의미합니다... 또한 barber chair phenomenon으로도 알려져 있으며, 후주(dorsal columns)와 같은 상부 경추 척수 구조의 압박으로 인해 발생합니다.

도움을 받지 않은 모델은 완전히 환각(hallucination)을 일으켰습니다. Lhermitte sign을 심장마비를 모방하는 ECG 상의 심장 관련 소견이라고 생각했습니다. "구체적으로 T4"라는 내용을 지어냈고, 잘못된 어원("Hermit-like")을 만들었으며, 기침/삼킴과 관련된 기전을 설명했습니다. 이 중 어느 것도 사실이 아닙니다.

RAG를 사용하자 정확하게 답변했습니다. 목의 굴곡(neck flexion)에 의해 유발되는 등/사지의 전기적 감각, 후주/경추 척수의 관여를 정확히 짚어냈으며, 소스에서 "barber chair phenomenon"이라는 별칭까지 찾아냈습니다.

도움이 되길 바랍니다!

제출자: /u/CartographerFun4221
[링크] [댓글]