AquibPy/Medical-RAG-LLM 프로젝트 개요

이 프로젝트는 오픈 소스 스택을 사용하여 RAG (Retrieval-Augmented Generation) 시스템을 구현합니다. 주요 모델로는 BioMistral 7B를 사용하며, 임베딩(embedding)을 위해 PubMedBert, 자체 호스팅 벡터 DB(Vector DB)로 Qdrant, 오케스트레이션 프레임워크로는 Langchain 및 Llama CPP와 같은 다른 기술들을 활용합니다.

BioMistral은 의료 분야에 특화되도록 설계된 전문 대규모 언어 모델(LLMs) 모음을 지칭합니다. 이는 그 자체로 강력한 언어 모델인 Mistral LLM을 기반으로 구축되었으며, 특히 PubMed Central의 방대한 양의 의학 텍스트 및 과학 간행물 데이터셋으로 추가 학습되었습니다. 이러한 추가 학습 덕분에 BioMistral은 의료 문의와 작업을 더 높은 정확도와 미묘함(nuance)으로 이해하고 응답할 수 있습니다.

BioMistral에 대한 주요 내용은 다음과 같습니다:

• 오픈 소스: 모든 BioMistral 모델은 Apache License 하에 제공되어 연구 및 개발 목적으로 무료로 사용 및 수정이 가능합니다.
• 다중 모델: BioMistral은 다양한 크기와 기능을 가진 일련의 모델을 제공하여 다양한 요구 사항과 하드웨어 제한에 대응할 수 있습니다.
• 높은 성능: BioMistral은 여러 벤치마크에서 최고 수준의 오픈 소스 의료 LLM 중 하나로 꾸준히 순위를 차지하며, 의학 텍스트를 이해하고 생성하는 효과성을 입증합니다.
• 응용 분야: BioMistral은 다음과 같은 의료 분야의 다양한 작업에 사용될 수 있습니다:
  • 의료 요약 및 보고서 생성
  • 포괄적이고 정보가 풍부한 방식으로 의료 질문 답변
  • 임상 의사 결정 지원
  • 의학 문헌 분석
  • 환자 교육 및 지원을 위한 챗봇 개발

이 프로젝트를 실행하려면 다음 단계를 따르십시오:

• Docker를 설치합니다.

• Qdrant Docker 이미지를 가져옵니다 (pull):
  docker pull qdrant/qdrant

• Qdrant 컨테이너를 실행합니다 (run):
  docker run -p 6333:6333 --rm qdrant/qdrant

• 벡터 DB가 작동하는지 http://localhost:6333/dashboard에 접속하여 확인합니다.

• 이 링크를 사용하여 BioMistral 7B 모델을 다운로드하고, 해당 모델 파일을 프로젝트의 메인 작업 디렉터리에 배치합니다.

• 다음 명령어를 사용하여 필요한 라이브러리를 설치합니다:
  pip install -r requirements.txt

• 데이터 폴더 내 파일들로 벡터 데이터베이스를 생성하려면 다음 명령어를 실행합니다:
  python create_vector_db.py

• 마지막으로, 애플리케이션을 실행합니다:
  uvicorn app:app --reload

풀 리퀘스트(Pull requests)는 환영합니다. 주요 변경 사항의 경우, 먼저 이슈를 열어 어떤 내용을 변경하고 싶은지 논의해 주시기 바랍니다.

적절하게 테스트 코드를 업데이트하는 것을 잊지 마세요.