NVIDIA/ChatRTX

중요

2026년 1월 21일부로 이 프로젝트는 지원이 중단(deprecated)되었습니다. ChatRTX는 더 이상 유지 관리되지 않습니다.

ChatRTX는 문서, 노트, 사진 등 사용자의 개인 콘텐츠와 연결된 GPT 거대 언어 모델 (LLM)을 개인화할 수 있는 데모 앱입니다. 검색 증강 생성 (RAG), TensorRT-LLM, NVIDIA NIM 마이크로서비스 및 RTX 가속을 활용하여, 맞춤형 챗봇에 질문하고 문맥적으로 관련 있는 답변을 빠르게 얻을 수 있습니다. 또한 이 앱을 통해 음성으로 질문을 전달할 수도 있습니다. 모든 과정이 Windows RTX PC에서 로컬로 실행되므로, 빠르고 안전한 결과를 얻을 수 있습니다. ChatRTX는 text, pdf, doc/docx, xml, png, jpg, bmp를 포함한 다양한 파일 형식을 지원합니다. 파일이 포함된 폴더를 애플리케이션으로 지정하기만 하면 몇 초 안에 라이브러리로 로드됩니다.

ChatRTX는 다음 AI 모델을 지원합니다:

모델	지원되는 GPU
LlaMa 3.1 8B NIM	RTX 6000 Ada, RTX GPUs 4080, 4090, 5080, 5090
...

파이프라인은 위의 AI 모델, TensorRT-LLM, LlamaIndex 및 FAISS 벡터 검색 라이브러리를 통합합니다. 여기의 샘플 애플리케이션에는 NVIDIA Geforce News에서 가져온 최신 기사로 구성된 데이터셋이 포함되어 있습니다.

거대 언어 모델 (LLM)을 위한 검색 증강 생성 (RAG)은 추론(inference) 중에 LLM을 사용자의 데이터와 연결하여 예측 정확도를 높이는 것을 목표로 합니다. 이 접근 방식은 문맥, 과거 데이터, 최신 또는 관련 지식으로 풍부해진 포괄적인 프롬프트 (prompt)를 구성합니다.

ChatRTX_APIs: ChatRTX API를 사용하면 개발자가 자신의 애플리케이션을 TensorRT-LLM 기반 추론 엔진과 원활하게 통합하고 ChatRTX가 지원하는 다양한 AI 모델을 활용할 수 있습니다. 이러한 통합을 통해 개발자는 애플리케이션에 고급 AI 추론 및 RAG 기능을 포함할 수 있습니다. 이 API들은 ChatRTX 애플리케이션의 기반 역할을 합니다. 자세한 내용은 ChatRTX_APIs 디렉토리를 참조하십시오.

• ChatRTX_App: ChatRTX_App은 electron 컨테이너를 사용하여 ChatRTX API를 기반으로 구축된 데모 애플리케이션입니다. UI는 React와 Material UI 라이브러리를 사용하여 구축되었습니다. UI를 구축하는 방법에 대한 자세한 내용은 ChatRTX_App 디렉토리에 있습니다.

• NVIDIA GeForce RTX 5090 또는 5080 GPU, NVIDIA RTX 600 Ada, 또는 최소 8GB의 VRAM을 갖춘 NVIDIA GeForce RTX 30 또는 40 시리즈 GPU

• Windows 11 23H2 또는 24H2

• 드라이버 (Driver) 572.16 이상

이 프로젝트는 추가적인 제3자 오픈 소스 (open source) 소프트웨어 프로젝트를 다운로드하고 설치합니다. 사용하기 전에 이러한 오픈 소스 프로젝트의 라이선스 약관을 검토하십시오.