LucaStrano/Experimental_RAG_Tech

Experimental RAG Techniques (실험적 RAG 기술) 저장소에 오신 것을 환영합니다! 이 저장소는 검색 증강 생성 (Retrieval Augmented Generation, RAG) 시스템의 특정 측면을 구현하고 최적화하기 위한 다양한 실험적 기술들을 포함하고 있습니다. 각 기술에 대해, 해당 기술의 이면에 있는 직관, 구현 방법, 그리고 잠재적 이점에 대해 자세히 다루는 전용 노트북 파일을 확인하실 수 있습니다.

이 저장소는 Nir Diamant의 Advanced Rag Techniques 저장소와 인접해 있으며, 해당 저장소를 확인해 보시는 것을 강력히 추천합니다.

이 저장소에 포함된 기술들은 본질적으로 **실험적 (experimental)**입니다. 즉, 실제 운영 환경에서 광범위하게 테스트되거나 검증되지 않았을 수 있음을 의미합니다. 하지만 이 기술들은 RAG 시스템을 개선하기 위한 혁신적인 접근 방식을 나타내며, 해당 분야의 발전을 이끌 수 있기에 커뮤니티와 공유하고자 합니다. 이 저장소는 실험과 탐구를 위한 공간이므로, 열린 마음과 테스트 및 반복을 시도하려는 의지를 가지고 내용을 접해 주시기 바랍니다.

이 저장소에 구현된 기술들은 주로 품질과 효율성 사이의 강력한 균형을 제공하는 전통적인 자연어 처리 (Traditional NLP) 방식에 의존합니다. 이러한 방식들이 LLM의 원시적인 힘에는 미치지 못할 수도 있지만, 특히 **품질/지연 시간 트레이드오프 (quality/latency tradeoff)**를 고려할 때 매우 만족스러운 결과를 생성할 수 있습니다. 이는 낮은 지연 시간과 높은 품질이 종종 두 가지 핵심 요구 사항인 RAG 환경에 특히 적합하게 만듭니다.

물론입니다! 만약 귀하가 개발했거나 혹은 생각만 해본 참신한 실험적 기술이 있다면, 언제든지 저에게 연락해 주세요. 귀하와 협업하고 귀하의 기여에 대해 크레딧을 기재하는 것을 기쁘게 생각하겠습니다. strano.lucass@gmail.com으로 이메일을 보내주시거나 LinkedIn을 통해 연락해 주시기 바랍니다.

🧪 이모지가 표시된 기술은 저의 연구에서 파생된 독창적인 기여물이며, 제가 아는 바로는 다른 곳에서 발표되거나 널리 논의되지 않은 것들입니다.

#	제목	유형	노트북
1	🧪 쿼리 복잡도 점수를 활용한 동적 K 추정 (Dynamic K Estimation with Query Complexity Score)
🎣 Retrieval (검색)
2	🧪 재귀적 재순위화(Recursive Reranking)를 통한 단일 패스 재순위화 및 압축 (Single Pass Rerank and Compression with Recursive Reranking)
🎣 Retrieval (검색)
3	🧪 곧 공개 예정!
❓ Soon (곧 공개)
Coming Soon

유형: 🎣 Retrieval (검색) (🧪)

이 기술은 쿼리의 복잡도 (Complexity)를 기반으로 검색할 최적의 문서 수 (K)를 동적으로 추정하는 새로운 접근 방식을 소개합니다. 전통적인 NLP (자연어 처리) 방법론을 사용하고 쿼리의 구조와 의미론 (Semantics)을 분석함으로써, 효과적인 RAG (검색 증강 생성)에 필요한 적절한 양의 정보를 검색할 수 있도록 (하이퍼)파라미터 K를 조정할 수 있습니다.

유형: 🎣 Retrieval (검색) (🧪)

이 기술은 재순위화 모델 (Reranker Model)을 사용하여 재순위화 (Reranking)와 문맥 압축 (Contextual Compression)을 단일 패스 (Single Pass)로 결합합니다. 검색된 문서들은 더 작은 하위 섹션 (Sub-sections)으로 분할되며, 이 섹션들은 평균 점수를 계산하여 문서를 재순위화하는 동시에, 사용자 쿼리와 관련하여 통계적으로 가장 관련성이 높은 하위 섹션만을 선택하여 압축하는 데 사용됩니다.

Luca Strano가 100%의 애정과 0%의 바이브 코딩 (Vibe Coding)으로 만들었습니다 ❤️. 향후 기여 및 협업에 대한 감사는 이곳에 기재될 예정입니다!

이 프로젝트는 MIT 라이선스 (MIT License) 하에 라이선스가 부여됩니다 - 자세한 내용은 LICENSE 파일을 참조하세요.