Show HN: Nomadic – 단일 하이퍼파라미터 실험으로 RAG 환각 현상 최소화

안녕하세요, HN 커뮤니티 여러분! 저희는 NomadicML의 Mustafa, Lizzie, Varun입니다 (https://nomadicml.com). AI 시스템을 지속적으로 최적화하기 위한 파라미터 검색(parameter search)에 중점을 둔 플랫폼인 Nomadic (https://github.com/nomadic-ml/nomadic)을 소개하게 되어 기쁩니다.

여기 간단한 데모 노트북이 있습니다. 이 노트북에서는 단 하나의 Nomadic 실험만으로 RAG의 최고 성능 및 통계적으로 유의미한 구성을 얻고, 5분 만에 환각 현상(hallucination metrics)을 4배 개선할 수 있습니다: https://tinyurl.com/4xmaryyw

저희의 경량 라이브러리는 현재 PyPI에서 사용 가능합니다 (pip install nomadic). README 예제 중 하나를 시도해 보세요 :) 모델을 입력하고, 평가 지표(evaluation metric)를 정의하며, 데이터셋을 지정하고, 테스트할 파라미터(parameters)를 선택하기만 하면 됩니다.

Nomadic은 기존의 하이퍼파라미터 최적화(HPO, hyperparameter optimization) 솔루션에 대한 저희의 좌절감에서 탄생했습니다. 저희는 배포 속도를 위해 사람들이 단일하고 비용이 많이 드는 그리드 검색(grid search)을 사용하거나, 더 나아가 직관에 의존하는 '느낌'으로 HPs를 설정한다고 반복해서 들었습니다. 파인튜닝(fine-tuning)부터 추론(inference)까지, HPs의 작은 조정만으로도 성능에 엄청난 영향을 미칠 수 있습니다.

저희는 이러한 '취한 듯 방황하는' 과정을 체계적이고 빠르며 해석 가능한 방식으로 만들 도구를 원했습니다. 그래서 Nomadic을 구축하기 시작했습니다. 저희의 목표는 ML 시스템을 위한 최고의 파라미터 검색 플랫폼을 만들어, 하이퍼파라미터(hyperparameters), 프롬프트(prompts) 및 AI 시스템의 모든 측면을 프로덕션 수준으로 유지하는 것입니다. 저희는 인기 있는 도구와 연구에서 가장 좋은 파라미터 검색 기법들(베이지안 최적화(Bayesian Optimizations), 비용 효율적인 방식 등)을 통합하기 시작했습니다.

저희 멤버 소개: Lyft의 운전자 수익 플랫폼 구축, Snowflake의 적시 컴퓨팅 자원 할당 자동화, INFORMS Wagner Prize 후보 선정 (산업 최적화 분야 최고 상), 그리고 오십만 명 소비자를 위한 핀테크 사기 스크리닝 시스템 개발 등의 경험이 있습니다. 저희는 최적화를 정말 좋아하는 것 같습니다.

LLM 안전(LLM safety), 핀테크, 지원 또는 특히 복합 AI 시스템(compound AI systems) (단일 모델보다 여러 구성 요소로 이루어진 시스템) 전반에 걸쳐 AI 에이전트/애플리케이션을 구축하고 있으며, 확장됨에 따라 성능 향상을 위한 ML 시스템의 최적 레버리지 포인트를 깊이 이해하고 싶다면 저희에게 연락 주십시오.

Nomadic은 활발하게 개발되고 있습니다. 다음 기능으로는 텍스트-투-SQL 파이프라인(TAG) 지원과 워크스페이스 UI(https://demo.nomadicml.com에서 미리보기 가능)가 예정되어 있습니다. 솔직한 피드백, 좋아요, 싫어요, 기능 요청 등 모든 것을 환영합니다. 여러분도 최적화에 빠져 있다면, 저희 커뮤니티(https://discord.gg/PF869aGM)에 참여해 주시면 감사하겠습니다.