QontoFAQ: 더 나은 정보 검색 벤치마크

검색(Retrieval) 벤치마크는 때때로 모델들에 의해 과도하게 테스트되는 느낌을 주곤 합니다. 그래서 저희는 이 벤치마크를 저의 목표, 즉 제품 질문에 정확히 답하는 아티클을 찾는 것에 최대한 가깝게 연결할 방법을 찾고 싶었습니다. 우리는 문서 관련성(document relevance)에 더 비례하는 것처럼 보이는 새로운 메트릭을 개발했고, 임베딩 모델을 측정하기 위한 벤치마킹 데이터셋을 구축했습니다. 접근 방식에 대한 기사는 다음 링크에서 확인하실 수 있습니다: https://medium.com/qonto-way/qontofaq-benchmarking-information-retrieval-acd89600ebe1 그리고 관련 코드는 다음과 같습니다: https://github.com/qonto/qonto-faq-benchmark /u/espadrine 님이 제출했습니다. [link] [comments]