Jev를 이용해 검색 엔진의 비용과 지연 시간을 절감했습니다

저는 Steam 데이터를 기반으로 한 숨겨진 명작 게임 검색 엔진인 indiedex.gg을 만들었습니다. 검색은 첫 관문입니다. 예를 들어, “Hades 같은데 더 아늑하고 협동 플레이가 가능한 게임”처럼 무언가를 입력하면, 그것이 참조(reference) + 분위기(vibe) + 필터의 조합이라는 것을 실제로 이해해야 합니다. 이러한 복합 쿼리는 이전에 DeepSeek 추출 호출을 거쳐 문장을 구조화된 조각들(참조 게임, 필터, 태그, 분위기)로 변환했습니다. 작동은 했지만, 실시간 경로(hot path)에서 느리고 비쌌습니다. 저는 그 단계를 TypeSafe Jev를 OpenRouter의 Decisions API에 적용하여 교체했습니다. Jev는 자유 형식 답변을 작성하지 않습니다. 대신, 고정된 폐쇄형 질문 세트(예/아니오 확률, 선택지)에 대해 병렬로 답변하며, 저는 이를 기존의 정규 표현식(regex) 도우미와 결합하여 이전에 사용하던 추출 형태와 동일하게 구성했습니다. 그 이후 검색 파이프라인은 그대로였지만, 훨씬 빨라졌습니다. 50개 케이스를 이용한 벤치마크 결과: DeepSeek Jev Extract p50 ~1.5초 전체 경로 p50 2871ms 특이 제목 해결률 96–100% 까다로운 필터 일치 — 특이 상위 N 중복 — 비용 (고정) ~$0.014 따라서 추출 과정은 약 10배 빨라졌고, 엔드투엔드 경로 시간은 절반가량 줄었으며, 비용도 많이 감소했습니다(약 6배). 그리고 제 테스트 세트에서 품질은 유지되었습니다. 만약 여러분이 챗봇 대신 “자연어 입력(NL in) → 구조화된 의도 출력(structured intent out) → 도구가 작업 수행” 방식을 구축하고 있었다면, 이 패턴이 또 다른 채팅 완료 방식보다 더 적합하게 느껴졌습니다. 저는 Jev와 같은 모델들이 멋진 UX 기능, 의사 결정 엔진, 스마트 필터링, 자동 중재 및 앱과 기계에 인터페이스하는 다양한 방법의 문을 열 것이라고 생각합니다. 하이브리드 설정에 대한 질문은 기꺼이 답변드리겠습니다. submitted by /u/AccomplishedEvent273 [link] [comments]