Perplexity가 두 가지 새로운 '판단 모델(decision models)'을 출시했습니다. 이들은 생성형 LLM 백본(generative LLM backbones)을 기반으로 구축된 범용 분류기입니다. 사용자는 입력값('상태', state)과 하나 이상의 질문을 제공하면, 해당 답변 옵션들에 대한 확률 분포를 반환받습니다. 이 모델들은 텍스트 토큰을 순차적으로 생성하지 않습니다.
- pplx-decider-v1.3: Qwen3.8-27B에서 파인튜닝되었습니다. BF16 가중치 기준으로 약 49 GiB의 메모리가 필요합니다.
- pplx-decider-flash-v1.3: Qwen3.5-4B를 사용하며, 교사(teacher) 분포에 대한 KL 목적 함수(KL objective)를 사용하여 27B 모델에서 증류되었습니다. BF16 가중치 기준으로 약 8.5 GiB의 메모리가 필요합니다.
두 모델 모두 Apache 2.0 라이선스를 따르며, 텍스트와 이미지를 지원하고 OpenRouter 및 Perplexity API를 통해서도 사용할 수 있습니다.
기능:
- 질문 유형: 예/아니오(yes/no), 객관식(최대 255개 옵션), 순서가 지정된 점수, 그리고 새로운 '위치 파악(locate)' 유형을 지원합니다.
- locate 기능: NER(개체명 인식), PII 감지 및 추출형 QA를 위해 문자 오프셋(character offsets)과 함께 원문 스팬(verbatim spans)을 추출합니다.
여러 질문이 하나의 상태(state)를 공유할 수 있습니다. 기본적으로 각 질문은 자체 시퀀스에서 실행됩니다. '격리 모드(isolated)'는 상태를 한 번만 읽기 때문에 여러 질문에 대해 비용 효율적이지만, 요청에 포함된 다른 질문의 순서에 따라 답변이 약간 달라질 수 있습니다.
백본 모델의 전체 어텐션 레이어(full-attention layers)가 양방향(bidirectional)으로 변경되었기 때문에, 일반적인 인과 추론(causal inference)으로는 출력을 재현할 수 없으며 반드시 pplx_decider 패키지를 사용해야 합니다. 학습은 최대 약 30k 토큰 길이의 시퀀스를 사용했습니다.
v1.3에서 새로 추가된 기능: locate
단순 분류를 넘어, v1.3에서는 스팬 추출이 가능해졌습니다. 질문에 `
결과적으로, 위치(locate) 질문과 결정(decision) 질문이 혼합된 요청은 추가적인 순방향 패스(forward passes)를 필요로 합니다. 17개의 도메인 외 NER(개체명 인식), PII(개인 식별 정보), 추출형 QA(extractive-QA) 및 구조화된 추출 작업에서 Perplexity는 평균 69.0 (v1.3)과 63.6 (Flash)을 보고했으며, 이는 Liquid d1의 43.3, Cloudflare Clairic의 41.5, GLiNER large v2.5의 33.6에 비해 높은 수치입니다. 가장 근접한 기존 도구는 레이블에서 제로샷(zero-shot) 스팬 추출을 수행하는 GLiNER와, 구체적인 범위(verbatim spans) 대신 유형화된 값(typed values)을 추출하는 Clairic입니다. 보고된 결과(대부분 Perplexity 자체 평가 기준) 8개 언어에 걸친 다국어 분류: v1.3의 경우 88.16%, Flash의 경우 86.50%를 기록했으며, 이는 TypeSafe의 Jev 1.14가 기록한 85.41% 대비 높은 수치입니다. 72개의 검색 작업에 걸친 재순위 지정(Reranking): Qwen3-Reranker-8B보다 1.81 높은 nDCG@10인 83.99를 달성했습니다. 17개 도메인 외 작업의 위치 평균: 69.0 / 63.6으로, Liquid d1의 43.3 및 GLiNER large v2.5의 33.6 대비 높은 수치입니다. 인공 분석 결정 지수(Artificial Analysis Decision Index): v1.3의 경우 약 $1M 작업당 68달러로 대략 70점, Flash의 경우 약 $34달러로 대략 64점을 기록했습니다. 두 모델 모두 비용/점수 파레토 라인(Pareto line) 상에 위치합니다. Drex Max v1.1 및 SubQ Snap 1.2와 같이 더 높은 비용에서 더 높은 점수를 얻는 몇몇 모델도 있습니다. https://preview.redd.it/hbrwsf96od1i1.png?width=2464&format=png&auto=webp&s=5a7025b4cda1dc955fbe1e3329cd7b0d07c75fe2
저자들의 주의사항(Caveats from the authors)
위치 어댑터(locate adapters)는 병합되지 않은 상태로 유지되었습니다. 이는 이를 병합할 경우 결정 작업에서 성능 저하(regressed)가 발생했기 때문입니다. 반환된 확률은 사용자의 자체 데이터에서 보정(calibrated) 및 임계값 설정(thresholded)되어야 합니다.
링크
블로그: https://www.perplexity.ai/hub/blog/perplexity-decider
HF 컬렉션: https://huggingface.co/collections/perplexity-ai/decider-v13 https://huggingface.co/perplexity-ai/pplx-decider-v1.3 https://huggingface.co/perplexity-ai/pplx-decider-flash-v1.3
AA 결정 지수: https://artificialanalysis.ai/evaluations/artificial-analysis-decision-index (제출자 /u/Balance-[링크] [댓글]
