Hugging Face Transformers에 새롭게 추가된 중요한 원시 요소: 의사 결정 모델(Decision Models)

RT @LysandreJik: 🤗 Transformers에 상당히 중요한 새로운 원시 요소가 도착했습니다: 의사 결정 모델(decision models).

저는 이것이 단일 모델 지원을 추가하는 것보다 훨씬 더 중요할 수 있다고 생각합니다.

오늘날, 다양한 의사 결정 모델들은 '결정을 내리는 과정'에 접근하는 방식이 다릅니다:

@typesafeai의 Jev (원조): 타입이 지정된 결정(typed decisions) + 보정된 확률(calibrated probabilities), 단일 순전파(single forward)
@AutoTrustAI의 JEV: 학습된 결정 블록을 중심으로 개방형 System One 모델을 구축하며, 멀티모달(multimodal) 기능을 지원합니다.
@jaredpalmer의 KEV: 옵션에 대한 포인터 헤드(pointer head)를 사용하여 질문 전반에 걸쳐 상태 계산을 공유합니다.
@Cloudflare의 CLEF: 상태(state), 질문(questions), 옵션(options) 사이에 증거(evidence)를 라우팅하는 공동 스키마 헤드(joint schema head)를 사용하며, 전체 스키마를 함께 점수화합니다.
@perplexity_ai의 Decider: Qwen 위에 별도의 255가지 방식의 판독기(readout)를 사용하며, 완전 어텐션 레이어(full-attention layers)에서 비인과적 어텐션(non-causal attention)을 적용합니다.
@liquidai의 d1: 가장자리(edge)까지 실행될 수 있는 작고 멀티모달한 의사 결정 모델들을 탐구하고 있습니다.
그리고 @XunzhuoLiu의 Semantic Router 팀은 System One과 D3 패밀리를 통해 서빙 측면을 강력하게 추진하고 있으며, 선택, 점수, 예/아니오 결정에 대한 단일 타입 인터페이스를 갖추고 1B 미만부터 27B까지의 모델을 지원합니다.

이러한 실험은 좋으며 필요합니다! 하지만 공통 인터페이스가 없다면, 모든 학습 프레임워크(training framework), 추론 엔진(inference engine), 평가 도구는 모든 구현체를 개별적으로 이해해야 합니다.

그래서 Transformers에서 공유 의사 결정 모델 레이어(shared decision-model layer)를 도입하고 있습니다:

DecisionConfig<br>pipeline("decision")<br>그리고 가장 중요한:<br><br>model.decide(...)<br

이 아이디어는 모든 의사 결정 모델을 내부적으로 동일하게 작동하도록 만드는 것이 아니라, 주변의 생태계(ecosystem)에 동일한 언어로 말할 수 있게 하는 것입니다.

이는 다음을 의미합니다: 커스텀 코드나 원격 코드를 실행하지 않고도:

제가 가장 기대하는 트랜스포머(transformers) 부분은 다음과 같습니다: 생태계와 수많은 아이디어들과 함께 성장하고, 이 모든 것을 모두가 더 쉽게 사용할 수 있도록 만드는 것입니다.

요약