Clef: 오픈 웨이트 의사결정 모델 및 새로운 RL 파인튜닝 플랫폼

지난 몇 주 동안 Typesafe AI의 Jev System One과 같은 의사결정 모델에 대한 관심이 뜨거웠습니다. 분류기(classifier) 모델은 오랫동안 존재해 왔지만, Jev는 AI 분야에 새로운 의사결정 모델 개념을 도입했습니다. 이는 결정이 필요할 때 워크플로우에 추가될 수 있는, 경계가 지정된 구조화된 출력(bounded structured outputs)을 저렴하고 빠르게 일관성 있게 생성하는 모델입니다. 이러한 모델들은 새로운 분류 카테고리를 통합하기 위해 모델을 지속적으로 재훈련할 필요 없이 모든 입력 세트에 대해 작동할 수 있을 만큼 충분한 능력을 갖추고 있습니다. 이는 대규모 언어 모델(LLMs)의 세계와 대비되는데, LLMs는 대체로 비결정적(non-deterministic)이지만 에이전트 워크로드(agentic workloads)를 위해 추론하고 텍스트 및 도구 호출을 생성할 수 있을 만큼 개방적입니다.

오늘 저희는 Cloudflare가 학습시킨 두 가지 의사결정 모델, Clef와 Clef-flash를 __Workers AI__에 호스팅하여 공개합니다. Clef는 현재 __Jev Decision Index__로 평가했을 때 선두 주자이며, 전체 결과는 __실시간 벤치마크 데모 사이트__에서 확인하실 수 있습니다. 이 모델들은 더 스마트하고 빠르며 Jev-API와 완벽하게 호환되므로, 사용자들이 이러한 호스팅된 모델을 쉽게 실험해 볼 수 있습니다. 또한 저희는 이 __모델들을 Apache 2.0 라이선스 하에 Hugging Face에 완전히 오픈 소싱하여 로컬에서 직접 실행하고 실험할 수 있도록 합니다.

마지막으로, 고객들이 자신들의 사용 사례에 맞게 Clef를 파인튜닝(fine-tune)할 수 있게 해주는 새로운 강화학습(RL) 제품을 선보이게 되어 기쁩니다.

의사결정 모델이란 무엇인가요?

의사결정 모델은 특정 확률을 기반으로 에이전트가 어떻게 행동해야 할지 결정하는 분류를 수행합니다. 예를 들어, 고객 지원 메시지(입력)를 전달하고 이것이 긴급한지, 어떤 팀이 처리해야 하는지 물어볼 수 있습니다. 의사결정 모델은 확률과 함께 유형화된 답변(출력)을 반환하며, 코드는 이를 사용하여 티켓 라우팅, 에스컬레이션 트리거 또는 인간에게 위임할 수 있습니다. 이는 더 이상 에이전트적 결정에 있어 반드시 사람이 개입할 필요가 없다는 것을 의미합니다. 즉, 에이전트는 컨텍스트를 프로그래밍 방식으로 수집하고, 결정을 내리고, 작업을 수행하거나 필요한 경우 사람에게 위임할 수 있게 됩니다.

구체적으로 Cloudflare에서는 웹사이트 도메인을 분류하는 데 도움을 주기 위해 새로운 Clef 모델을 Threat Intelligence 팀에서 테스트해 왔습니다. Clef에 도메인(Browser Run 사용)을 제공하면, 이 도메인이 속하는 카테고리를 신속하게 식별할 수 있습니다. 예를 들어, 패션 웹사이트일 확률 95%, 전자상거래 85%, 피싱 <1% 등으로 분류할 수 있습니다. 이러한 분류는 Clef 모델이 웹사이트를 가져오고(fetch), 렌더링하고(render), 분류하는 데 2.2초가 걸렸습니다. 이와 대조적으로, 가장 빠른 범용 LLM인 gpt-oss-120b는 동일한 워크플로우에서 4.7초가 걸렸으며, 두 가지 분류만 반환했습니다. 사용자 입장에서 볼 때, 이러한 지연 시간과 결과의 2배 절감은 우리가 위협 인텔리전스 워크플로우를 개선하고 악성 또는 합법적인 도메인을 더 빠르게 식별하는 데 어떻게 도움이 될 수 있는지 상상할 수 있습니다. 이를 빠르고 프로그래밍 가능한 결정을 내려야 하는 모든 사용 사례에 일반화하면, 자율적으로 결정하고 추론하며 실행할 수 있는 강력한 에이전트 워크플로우를 구현할 수 있습니다.

음악 이론에서 '오선지 기보(clef)'는 악보 시작 부분에 배치되어 줄과 칸에 특정 음높이 이름을 할당하는 기호입니다. 의사결정 모델은 음악 오선지와 유사한데, 컨텍스트의 영역과 그 뒤를 따르는 후속 음표(행동)를 정의하는 데 도움을 주기 때문입니다. 우리는 이와 유사한 목적을 수행하기 때문에 우리의 의사결정 모델군에 Clef라는 이름을 붙였으며, 'CF'는 Cloudflare를 암시합니다.

Clef는 다른 의사결정 모델과 어떻게 다릅니까?

시장에 의사결정 모델이 점점 포화되고 있지만, Clef는 공개적으로 출시하게 되어 기대감을 갖게 하는 몇 가지 고유한 특성을 가지고 있습니다. 첫째, 청크는 비전 인코더(vision encoder)를 가지고 있어 이미지를 받아 시각적 콘텐츠를 분류할 수 있습니다. 이는 오늘날 텍스트 분류만 수행하는 Jev와 다릅니다. 둘째, 저희 모델은 64k 컨텍스트 창(context window)을 가지고 있습니다 (Jev의 32k 대비). 이를 통해 사용자는 모델이 분류할 입력 상태(input state)를 더 많이 담아낼 수 있습니다.

셋째, 저희 모델은 정확하고 강력하여 다양한 품질 벤치마크에서 시장의 다른 의사결정 모델들과 경쟁력 있는 점수를 기록했습니다. 저희는 __Jev Decision Index__에 의해 정의된 의사결정에 중요한 몇 가지 평가를 선정했으며, 시장의 인기 모델들을 이 지표로 테스트했습니다. 아래 표에서 벤치마크를 확인하거나 라이브 의사결정 지수 데모 사이트에서 점수를 확인해 보세요:

| | |||||
BFCL · case exact | 98.47 |
| 95.75 | 96.52 | 94.51 | 38.13 |
ToolRet · nDCG@10 |
| 66.43 | 65.28 | 61.21 | 64.26 | 12.69 |
API-Bank · accuracy | 91.93 |
| 88.19 | 83.66 | 56.30 | 11.41 |
Home appliances · case exact | 82.95 |
| 52.27 | 42.05 | 25.00 | 0.00 |
When2Call · accuracy | 72.37 | 65.58 |
| 75.44 | 49.62 | 11.94 |
BANKING77 · macro-F1 |
| 90.93 | 79.74 | 74.28 | 84.83 | 14.29 |
CLINC150+OOS · macro-F1 |
| 66.77 | 89.27 | 83.49 | 79.03 | 3.19 |
BRIGHT · nDCG@10 | 45.91 | 39.26 |
| 42.94 | 38.53 | 19.90 |
Amazon ESCI · macro-F1 |
| 57.39 | 55.21 | 53.37 | 49.22 | 24.40 |
PhishNChips · accuracy | 79.60 | 75.05 | 62.55 |
| 50.75 | 50.15 |

저희는 또한 Typesafe의 자체 평가 스위트(eval suite) 전반에 걸쳐 벤치마크를 실행했으며, Clef 모델이 좋은 성과를 보여 Jev보다 4개 영역 중 3개 영역에서 앞섰습니다. 특히, Clef-flash가 훨씬 빠르다는 점을 고려할 때 매우 뛰어난 성능을 발휘합니다.

| | |
Invoice processing |
| 57.1 | 61.8 |
Customer service | 76.3 |
| 76.0 |
Security incidents |
| 61.7 | 61.7 |
Agent trace observability | 68.5 | 69.8 |
|

실행한 43개의 평가 벤치마크 전반에 걸쳐, 저희의 Clef 모델은 의사결정 모델들보다 지연 시간(latency) 면에서 우위를 보였습니다 (Laya는 매우 빠르지만 위 벤치마크에서는 품질을 희생합니다):

모델 자체의 낮은 지연 시간 이점 외에도, 저희 Clef 모델은 Workers AI에 호스팅됩니다. Cloudflare의 인프라 위에서 호스팅되기 때문에, 에지(edge) 상에서 GPU를 활용할 수 있어 네트워크 지연 시간이 낮고 의사결정 속도가 빠릅니다. 이는 Clef를 에이전트가 의사결정을 내리는 '핫 패스(hot path)'에 배치하고, 이를 Workers AI의 LLM 중 하나와 결합하여 액션을 취하도록 할 수 있다는 의미입니다.

curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef \
-X POST \
-H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \
...

Clef는 또한 Jev와 유사하게 엄격하게 타입 지정된(strictly typed) 출력을 생성하며 완전히 API 호환성이 뛰어나므로, 교체 작업이 매우 쉽습니다. 더 큰 Clef 모델은 성능이 뛰어난 정밀도 모델이며, Clef-Flash 모델은 지연 시간에 민감한 의사결정에 탁월합니다. 이 모델들은 저희가 사용자의 요청이나 응답을 읽거나, 저장하거나, 학습시키지 않는다는 보장과 함께 엔터프라이즈급으로 준비되어 있습니다 (물론 아래에서 설명할 파인튜닝 제품을 사용하려면 예외입니다). 오늘 바로 Clef 모델을 시작해 볼 수 있으며, 저희 __개발자 문서(developer documentation)__를 이용하거나 Hugging Face 리포의 오픈 소스 모델로 플레이(play around) 할 수 있습니다.

특정 워크로드에 맞춰 Clef를 튜닝하는 데 도움이 필요하시다면, 저희는 파인튜닝 서비스도 제공하고 있습니다. 처음에는 전방 배치 엔지니어(FDE) 팀과 함께 실습형 파트너십 형태로, 이후에는 고객이 Cloudflare 위에서 모델을 학습하고 재배포할 수 있는 셀프서비스 파인튜닝 플랫폼으로 제공될 예정입니다.

Clef 훈련 방법

Jev가 공개된 같은 주에, 저희는 자체 개발한 의사결정 모델로 진행한 실험들에 대해 게시했습니다. 저희 데모는 DiffusionGemma 모델을 어떻게 조정하여 대규모 언어 모델(LLM)이 생성하는 logprobs를 노출함으로써 결정론적 확률을 출력하게 하는지 보여줍니다. 저희의 초기 접근 방식은 Matt Mastracci가 수행한 독립적인 연구에 기반을 두었는데, 그는 머신러닝(ML) 커뮤니티에서 새로운 아이디어를 공유하고 DiffusionGemma이 더 강력하게 지원되도록 vLLM 추론 엔진에 풀 리퀘스트를 제출하며 활동해 왔습니다.

Clef는 이 개념을 바탕으로 하지만 백본으로는 다른 기본 모델을 사용합니다. 저희는 현재 Qwen을 기본 모델로 사용하여 의사결정 모델 사용 사례에 맞게 사후 훈련(post-trained)했습니다. 추론 과정 동안 Clef는 Qwen을 prefill 전용 패스에 사용한 다음, 유효한 스키마 선택지들의 점수를 병렬로 계산합니다. 결정 단계는 비자동회귀적(non-autoregressive)이므로 토큰별로 중간 텍스트를 생성할 필요가 없어, Clef는 자동회귀적 LLM보다 훨씬 빠릅니다. 구조화된 답변을 만들기 위해 중간 텍스트를 생성하는 대신, Clef와 Clef-flash는 내부 백본 표현으로부터 스키마 선택지를 직접 도출합니다. 이 접근 방식은 특화된 2단계 어텐션 라우팅 프로세스에 의존합니다: 모든 유효한 선택지는 프롬프트와 관련된 컨텍스트를 추출하여 개별 필드 매개변수가 다른 필드들과 교차 어텐션을 수행하고 점수 계산 전에 원래 페이로드로 되돌아가게 합니다. 어휘적 사전(lexical prior)을 활용함으로써, 모델은 옵션 전반에 걸쳐 의미론적 의도(semantic intent)를 보존합니다. 궁극적으로 이 아키텍처는 옵션별 증거 라우팅, 공동 교차 필드 어텐션, 그리고 스키마 기반 점수 계산을 통합합니다.

Clef 모델의 경우 Qwen3.8-27B를 고정하고 Clef-flash의 경우 Qwen3.5-9B를 고정하여, 라우팅 헤드와 함께 rank-256 저랭크 어댑터(low-rank adapters)를 공동으로 최적화했습니다. 저희는 후속 학습 과정에서 유효한 스키마 출력에 대해 레이블 평활화 교차 엔트로피(label-smoothed cross-entropy)를 사용하고, 확률 보정(probability calibration)을 개선하기 위해 Brier 손실(Brier loss)과 결합하여 활용했습니다. 이 훈련은 필드 순서, 프롬프트 및 스키마 구조를 재배열한 자체 내부 합성 데이터셋을 활용합니다. 또한, 부가적인 최적화 목표로 '보정된 의사결정을 위한 강화학습(Reinforcement Learning for Calibrated Decisions, RLCD)'을 개발하여 인접한 순서 선택에 부분 점수를 부여하고, 완전히 정확한 기록 출력을 보상하며, 분포 이동(distribution shift)을 방지하기 위해 참조 페널티를 적용함으로써 더 나은 정확도와 일반화 성능을 얻었습니다.

이는 Clef로 다음과 같은 몇 가지 새로운 성과를 달성할 수 있었다는 것을 의미합니다. 즉, 분류 모델의 정확도를 향상시켰고, 텍스트 생성 대신 확률만 출력하도록 제약했으며, Jev 및 기본 Qwen 모델보다 더 빠르게 만들었다는 것입니다.

Clef의 기능을 확장하는 파인튜닝 방법

저희는 Cloudflare의 에이전트 워크플로우(agentic workflows)에 Clef 모델을 구축해야 하는 다양한 내부 사용 사례들을 접했습니다. 예를 들어, 내부 팀들은 신뢰 및 안전성 제출물(Trust & Safety submissions)을 평가할 수 있는 분류기 모델이나, Cloudflare 지원 요청(Cloudflare Support requests)을 분류하는 데 도움을 줄 모델, 심지어 크롤러가 좋은 봇인지 나쁜 봇인지를 결정하기 위해 저희의 Bot 제품에 내장될 모델 등을 원했습니다.

이러한 사용 사례들은 믿을 수 없을 만큼 구체적이며, 우리는 특정 분류기(classifier)를 훈련하는 데 사용할 수 있는 수년간의 라벨링된 의사결정 데이터를 보유하고 있습니다. 모델을 파인튜닝(fine-tune)할 때, 특정 도메인에서 더 높은 정확도를 얻는 대신 일반적인 성능 일부를 포기해야 할 수도 있습니다. Cloudflare는 다양한 도메인에 걸쳐 15년 이상의 네트워크 데이터를 가지고 있기 때문에, 우리는 이처럼 구체적인 사용 사례에 맞게 모델을 파인튜닝할 수 있으며, 이는 범용 Clef 모델보다 더 정확하고 빠릅니다. 저희는 이미 내부 팀들과 협력하여 Clef를 사후 학습(post-train)시켜 Cloudflare 전반의 영향력을 높이고 워크플로우를 개선하는 강력한 ML 모델을 만드는 방법을 알아보고 있습니다. 이 내부 팀들과 사용 사례들이 저희 새로운 FDE 파인튜닝 팀의 다음 임무이자, 저희 강화학습 (RL) 제품의 기반이 됩니다.

우리의 새로운 RL 서비스

저희는 실질적인(hands-on) FDE 팀을 통해 고객들이 자신들의 워크로드에 맞게 Clef를 파인튜닝할 수 있도록 돕는 서비스를 제공하고 있습니다. 이를 통해 저희는 직접 경험한 내용을 학습하여, 고객들이 Cloudflare 상에서 데이터를 수집하고, 모델을 파인튜닝하며, 재배포할 수 있는 셀프서비스 플랫폼을 구축할 것입니다.

사실 이는 오랫동안 준비해 온 것이었습니다. 저희는 커스텀 RL 제품을 구축할 수 있는 적절한 기본 요소(primitives)를 갖춘 AI 플랫폼을 구축해 왔습니다. Jev에 대한 관심은 빠르고, 작고, 구체적인 분류기 모델의 필요성을 보여주며, 저희는 RL 환경 실험을 시작하기 위한 틈새시장으로 이를 선택했습니다.

이를 위해, 저희는 이미 Cloudflare 플랫폼에서 구축한 기본 요소들을 활용합니다: