안녕하세요! 주식회사 NeurestX의 미조베입니다.
최근 TypeSafe AI가 발표한 'Jev'를 비롯한 **'의사결정 모델(Decision Model)'**이 주목받고 있습니다. 이번에 검증할 Cloudflare의 'Clef-Flash' 역시 이 Jev와 동일한 설계 사상으로 만들어진 오픈소스 의사결정 모델입니다.
기존 LLM이나 VLM은 입력된 이미지나 프롬프트에 대해 1 토큰씩 순서대로 문자를 생성해 나가는 방식이 일반적이었습니다. 반면, Jev나 Clef-Flash 같은 의사결정 모델의 최대 특징은 텍스트 생성을 전혀 하지 않는다는 것입니다. 입력 데이터와 함께 미리 준비된 선택지를 전달하면, 각 선택지의 확률을 직접 출력해 줍니다. 문자를 생성하는 대기 시간이 없기 때문에, 기존 VLM과 비교하여 **저지연(low latency)**으로 동작합니다.
이러한 **'저지연으로 확률을 출력한다'**는 의사결정 모델의 특징이 실시간 제어에서 얼마나 유리하게 작용하는지 확인하기 위해, 이번에는 게임 엔진인 **'Godot'**으로 만든 자율주행 시뮬레이터를 사용하여 비교 검증을 진행했습니다.
비교하는 모델은 다음과 같습니다.
- Qwen3.5-9B: Alibaba Cloud가 공개한 9B 사이즈의 VLM -
- Clef-Flash: Qwen3.5-9B를 기반으로, Cloudflare가 의사결정 모델로 파인튜닝한 모델
Clef-Flash는 Qwen3.5-9B를 기반으로 만들어졌기 때문에, 둘 다 파라미터 사이즈는 동일한 9B입니다. 기반 모델의 성능이 같은 상태에서, **'텍스트를 생성하는 기존 VLM'**과 **'확률만 출력하는 의사결정 모델'**을 같은 코스로 주행시켰을 때, 주행 성능에 얼마나 차이가 발생하는지 비교해 보았습니다.
구체적으로는, 차량 카메라 이미지만을 입력하여 AI에게 운전을 맡기고, 동일한 조건으로 코스를 주행했을 때 추론 속도나 주행 안정성에 어떤 차이가 나타나는지 확인했습니다.
이번에는 완전한 로컬 환경에서 검증을 진행했기 때문에, 다음 데스크톱 PC 환경을 사용했습니다.
- CPU: Intel Core i7-14700F
- GPU: NVIDIA GeForce RTX 4070 (VRAM 12GB)
- RAM: 32GB
- 시뮬레이터: Godot
- 추론 서버: llama.cpp
추론에는 llama.cpp를 사용했으며, 양자화 포맷은 모두 Q4_K_M의 GGUF 모델을 사용했습니다. 모델은 **'Clef-Flash (ggml-org 버전)'**과 **'Qwen3.5-9B (unsloth 버전)'**을 사용했습니다.
Godot으로 만든 시뮬레이터에서 차량 전방 카메라 이미지를 매 스텝 AI에게 보내고, 돌아온 지시에 따라 핸들이나 액셀을 실시간으로 움직이는 구조입니다.
차량의 최고 속도나 가속력, 핸들의 꺾임 용이성 등 차량 설정을 모두 동일한 조건으로 맞추어 Clef-Flash와 Qwen3.5-9B를 각각 주행시켜 보았습니다.
실제로 두 모델을 주행시킨 비교 영상이 여기 있습니다. 왼쪽이 Clef-Flash, 오른쪽이 Qwen3.5-9B입니다.
각 측정 결과는 다음과 같았습니다.
| 측정 항목 | Clef-Flash | Qwen3.5-9B |
|---|
| 결과 | 완주 | 리타이어 |
| 평균 추론 시간 | 242.6ms | 704.2ms |
영상과 측정 결과에서 알 수 있듯이, Clef-Flash는 한 번도 벽에 부딪히지 않고 원활하게 1바퀴를 완주했습니다.
1회당 추론 시간이 약 240ms로 짧기 때문에, 1초에 약 4회의 페이스로 세밀하게 핸들을 수정할 수 있습니다. 또한, Clef-Flash는 선택지별 확률이 수치로 반환되기 때문에, 그 비율을 사용하여 핸들의 꺾임 정도나 액셀의 강도를 부드럽게 조정할 수 있습니다. 결과적으로 커브에 진입해도 급격한 조향(急ハンドル) 없이 코스에 맞춰 안정적으로 주행할 수 있었습니다.
반면, Qwen3.5-9B는 첫 번째 커브에서 너무 많이 꺾이면서 코스 안쪽 벽에 부딪혀 멈춰버렸습니다.
Qwen3.5-9B 역시 커브 직전에 '오른쪽으로 꺾는다'라는 판단 자체는 올바르게 내릴 수 있었지만, 이번에는 텍스트로 출력된 선택지를 그대로 조작에 변환하고 있기 때문에, Clef-Flash처럼 확률을 사용하여 꺾임 정도나 가속 강도를 세밀하게 조정하기 어려워 '오른쪽'이라고 판단하면 핸들을 최대치로 꺾어버립니다.
더욱이, 다음 추론 결과가 돌아오는 데 약 0.7초가 걸렸기 때문에 핸들을 크게 꺾은 상태로 계속 주행하다가 안쪽으로 너무 많이 휘어져 벽에 충돌하는 형태가 되었습니다. 충돌한 후에는 카메라 앞에 벽이 가득 차 하얗게 되어 코스가 보이지 않아 그대로 직진을 계속하고 있습니다.
이번에는 자율주행 시뮬레이터를 구축하여 의사결정 모델 Clef-Flash와 그 기반 모델인 Qwen3.5-9B를 비교했습니다.
같은 9B 크기의 모델이라도, 텍스트 생성을 하지 않고 선택지의 확률을 직접 출력하는 의사결정 모델은 판단 속도뿐만 아니라 조작의 강약을 부드럽게 조절할 수 있다는 점에서도, 이번처럼 실시간으로 상황이 끊임없이 변화하는 태스크에서 큰 장점이 있음을 확인할 수 있었습니다.
여러분들도 꼭 Clef-Flash와 같은 의사결정 모델을 로컬 환경에서 구동하여 여러 가지 태스크로 시험해 보시길 바랍니다.
