Mistral AI Now Summit 메모

Mistral과 작업 특화 소형 모델은 정말 응원하지만, Mistral은 2025년 3분기 이후로 너무 뒤처졌음
지금 경쟁하려면 중간 정도 문맥 길이에서도 좋은 추론 모델을 굴릴 수 있어야 하는데, Mistral은 그게 안 되는 것처럼 보임
현재 소형 모델 쪽에서는 Gemma4와 Qwen3.6이 가장 좋고, Mistral의 “small” 모델은 120B로 매개변수가 약 4배나 되면서도 4분의 1 크기 모델과도 제대로 경쟁하지 못함
1년 전 Mistral Small 3.1 때는 따라가고 있었지만, 지금은 존재감이 거의 사라진 상태임
Mistral이 온프레미스와 작업 특화 소형 모델 시장을 진지하게 노린다면, r/localLlama 쪽 사람들이 흥분할 만한 모델을 만드는 게 꽤 좋은 대리 지표가 될 수 있음

동의함. Le Chat Pro 유료 사용자이고 유럽 대안을 정말 응원하지만, Mistral과 프런티어 연구소들 사이의 품질 차이가 무시하기 어려울 만큼 커지고 있음
컨퍼런스에서 새 모델 이야기를 별로 하지 않은 것도 걱정됨. 개인적으로는 그게 가장 집중해야 할 부분이라고 봄
무엇이 발목을 잡는지 궁금함. 돈인지, 연산 자원인지, 역량인지, 학습 데이터인지 모르겠음
정말 좋은 모델을 만들려면 프런티어 모델 출력 같은 꽤 의심스러운 데이터로 학습해야 하는데, Mistral은 너무 유럽적이고 기업 고객 지향이라 그런 위험을 감수하지 못하는 게 아닐까 두려움

Mistral은 미국 기업에 인수되지 못한 유럽 기술 회사들이 들어가는 EU 납세자 돈 최대한 뽑아내기 단계에 진입한 듯함
결국 Dailymotion처럼 좀비 회사로 끝날 것 같음

작업 특화 소형 모델 얘기와 살짝 다른데, 잘 몰라서 묻자면 프런티어 모델 제공사들이 더 작고 초점이 맞춰진 모델을 내지 않는 근본적인 이유가 있나 궁금함
예를 들어 Claude Code에서 기본으로 쓰는, Opus의 소프트웨어 전용 부분집합 같은 모델을 생각하고 있음
더 작고, 배포와 사용 비용이 싸고, 어쩌면 더 빠를 수도 있음

동의함. 프런티어 연구소들이 다음 가격 인상을 하고 구독 등급의 한도도 필연적으로 줄이면, 사람들이 모델 제공사를 훨씬 진지하게 다시 생각하게 될 것임
그때 Mistral이 준비돼 있어야 하지만, 최근 성과를 보면 현실적으로 기대가 크지는 않음

로컬에서 LLM을 돌리는데, 개인적으로는 22B32B가 시도해볼 의향이 있는 최대 크기임
Mistral 4가 토큰당 활성 매개변수 6B라서 4090에 토큰당 33.5 매개변수를 올릴 수 있다 해도, 약 240GB 다운로드와 저장 공간은 로컬에서 시험해보기엔 한계에 가까움
여러 모델을 내려받아 평가하는 상황이면 더 그렇고, 예전 Mistral/Magistral 모델들처럼 다른 사람들이 후속 파인튜닝을 만들기도 더 어려워짐

훌륭한 정부 IT 담당자의 강연을 들었는데, 모델을 평가하는 중이고 현재 상황에 상당히 불만이 많았음
Mistral을 쓰고 싶어 하고, 어떤 경우에는 사용할 수 있는 유일한 EU 기반 모델이기도 하지만, 성능이 정말 나쁘고 점점 더 뒤처지고 있다는 것도 알고 있음
Mistral은 나쁘더라도 EU 용도에서 유일하게 가능한 모델이라는 이유로 수익성 있는 사업을 만들 수는 있을지도 모름. 슬픈 일이고, 지켜보기 안타까움

유럽이 AI 개발과 연구에 참여하길 정말 바라고, Mistral도 강하게 응원했음
하지만 기술 격차가 너무 많이 쌓이고 있음. 이걸 고치지 못하면 유럽이 좋은 결과로 대형 기술 회사를 운영하지 못한다는 또 하나의 증거가 될 것임
사실상 중국 연구소들은 거의 다 훨씬 잘하고 있음. DeepSeek까지는 말하지 않더라도 MiMo 2.5, Minimax 2.7 같은 것을 만든 건 Mistral이 아님
Mistral 쪽 모델은 더 약하거나, 더 크고 느리거나, 전문가 혼합(MoE)이 없는 모델뿐이라 좋지 않음

https://en.wikipedia.org/wiki/Artificial_Intelligence_Act#Pe...
유럽은 대중적 히스테리가 절정이던 시기에 급하게 만든 이 법으로 스스로 발등을 찍었고, 이제 제정신인 회사라면 거기서 뭔가를 만들려 하지 않을 것임
미국이나 중국의 AI 스타트업은 소년 하나와 컴퓨터 한 대로도 시작할 수 있지만, 유럽에서는 그 소년에게 변호사 열두 명이 필요함
Mistral이 앞선 출발점, 매우 유망했던 초기 모델, 받은 투자에도 불구하고 존재감이 사라지는 건 그 모든 규제를 준수하려 한 결과일 수 있음

기술 격차가 너무 많이 쌓인다는 건 어떤 의미인지 모르겠음. 선두를 개척하는 것보다 따라잡는 편이 더 쉽고 싸지 않나

전문가 혼합(MoE)과 관련해서는, 처음으로 MoE의 실용성을 보여준 모델로 Mixtral이 기억남
그 기술 보고서에 깊은 인상을 받았음. 물론 MoE 아이디어 자체는 이미 있었던 것으로 알고 있음
Mixtral 모델군을 더 밀고 나갔다면 지금의 Qwen 계열 같은 평판을 얻었을지도 모름. 놓친 기회임

영국 정부가 최근 AI 연구에 1천만 파운드를 투입한다고 발표했는데, 아마 컨설턴트들이 대부분 가져갈 것임
그와 비교하면 유럽은 꽤 잘하고 있는 편이라고 봄

BNP Paribas가 벨기에에서 KYC를 위해 Mistral 모델을 온프레미스로 돌리고, 민감한 데이터가 은행 내부에 남는다는 점이 중요함
Abanca도 앱의 200만 고객 같은 대규모 민감 고객 정보를 처리하려고 에이전트 오케스트레이션을 쓰고 있음
규제 산업의 유럽 기업들에게는 미국 하이퍼스케일러에 의존하는 것보다 좋은 대안이고, Mistral이 온프레미스와 유럽 호스팅 모델에 집중하는 건 매우 영리한 방향임

정중히 말하면 “매우” 영리하다고 보지는 않음. 선택지가 제한된 상황에서 괜찮은 선택지일 뿐임
모두가 전면 배포 엔지니어링이나 고객 맞춤 엔지니어링을 하고 있는데, 그렇지 않으면 단순히 토큰 비용에 마진을 얹는 회사처럼 보이기 때문임
그러면 Neo-SaaS 회사들이 돈을 가져갈 것임. 그 밖에 누가 Mistral의 AI를 사겠으며, 또 어떤 선택지가 있겠나

Mistral이 Koyeb 인수로 대규모 배포 전문성을 보강한 것도 딱 맞는 선택이었음

Mistral은 코드, 이미지, 동영상 같은 콘텐츠 생성에 집중하지 않는다고 봄
대신 다국어 모델, OCR, 음성 등 다른 영역에 초점을 맞추는 듯함
모델 소개 페이지도 그걸 드러내지만, 너무 다채롭고 카테고리와 모델명이 너무 많아서 항상 헷갈림
그들의 결정이 좋은 결과로 이어지길 바람

B2C나 세계 규모 SaaS 시장을 포기한 뒤 EU 스타트업이 흔히 가는 길 아닌가? 대형 유럽 기업 B2B와 정부 계약으로 다시 초점을 맞추는 것
유럽 스타트업에게 기업 B2B는 죽으러 가는 곳처럼 늘 느껴졌음

그렇다 해도 온프레미스에서 Mistral을 쓸 이유가 뭔가? Qwen 대신 말임

행사에 참석했는데, 참석자 규모가 인상적이었고 주요 유럽 상장사의 리더들이 모두 와 있었음
초대한 파트너 수가 많았던 것도 흥미로웠음. Microsoft, Accenture, EY부터 alpic.ai나 lingo.dev 같은 스타트업까지 다양했음
M&A 쪽 움직임도 강화하는 듯함

구체적으로 뭐가 좋은지 모르겠음. 휴대폰으로 스크롤해봤는데 꽤 평범한 기업 웹사이트처럼 보임

Mistral의 브랜딩은 전부 마음에 듦

Mistral에서 이메일이 왔는데, devstral 같은 전용 모델 일부, 어쩌면 대부분을 8월까지 단계적으로 종료하고 이제 범용 모델을 쓰라고 함
비용은 지수적으로 커짐
Devstral 2(devstral-2512 및 devstral-latest) → 더 강한 모델인 Mistral Medium 3.5(mistral-medium-3-5, reasoning_effort를 "high"로 설정)로 전환하길 권장한다고 되어 있고, 가격은 입력/출력 100만 토큰당 $1.5/$7.5임
이전 $0.4/$2에서 바뀐 것임

같은 이메일을 받았지만, 이미 모든 것을 Mistral-Medium-3.5로 옮겼다고 생각해서 내가 아직 어떤 종료 예정 모델을 쓰고 있었는지는 잘 모르겠음
어쨌든 이메일을 받고 나서는, 앞으로 몇 달 안에 새롭고 개선된 모델도 내놓으려는 신호이길 바랐음

해자가 전혀 없어 보임. 데이터센터가 있는 소프트웨어 컨설팅 회사 같음
게다가 글에서는 많은 고객이 이 모델들을 온프레미스로 쓴다고 하니, 데이터센터도 딱히 장점이 아님
정부 지원을 받는 어느 스타트업이든 작은 오픈소스 모델을 파인튜닝하는 걸 막을 수 있는 게 뭔가

직접 제어하는 더 큰 모델에서 작은 모델을 증류하면, 제어하지 못하는 더 큰 모델을 기반으로 파인튜닝하는 것보다 더 좋은 소형 모델이 나올 수 있기 때문일지도 모름
사실이라고 주장하는 건 아니고, 그런 가정이 가능하다는 뜻임

유럽인으로서 100배 동의함
이 플레이어들 중에서 Mistral의 방향성과 투명성이 정말 마음에 듦

유럽인이 아니어도, 미국과 중국 모델에 맞서는 유럽의 경쟁자가 보이는 건 좋은 일임

Abanca가 앱의 200만 고객이라는 “엄청난 규모”의 민감 고객 정보를 처리하기 위해 에이전트 오케스트레이션을 쓴다고 하는데, 내가 생각하는 엄청난 규모의 기준이 비뚤어진 건지 모르겠음
200만 사용자면 데이터가 몇백 MB 정도 아닌가? 사용자별 데이터가 많아도 몇 GB 정도일 것 같음

그럴 수도 있지만, 최신 대규모 언어 모델로 고객 지원 문의를 에이전트 방식으로 해결하면 토큰을 금방 많이 쓰게 됨
발표에서 이해한 바로는, 제한된 책임을 가진 에이전트와 아마도 더 작은 모델을 써서 답변이 빠르고 안정적이며 비용이 너무 크지 않게 만든 것 같음

유럽의 소비자 대상 기업은 미국 기업처럼 쉽게 규모를 키우기 어려운데, 이게 유럽이 전반적으로 기술 기업을 키우는 데 겪는 문제의 큰 원인임
반면 그런 사업은 방어력이 꽤 있을 수 있지만, 대개 그만큼 높은 수익성으로 이어지지는 않음