Ultramarine 1 Flash - 금융, 법률, 컨설팅, 운영 실무용 오픈 모델

비교 대상을 골라 보여주는 그래프는 불필요하게 오해를 유발함. 강점과 약점을 있는 그대로 드러내면 좋겠음.
"Results"에서는 Ultramarine이 모든 지표에서 앞서는 모델만 비교하고 Fable 5.1, GPT-6 Astra, Claude Opus 5.5 등은 제외함. 그런데 가격에 초점을 둔 "Score against cost per task" 그래프에서는 성능이 더 좋은 모델들이 더 비싸다는 이유로 다시 등장함.
때로는 2위라고 밝혀도 괜찮음. 충분히 인상적인 제품인데, 얄팍한 마케팅 수법으로 그 가치를 가리지 않았으면 함.

우리 스타트업의 홍보 담당자는 BuzzFeed식 목록 기사를 만들면서 우리 제품을 늘 두 번째나 세 번째로 넣곤 했음. 하지만 실제 목적은 검색 유입보다 업계 선두 기업과 창업자의 Google Alerts에 노출되는 것이었음.
이후 같은 담당자가 일반인인 것처럼 LinkedIn이나 이메일로 접근해, 자신이 관여하는 콘퍼런스의 대담에 함께 참여하자고 제안함. 공개 대담과 그 기록을 통해 기존 유명 브랜드의 인지도를 빌려 우리도 알려지는 구조였음.
덕분에 몇 년간 우리 검색 결과도 아주 좋아졌음. 모든 활동에는 복수의 목적이 있었지만, 자기 홈페이지에서 자화자찬하는 건 거의 쓸모가 없음.

Ultramarine 1 Flash의 기반이 궁금하다면 GLM-5.3 Flash에 대규모 강화학습을 적용한 모델임. 전문 지식 업무용 에이전트 모델이며, 평가한 지식 업무 벤치마크 6개 모두에서 기반 모델보다 개선됐다고 함. 기반 모델 자체로 좋고 나쁨을 판단할 생각은 없고, 사후 학습을 얼마나 잘했느냐가 관건인데 그 부분은 아직 판단하기 어려움.

현재 지식 업무에 GLM 5.3 flash를 쓰고 있어서 이것도 살펴볼 예정임.

회사를 운영하려면 특화 모델이 몇 개나 필요할지 궁금해서 직접 써보고 싶음. 폴더를 지정해 청구서를 장부에 기입하게 하거나, 1년치 개인 거래 내역 CSV를 처리·분류하게 한 뒤 특정 추세를 물어보는 식으로 회계 업무에 시험해 볼 계획임.

그건 LLM보다 Python 스크립트에 더 적합한 작업처럼 보임.

이런 모델에는 어떤 실행 환경(하네스) 을 붙여야 하는지 궁금함. 제대로 이해했다면 업무용 문서를 만들 수 있다는데, 실제로 어떻게 만드는 것인지?
"지난 분기 매출 수치로 발표 자료를 만들어 줘"라고 하려면 어디에 연결해야 하는지 알고 싶음. Twitter 영상을 보면 이 도구인 것 같기도 함. https://www.paperinstruments.com/feather

DeepSeek은 월 5달러 정도로 비용을 신경 쓰지 않을 만큼 저렴한데도, 이 그래프들에서 꽤 높은 성능을 보여 흥미로움.

그렇게 저렴하다면 판매자에게 가치 있는 무언가를 제공하고 있다는 점을 기억해야 함.

작업당 비용의 파레토 그래프에는 왜 6.1 Sol이 빠져 있는지?

프런티어 모델의 기준이 무엇인지 궁금함. 성능이 Luna (Max)와 비슷해 보이는데, 프런티어라면 6.1 Sol, 6 Astra, Opus 5.5 같은 모델을 뜻하는 줄 알았음. 누가 설명해 줄 수 있는지?

요즘은 비용 대비 성능의 파레토 경계를 뜻할 때가 많음. 해당 비용 조건에서 얻을 수 있는 최고 성능이라는 의미임.

프런티어 모델은 원래 지능의 한계를 넓히는 모델을 뜻하므로 Fable이나 Astra가 맞다고 봄. 여기서는 달러당 지능의 경계, 즉 파레토 경계를 뜻할 수 있지만, 실제로는 그다지 좋은 기준이 아닐 때가 많음.
콜센터 문의 분류처럼 같은 작업을 반복한다면 작은 모델을 미세조정해 대형 LLM보다 항상 비용을 낮출 수 있음. 지식 업무에서는 모델별 특성이 다양해 가격 외 요소가 대체로 중요함.
예를 들어 Opus 5의 형편없는 영어 때문에 떠난 사람이 많았지만 Opus 5.5에서는 개선됨. 이런 차이는 벤치마크로 측정되지 않음.

여기서는 주로 더 저렴하고 빠른 것을 프런티어로 보는 듯함. 백그라운드 작업에 이런 모델을 쓰면 다른 공개 모델보다 어느 정도 유용할 수 있음.

프런티어 모델이라고 한 게 아니라 프런티어급 성능이라고 한 것임.

벤치마크상으로는 모델 자체도 훌륭해 보이고, 그 위에 실행 환경까지 상당히 구축했다는 점이 인상적임.

수십 명이 Qwen 3.6 35b-a3b와 3.8 27B를 미세조정하고 귀여운 이름을 붙였던 것처럼, GLM 5.3 Flash도 같은 흐름을 타는 게 흥미로움. Thomson Reuters의 Qwen 변형 모델인 thomson-1.0은 문서 분석에 실제로 유용함.
개발팀이 보고 있다면 같은 벤치마크 일부를 Thomson 모델에도 돌려주면 좋겠음. 충분히 쓸 만하면서도 GLM 5.3-flash보다 모델 크기와 내장 지식량이 상당히 작은 모델임.

누군가는 자기 특이한 작업을 한 번에 해결하지 못했다고 할 텐데, 두 번이나 열 번 시도해서 해결했다면 여전히 더 저렴할 수 있음. 반복 시도로 밀어붙이는 것이 연구소들이 가는 방향임. Hacking Bench를 풀려는 에이전트 1,200개가 Hugging Face를 해킹하거나, Anthropic이 수천 명 직원의 커밋 규모를 엔지니어 1만 명에 비유하는 것도 같은 맥락임.
AI를 커피나 식사, 화장실 휴식이 필요 없는 인턴처럼 배치하면 됨. 적절한 평가 지표만 있다면 충분히 최적에 가까운 해법에 도달할 수 있음.

그 접근에는 한계가 있음. 확률적 슬롯머신은 코딩이나 문제 해결처럼 결정적으로 평가할 수 있는 작업에는 통하지만, 이 모델이 겨냥하는 전문 업무처럼 주관적인 작업에는 통하지 않음.