이런 목적 특화 모델에는 기회가 아주 많음. 이상적으로는 실행 프레임워크가 하위 에이전트를 띄워 특정 작업을 맞춤형 모델에 넘겨야 함
Claude Code가 탐색 작업을 Haiku에 맡기는 것과 비슷하며, 전문화된 LLM이 개발되는 모습이 반가움

이는 전문 모델이 아니라 상위 모델보다 가볍고 성능이 낮은 모델에 넘기는 것뿐임. 가벼운 모델이 상위 모델에 필요한 정보를 빠뜨릴 수도 있음
강력한 범용 모델을 능가하는 전문 모델은 드물고, 반복성이 높아 전문화가 유효한 작업이라면 차라리 프로그램으로 처리한 뒤 정제된 데이터를 주 모델에 전달하는 편이 나을 수 있음

Chroma의 Context1, SID의 SID-1 같은 모델이 있으며, 직접 후속 학습해도 pass@, recall@, ndcg@ 등에서 의외로 좋은 결과를 내기 쉬움
Hornet도 흥미로운 발표와 글을 공개하고 있음. 검색 전체를 에이전트에만 맡기기보다는 ZeroEntropy처럼 맞춤형 검색·재순위화용 증류 모델을 만들고 상위 k개 결과에 일부 에이전트 처리를 더하는 편이 경험상 더 나았음

연구소들은 사용자를 클라우드로 끌어들이고 제어권과 로컬 처리를 빼앗을 유인이 있어 이 방향을 선호하지 않음. 하지만 작은 AI 시스템과 도구를 실행 프레임워크에 넣으면 비용을 크게 줄이고 지능을 로컬로 옮길 수 있음
대부분 놀고 있는 RTX 4090 같은 소비자용 GPU로 프런티어 모델을 보조하고, 프런티어 모델은 여러 소형 전용 모델의 조정자 역할만 맡길 수 있음. 분류부터 코드 중복 탐지까지 전용 AI 모델은 매우 다양하며, 작은 로컬 모델이 전체 코드베이스를 빠르게 순회하면 문맥 창 한계도 우회 가능함
모델 묶음, 라우팅, DAG 기반 메모리·실행 관리를 결합하고, 프런티어 모델이 작업과 도메인에 맞는 로컬 실행 파이프라인을 동적으로 생성하는 프레임워크는 강력할 가능성이 큼

미래에는 애플리케이션의 수명주기와 코드에 LLM을 긴밀하게 통합해 함께 작동하도록 만들 것 같음
검색에 에이전트 실행 프레임워크를 쓰는 발상도 흥미로우며, 문맥이 짧다면 거의 모든 작업에 10만 토큰가량을 쓰는 일반적인 에이전트 코딩보다 저렴할 수 있음

대형 연구소 모델은 학술적으로 흥미롭지만 장기적인 사업성은 없어 보임. 모델이 완전한 범용 상품이 되고 훨씬 저렴한 대안이 등장하면 경쟁하기 어려움
이론적으로 100배 저렴한 상품을 낼 수는 있지만, 현재 사업 모델은 비싼 토큰으로 막대한 매출을 내야 유지됨

전기가 범용 상품이 된다고 원자로까지 범용 상품이 되는 것은 아님. 공개 가중치 모델도 기대와 달리 최첨단 모델 학습 노하우를 확산시키지 못했고, 주요 클라우드 업체조차 경쟁력 있는 모델을 처음부터 만들지 못하고 있음
토큰 가격의 병목은 경쟁 모델 수보다 총 연산량을 결정하는 하드웨어에 가까움. 제한된 연산 자원을 두고 여러 모델의 토큰이 경쟁하므로, 약한 모델이 만드는 덜 지능적인 토큰은 밀려날 것임
차세대 하드웨어가 대규모로 보급돼야 토큰 가격에 의미 있는 하락 압력이 생길 것으로 예상함

Castform 창업자로서, 미세조정한 소형 오픈소스 모델에 베팅하면서도 대형 연구소에는 낙관적임. 코드 생성이나 검색 같은 범용 용도에서는 확장된 폐쇄형 모델이 계속 우세하겠지만, 긴 꼬리 응용 분야에서는 맞춤형 미세조정 모델이 지배할 것으로 봄

소형 모델은 사람의 일자리를 대체하지 못하겠지만, 대형 모델을 쓰는 에이전트는 가능할 수 있음. 그래야 대형 연구소의 수익 계산도 성립함

더 근본적인 질문은 검색이 점점 커지는 건초더미에서 숨은 바늘을 얼마나 잘 찾느냐임. 하나의 바늘을 찾아야 다른 바늘의 위치를 알 수 있는 연결된 정보 검색도 얼마나 잘할 수 있는지 검증해야 함

현재 RAG·검색·평가 분야의 상태를 보면 전혀 신뢰하지 않으며, 폐쇄형 시스템이 과장된 주장을 내놓으면 더 믿기 어려움
모든 것이 피상적인 평가에 맞춰지고 몇 달에서 몇 년이면 사라짐. DeepSeek도 사실상 무료에 가까워 이미 훨씬 저렴한데, 다른 모델보다 100배 싸다는 주장 자체는 어렵지 않음

프로젝트와 하위 작업, 진행 상태를 담은 상세 프로젝트 파일을 사용함. 에이전트 문맥에 의존하지 않으면서 작업 방향을 유지해 줌
새 모델의 기능 범위 확장은 실제 문제이며, 원칙과 작업 간 충돌 해결법을 기록하는 것도 도움 됨. 오늘도 패치로 인해 여러 기준 정보가 생긴 문제를 찾아내 원칙에 따라 드러내고 해결했음

데이터베이스에서 올바른 자료구조를 사용하라는 원칙과 비슷함. 지난 2년 동안 가장 큰 범용 모델이 모든 일을 해야 한다고 가정했지만, 라우팅 비용이 미미하다면 검색·재순위화·추론·생성을 각각 최적화된 모델에 맡기는 편이 합리적임

하드웨어 측면의 유인이 커서 자연스럽게 이 방향으로 갈 것임. 프런티어 모델을 소형 모델로 분해할 수 있다면 작은 GPU 네트워크도 활용 가능하며, 현재 작은 GPU는 프런티어급 지능 작업에서 사실상 문진에 불과함

Castform은 에이전트 배포가 비용을 크게 따지지 않는 실험 단계에서 실제 서비스의 요청당 수익성을 따지는 단계로 넘어가면 최적화 모델에 대한 관심이 커질 것으로 봄

데이터가 너무 민감해 개인정보 보호나 보안을 보장할 수 없는 클라우드에는 올릴 수 없음. 비용은 상관없지만 제공업체가 데이터에 접근하지 못하도록 임대 GPU와 오픈소스 소프트웨어로 실행할 방법이 필요함

OpenRouter에는 Zero Retention 선택지가 있고 EU 제공업체를 쓰면 개인정보 보호를 어느 정도 기대할 수 있음
다만 GPU 임대업체도 데이터를 훔칠 수 있다는 점에서는 큰 차이가 없음. 가능하다면 로컬 GPU가 가장 확실하며 LocalAI 같은 도구로 실행하기도 그리 어렵지 않음

Luna나 DSFlash는 같은 작업에서 어떤 성능을 내는지 빠져 있음. 각각 25배, 50배 저렴한데 비교가 필요하며, 맞춤형 모델의 실행 속도도 공개되지 않음

조직 내부 검색을 해결하려고 왜 모델을 학습해야 하는지 의문임. 새 데이터셋이 추가될 때마다 다시 학습해야 하는 것인지 궁금함

핵심은 100배의 비용 차이임. 작업량이 많다면 큰 초기 학습비를 들여 저렴한 모델이 데이터셋을 잘 다루게 만드는 것이 총비용을 크게 줄여 줌
모든 곳에 GPT-5.6 Sol을 쓸 수도 있지만, 패스트푸드점마다 미슐랭 셰프를 고용하는 것과 비슷함. 청소년 교육과 식자재 조달 같은 중앙화된 반복 절차로 일관된 품질을 확보하면 점포마다 최고 수준의 비용을 낼 필요가 없음

후속 학습한 모델은 데이터셋 자체를 암기하기보다 일반적인 검색 패턴과 전략을 배워야 함. 새 문서가 분포에서 크게 벗어나지 않는다면 기존 전략이 그대로 전이될 수 있음

직접 시험했을 때 문서에서 사실을 검색하는 작업은 소형 모델이 같은 계열의 대형 모델보다 나을 수 있었음. 대형 모델은 과도하게 생각하지만 소형 모델은 바로 수행하는 것 같으며, 5.6 Luna와의 비교를 보고 싶음

그래서 현재는 Deepseek v4 flash 0731을 가장 선호함. 지나치게 의욕적으로 범위를 넓히지 않고 당면 작업에 집중함

Castform 창업자로서 모델 라우터 학습용 코딩 실행 기록을 벤치마크했는데, Luna가 Sol과 Terra에 비해 놀랍도록 잘 버텼음. Sol이 처리하는 작업의 95% 이상을 훨씬 적은 비용으로 해결했음
아직 오픈소스 모델은 측정하지 않았지만 Deepseek Flash와 Kimi k3 등을 추가해 결과를 공유할 예정임