Mistral AI가 코드 생성(code generation)을 위해 명시적으로 설계된 22B 파라미터 모델인 Codestral을 출시했습니다. 이는 단순히 가장 큰 모델이기 때문이 아니라, 특화된 모델이기 때문에 주목할 만한 출시입니다. 여기서 얻을 수 있는 시사점은 기술의 최전선이 거대한 범용 모델(general-purpose models)에서 전문적인 도구를 위한 효율적이고 작업 특화적인 아키텍처(task-specific architectures)로 이동하고 있다는 점입니다.

Codestral이란 무엇인가

Codestral은 Python, Java, C++, JavaScript를 포함하여 Swift 및 Fortran과 같은 더 전문적인 언어까지 80개 이상의 프로그래밍 언어를 다루는 데이터셋으로 학습된 오픈 웨이트(open-weight) 22B 모델입니다. 이 모델의 결정적인 특징은 집중력입니다. 광범위한 텍스트 기반 작업을 처리하는 범용 모델(generalist models)과 달리, Codestral은 함수 완성(function completion), 테스트 생성(test generation), 그리고 부분적인 코드 블록 채우기(filling in partial code blocks)와 같은 코드 중심의 워크플로우를 위해 설계되었습니다.

이 모델은 연구 및 테스트 목적으로 사용할 수 있는 “Mistral AI 비상용 라이선스(Mistral AI Non-Production License)” 하에 출시되었습니다. 이러한 “오픈 웨이트(open-weight)” 방식은 개발자가 모델의 파라미터를 직접 다운로드하고 실험할 수 있게 해주지만, 라이선스는 상업적 생산 사용에 대한 제약을 암시합니다.

주요 기술적 역량 중 하나는 중간 채우기(fill-in-the-middle, FIM) 메커니즘으로, 이는 지연 시간(latency)이 주요 고려 사항인 IDE 기반 코드 완성에서 매우 중요합니다. 이는 이 모델이 VSCode나 JetBrains와 같은 도구에서 흔히 발생하는 저지연(low-latency), 고빈도 상호작용에 최적화되어 있음을 시사합니다.

액세스 방법

Codestral을 사용하는 방법은 몇 가지가 있습니다. 직접적인 통합 및 IDE 도구 활용을 위해 Mistral은 codestral.mistral.ai에 전용 엔드포인트(endpoint)를 제공했습니다. 이 엔드포인트는 모델을 자신의 도구에 통합하려는 개발자들을 위한 것이며, 베타 기간 동안은 무료로 제공됩니다. 또한 표준 api.mistral.ai 엔드포인트에서도 사용할 수 있으며, 여기서는 토큰당 비용이 청구됩니다.

로컬 개발 및 실험을 위해 모델을 직접 실행할 수 있습니다. Hugging Face에서 다운로드할 수 있으며, Ollama와 같은 도구를 사용하여 실행할 수 있습니다. 이를 통해 오프라인 사용 및 로컬 개발 환경으로의 더 깊은 통합이 가능합니다.

모델을 pull한 후 Ollama API를 통해 모델과 상호작용하는 기본적인 예시는 다음과 같습니다:

# 먼저, Ollama로 모델을 pull합니다
ollama pull codestral

...

에이전트 애플리케이션 (agentic applications)을 구축하기 위한 LlamaIndex 및 LangChain과 같은 프레임워크와, Tabnine 및 Continue.dev와 같은 IDE 확장 프로그램에서 이미 통합 기능을 사용할 수 있습니다.

빌더들에게 이것이 중요한 이유

주요 연구소에서 전용 고성능 코드 모델을 출시하는 것은 중요한 의미를 갖습니다. 이는 개발자들이 단일한 거대 모델 (monolithic AI)에 의존하기보다 전문화된 시스템으로 작업을 라우팅 (route)하게 될 멀티 모델 (multi-model) 미래로의 이동을 시사합니다. 코드 생성의 경우, 코드에 특화되어 학습되었고 수십 개의 언어에 능통한 모델은 범용 모델 (generalist)에 비해 성능과 지연 시간 (latency) 측면에서 이점을 제공합니다.

220억 (22-billion) 개의 파라미터 (parameter) 규모 또한 의도적인 선택입니다. 이는 강력한 성능을 발휘할 만큼 충분히 크면서도, 밀리초 (milliseconds) 단위가 중요한 코드 완성 (code completion)과 같은 대상 사용 사례에서 효율적일 만큼 충분히 작습니다. 발표에서 인용된 내부 평가에 따르면, 이 모델은 품질을 유지하면서 자동 완성 (autocomplete)에 대한 지연 시간을 크게 줄여줍니다.

하지만 비상업적 이용 라이선스 (non-production license)는 중요한 세부 사항입니다. 이는 실험과 연구를 장려하지만, 이 모델을 상업적 제품에 포함하려는 팀은 약관을 신중하게 검토해야 함을 의미합니다. 이는 완전한 오픈 소스 (open-source) 모델과는 다른 경로이며, 파운데이션 모델 (foundational models)을 상업화하기 위한 하이브리드 전략을 나타냅니다.

AI 기반 개발자 도구를 구축하는 엔지니어들에게 Codestral은 활용 가능한 새로운 프리미티브 (primitive)입니다. 이는 로컬에서 실행하거나 빠르고 전용화된 API를 통해 접근할 수 있는, 코드 작업에 특화된 강력한 엔진입니다. 이제 초점은 이러한 특화된 모델들을 기반으로 어떻게 지능형 애플리케이션을 구축할 것인가로 이동합니다.

출처

• Mistral AI Announcement