6B의 활성 파라미터 (active parameters)를 가진 Apache-2.0 라이선스의 무료 모델인 Leanstral 1.5는 형식 검증 (formal verification) 분야에서 대폭적인 성능 향상을 제공합니다. 이 모델은 miniF2F를 포화시키고, PutnamBench 문제 중 587/672개를 해결하며, FATE-H (87%) 및 FATE-X (34%)에서 최첨단 (state-of-the-art) 결과를 달성했습니다. 미드 트레이닝 (mid-training), 지도 미세 조정 (supervised fine-tuning), 그리고 CISPO를 활용한 강화학습 (reinforcement learning)을 통해 학습되었으며, 에이전트 기반 증명 엔지니어링 (agentic proof engineering) 및 실제 코드 검증 (real-world code verification)에서 탁월한 성능을 보이며 테스트된 57개 저장소(repositories)에서 이전에 알려지지 않았던 5개의 버그를 발견했습니다.

Leanstral 1.5는 자동 정리 증명 (automated theorem proving) 및 형식 증명 엔지니어링 (formal proof engineering)에 사용될 수 있으며, 이를 통해 개발자는 소프트웨어와 코드 명세 (code specifications)의 정확성을 검증할 수 있습니다.
블로그: https://mistral.ai/news/leanstral-1-5/
벤치마크는 댓글 참조
submitted by /u/Tall-Ad-7742 to r/LocalLLaMA
[link] [comments]