THX-01 공개: 스마트폰에서도 실행 가능한 3억 2,200만 개 매개변수 AI 의사결정 모델

오늘 저희는 아제르바이잔 바쿠의 HAL-X AI가 개발한 오픈 소스 비(非)자기회귀식(non-autoregressive) 의사결정 모델인 THX-01을 소개합니다.

단 **3억 2,200만 개 매개변수(parameters)**로 THX-01은 값비싼 GPU 인프라를 요구하지 않고도 CPU와 잠재적으로 스마트폰에 배포할 수 있을 만큼 가볍습니다.

전통적인 대규모 언어 모델(large language models)과 달리, THX-01은 텍스트 토큰을 하나씩 생성하지 않습니다. 대신 입력값을 처리하고 보정된 신뢰도 점수(calibrated confidence scores)와 함께 구조화된 의사결정을 단일 순전파 과정(single forward pass)에서 반환합니다.

주요 특징 (Key Highlights)

• 3억 2,200만 개 매개변수: 특화된 의사결정 헤드(decision head)를 갖춘 mmBERT 기반.
• GPU 환경에서 요청당 약 10ms 추론 시간(inference).
• 모바일 및 엣지 배포에 적합한 간결한 아키텍처로 CPU 호환.
• 다국어 지원 티켓 분류 벤치마크에서 98.4%의 정확도를 달성했으며, 이는 Claude Sonnet 5.5의 98.5%와 비교됩니다.
• 아제르바이잔어, 영어, 러시아어, 터키어를 포함하여 18개 언어 지원.
• 추정된 불확실성에 기반하여 애플리케이션이 의사결정을 내릴 수 있도록 하는 보정된 신뢰도 점수 제공.
• 공개 가능한 모델 가중치(model weights)를 가진 Apache 2.0 라이선스.

개발 배경 (Why We Built It)

모든 AI 작업이 거대한 생성형 모델을 필요로 하는 것은 아닙니다.

메시지 분류, 고객 요청 라우팅, 스팸 감지, 문서 값 추출 및 구조화된 의사결정은 종종 훨씬 더 작은 모델로 처리될 수 있습니다.

THX-01은 속도, 효율성 및 신뢰성을 우선하여 이러한 워크로드(workloads)를 위해 특별히 설계되었습니다.

저희의 목표는 생산 서버부터 리소스가 제한된 엣지 장치에 이르기까지 다양한 환경에서 지능적인 의사결정 기능을 접근 가능하게 만드는 것입니다.

시작하기 (Get Started)

pip을 사용하여 THX-01을 설치하세요:

pip install thx01

모델 로드:

import thx01

agent = thx01.load(

우리는 AI의 미래가 단순히 더 큰 모델을 구축하는 것에 관한 것이 아니라고 믿습니다. 또한 강력한 기능을 모두에게 접근 가능하게 만드는 작고 전문화된 모델을 구축하는 것에도 달려있다고 생각합니다.