THX-01 공개: 티켓 분류에서 Sonnet 5.5에 필적하는 322M 의사결정 모델을 ~10ms 만에 구현
요약
THX-01은 티켓 분류 등 반복적이고 지루한 의사결정을 위해 설계된 322M 파라미터의 비(非)자동회귀 모델입니다. 이 모델은 단일 순전파로 여러 옵션에 대한 확률을 반환하며, JSON 파싱이나 재시도 과정 없이 빠르고 효율적인 처리가 가능합니다.
핵심 포인트
- THX-01은 322M 파라미터의 비(非)자동회귀 모델입니다.
- 단일 순전파로 모든 옵션에 대한 확률을 반환하여 빠릅니다.
- JSON 파싱이나 재시도 과정이 없어 효율적이고 안정적입니다.
오늘 저희는 에이전트와 백엔드가 하루 수천 번씩 내리는 지루한 결정들을 위한 모델인 THX-01을 공개합니다: 이 티켓을 어느 라우트로 보낼지, 스팸인지 아닌지, 어떤 팀인지, 송장 총액은 얼마인지, 어떤 문장이 그것을 뒷받침하는지 등.
모델 개요 (What it is)
- 322M 파라미터 (mmBERT-base 인코더 + 15M 의사결정 헤드), Apache 2.0 라이선스
- 비(非)자동회귀적(Non-autoregressive): 상태와 유형화된 질문을 보내면, 단일 순전파(forward pass)로 모든 옵션에 대한 확률을 반환합니다. 생성 과정도 없고, JSON 파싱도 없고, 재시도(retries)도 없습니다.
- 질문 유형:
choice,noul(예/아니오),score, 그리고 문서에서 언급된 값을 가져오는number또는null, 구체적인 범위와 오프셋을 가진excerpt, 그리고 모든 질문에 대한 `
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기