MiniMax 2.7 @47tg 1200pp
요약
MiniMax 2.7 모델을 활용하여 에이전트 클래스 시스템을 구축한 사례를 소개합니다. 고사양 하드웨어 환경에서 MoE 모델과 시퀀싱 에이전트, 비동기 감시 모델을 결합한 루프 구조를 구현했습니다.
핵심 포인트
- MiniMax 2.7 모델의 탁월한 지시 이행 및 도구 호출 능력 활용
- MoE 모델과 CPU 기반 시퀀싱 에이전트를 결합한 라운드 로빈 루프 구성
- 20k~40k 토큰의 정형화된 컨텍스트를 활용한 에이전트 작동
- 비동기 12b 밀집 모델을 통한 전체 루프 모니터링 및 오류 검출
96GB VRAM, b840 MSI 보드와 192GB DDR5 udimm RAM, 9900X CPU 환경에서 실행되는 MiniMax 2.7 REAP Q4 설정입니다. 1250W PSU를 사용하며 모든 카드는 전력 제한(power limited) 상태입니다. 운영체제는 Linux Ubuntu입니다.
에이전트 클래스 모델(Agent class model)입니다. 지시 이행(instruction following) 및 도구 호출(tool calling) 능력이 탁월합니다. 저는 CPU에서 실행되는 3개의 시퀀싱 에이전트(sequencing agents)와 함께 라운드 로빈(round robin) 루프로 이 모델을 실행합니다. 이 '드림어(dreamers)'들은 시스템 프롬프트에 20k~40k 토큰 사이의 정형화된 컨텍스트(canonical context)를 로드하여 작동합니다. 빠른 시퀀싱을 위해 MoE 모델을 사용하며, 전체적으로 약 15-20 tg 및 300 PP 수준입니다. 각 루프를 완료하는 데는 4분에서 10분이 소요됩니다. 또한, 전체 루프를 감시하며 잘못된 점을 하나씩 찾아내는 역할을 수행하는 비동기 방식의 12b 밀집(dense) 모델도 함께 사용 중입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기