Batch Worker — 100개의 AI 에이전트 병렬 실행 및 토큰 소모 없는 정리
요약
Batch Worker는 최대 100개의 AI 에이전트를 병렬로 실행하여 코드 감사 및 콘텐츠 생성 속도를 혁신적으로 높이는 도구입니다. 시차를 둔 배치 실행과 토큰 소모 없는 자동 정리 파이프라인을 통해 효율적인 작업을 지원합니다.
핵심 포인트
- 최대 100개의 AI 에이전트를 병렬로 배치하여 작업 병목 현상 해결
- ai_planner, core_taskPipeline, ai_collector로 구성된 3단계 파이프라인
- LLM 토큰 소모 없이 스크립트로 결과물을 정리하는 Zero-Token Cleanup 기술
- 보안, 코드 감사 등 104가지 감사 차원과 83가지 작업 유형 지원
Batch Worker: 100개의 AI 에이전트 병렬 실행
문제점 (The Problem)
파일을 하나씩 확인하며 코드베이스를 감사(Auditing)하는 데는 수 시간이 걸립니다. 콘텐츠 생성, 검색, 수정 등 모든 작업이 순차적 실행(Sequential execution)으로 인해 병목 현상이 발생합니다.
해결책 (The Solution)
Batch Worker는 OpenClaw 스킬로, 속도 제한(Rate limits)을 피하기 위해 시차를 두고 실행(Staggered launch)되는 최대 100개의 AI 에이전트를 병렬로 배치(Dispatch)합니다.
3단계 파이프라인 (Three-Step Pipeline)
1. ai_planner -> 프로젝트 분석, 100개의 soldier 프롬프트를 포함한 감사 계획 생성
2. core_taskPipeline -> 시차를 둔 배치(Batch) 단위로 100개의 에이전트 배치 (배치당 10개 x 20ms)
3. ai_collector -> 보고서 수집, 중복 제거, 심각도별 순위 지정 — LLM 토큰 소모 없음
104가지 감사 차원 (104 Audit Dimensions)
| 도메인 (Domain) | 차원 (Dimensions) |
|---|---|
| 보안 (Security) | 42 (인젝션(Injection), XSS, CSRF, 인증(Auth), 암호화(Encryption)...) |
| ... |
83가지 작업 유형 (83 Task Types)
코드 감사부터 콘텐츠 생성, 검색에서 수정, 번역에서 분석까지 — batch-worker는 이 모든 것을 처리합니다.
토큰 소모 없는 정리 (Zero-Token Cleanup)
100개의 에이전트가 작업을 마치면, ai_collector가 LLM 토큰을 전혀 사용하지 않고 자동으로 JSON 결과물을 추출, 중복 제거 및 병합합니다. 순수 스크립트로 작동하며 환각(Hallucination)이 없습니다.
GitHub: https://github.com/haoyun18881-beep/batch-worker
Docs: https://haoyun18881-beep.github.io/batch-worker/
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기