ts-bench: TypeScript 워크로드 기반 AI 코딩 에이전트 비교를 위한 벤치마크 CLI

요약

ts-bench는 TypeScript 워크로드 환경에서 다양한 AI 코딩 에이전트의 성능을 비교할 수 있는 CLI 기반 벤치마크 도구입니다. 25개의 독립적인 연습 문제와 실제 모노레포 기반의 대규모 태스크를 통해 모델 및 제공업체별 통과 여부를 확인할 수 있습니다.

핵심 포인트

• TypeScript 워크로드에 특화된 AI 코딩 에이전트 성능 비교 도구
• 실험실 수준의 정밀도보다는 성능의 방향성을 파악하는 데 목적을 둠
• 독립적인 연습 문제(v1)와 실제 모노레포 기반의 대규모 작업(v2) 데이터셋 제공
• Docker 없이 실행 가능한 환경과 Docker가 필요한 실제 작업 환경을 모두 지원
• Cursor를 포함한 다양한 에이전트 실행 시 주의사항 및 토큰 사용량 수집 기능 포함