Show HN: MCPJam - MCP 서버를 위한 최초의 테스트 및 평가 플랫폼
요약
MCPJam은 모든 주요 AI 클라이언트 환경에서 MCP 서버의 테스트 및 평가를 위한 플랫폼입니다. 이 도구는 첫 프롬프트부터 출시 단계까지 지속적인 게이트 역할을 하며, 여러 클라이언트 간 일관성을 검증할 수 있게 합니다. 개발자들은 Inspector 기능을 통해 다양한 클라이언트에서의 동작을 비교하고, Swarms 기능을 이용해 시뮬레이션된 사용자 여정을 테스트하여 서버의 안정성을 확보할 수 있습니다.
핵심 포인트
- MCPJam은 주요 AI 클라이언트 전반에 걸친 통합 테스트 플랫폼입니다.
- Inspector를 사용해 여러 클라이언트 간 프롬프트 및 동작을 비교 검증합니다.
- Swarms 기능을 통해 시뮬레이션된 사용자 여정(Agent personas)을 테스트할 수 있습니다.
- 개발자들은 이 도구를 활용하여 서버의 안정성과 일관성을 확보할 수 있습니다.
모든 주요 AI 클라이언트에서 MCP 서버 테스트하기.
첫 번째 프롬프트부터 모든 출시 단계에 걸친 지속적인 게이트까지, MCPJam은 모든 AI 클라이언트에서 무엇이 깨지는지, 그리고 어떻게 수정할 수 있는지 보여줍니다.
16개 이상의 주요 AI 클라이언트에서 테스트

지난 7일간의 페이지 조회수 및 가입자 수를 확인하세요.
show_analytics 완료
PULSE · MCP APPDemo 데이터페이지 조회수
24,800
9월 8일–14일 · 지난 7일간

지난 7일간의 페이지 조회수 및 가입자 수를 확인하세요.
show_analytics 완료
PULSE · MCP APPDemo 데이터가입자 수
386
9월 8일–14일 · 지난 7일간
무언가를 질문하세요… 스킬(Skills) 및 MCP 프롬프트를 위해 슬래시 “/” 명령어를 사용하세요.
106,000명 이상의 개발자와 280개 이상의 기업의 신뢰를 받았습니다.
“저희는 매일 MCPJam을 사용합니다. 이는 MCP 서버 테스트에 필수적이 되었습니다.”
“MCPJam 크레딧이 떨어지면 하루가 멈춥니다. 이것 없이는 어떻게 일할지 모르겠습니다.”
인스펙터(Inspector)
여러 클라이언트에서 동일한 프롬프트가 표시되는 것을 확인하세요.
도구를 호출하고, 추적을 읽고, 제품이 다른 클라이언트에서 어떻게 나타나는지 비교해 보세요.


무언가를 질문하세요… 스킬(Skills) 및 MCP 프롬프트를 위해 슬래시 “/” 명령어를 사용하세요.
스웜즈(Swarms)
사용자가 실제로 거치는 여정을 테스트하세요.
에이전트 페르소나(Agent personas)가 모든 클라이언트를 가로질러 이를 실행합니다. 모든 세션은 캡처되고 점수가 매겨집니다.
사용자 스웜 생성하기
시뮬레이션된 사용자가 서버를 통과하며 무엇이 깨지는지 확인할 수 있습니다.
사용자들이 상호 작용할 클라이언트와 서버를 선택하세요. *
이것이 스웜의 동작을 결정합니다. 클라이언트 간의 동작을 나란히 비교할 수 있습니다.



사용자와 그들의 행동을 설명하세요. *
저희가 입력 내용을 바탕으로 사용자 목표를 구축합니다. 귀하의 입력은 최종본이 아닙니다. 다음 화면에서 페르소나와 목표를 편집할 수 있습니다.
생성된 페르소나
- MCMaya Chen · 지원 담당자 주문 A-2291에서 중복 청구 건을 찾아 환불하세요. 8 × 3 클라이언트
- JHJordan Hale · 재무 운영팀 지급액 po_7Hd2를 그 청구 건에 맞추고 누락된 것이 있는지 표시하세요. 8 × 3 클라이언트
- PSPriya Shah · 개발자 인보이스를 생성하고, 결제를 실패시키고, 웹훅이 발생하는지 확인하세요. 8 × 3 클라이언트
사용자 테스트
실제 사용자를 초대하여 동일한 기능을 테스트하게 하세요.
샌드박스 세션을 공유하고 사용자 감성을 측정하며 사용성 격차를 발견하세요.
설정 액세스
액세스됨
평점
턴별 평점
미리보기

주문 A-2291의 중복 청구 금액 환불
주문 A-2291에 대해 $129.00인 ch_3RkA9와 41초 간격으로 $129.00인 ch_3RkQ9, 두 건의 청구가 발견되었습니다. 저는 ch_3RkQ9를 중복분으로 환불했습니다. 고객은 영업일 기준 5~10일 이내에 이를 확인할 수 있습니다.
AI는 실수를 할 수 있습니다. 응답을 반드시 재확인하세요.
로그인한 사용자로 미리보기. 이 링크를 여는 테스터는 게스트 경험을 하게 되며, 이는 다를 수 있습니다.
평가하기
모든 AI 클라이언트의 품질 기준을 설정하세요.
견고한 테스트를 구축하고 모든 배포에서 신뢰성을 확보하세요.
평가하기
Suite health (스위트 상태)
12회 실행 평균 98%
실행(Runs)
| 실행 | 스위트 | 클라이언트 | 결과 | 비율 | 플랫폼 | 날짜 | 지연 시간 | 토큰 | 호출 |
|---|---|---|---|---|---|---|---|---|---|
| #128 | Payments operations (결제 운영) | 96%69/72 | GitHub | Sep 13, 2:00 AM | 18.4s | 16.2k | 44 | ||
| ... | |||||||||
| CI/CD |
병합되기 전에 실패하는 것을 차단하세요.
모든 풀 리퀘스트(pull request)에 동일한 스위트를 실행합니다. 실패한 검사는 병합을 차단합니다.
list_charges: 전체 청구 객체 반환 #482
m.okafor가 release/2.15에 커밋 1개를 병합하려고 합니다.
일부 검사가 성공하지 못했습니다
실패한 검사 1개, 성공한 검사 4개
- BuildSuccessfulRequired (빌드 성공 필수)
- Unit testsSuccessfulRequired (단위 테스트 성공 필수)
- MCPJam / Protocol conformance (프로토콜 준수성 필수)
- MCPJam / OAuth & security (OAuth 및 보안 필수)
- MCPJam / Evals (평가) 89% 통과율 · 95% 필요
병합이 차단되었습니다
MCPJam 평가는 이 풀 리퀘스트가 병합되기 전에 통과해야 합니다.
질문들
테스트를 시작하기 전에.
아닙니다. MCPJam은 각 클라이언트의 현재 동작을 유지하여 사용자가 오늘 경험하는 것을 테스트에 반영합니다.
취약한 단언(brittle assertions)이 아닌 평가(evaluation)로 진행됩니다. MCPJam은 반복 실행 전반에 걸쳐 도구 선택, 인자, 목표 달성도를 점수화하고, 점수가 왜 변했는지 보여줍니다.
그러한 제품들은 사용자가 제어하는 에이전트를 평가합니다. MCPJam은 외부 AI 클라이언트가 귀하의 MCP 서버를 어떻게 사용하는지 테스트합니다.
MCPJam은 프리-프로덕션 단계이며 라이브 트래픽을 전혀 받지 않습니다. Inspector는 로컬 또는 CI에서 실행되며, 엔터프라이즈급 기능에는 SSO(Single Sign-On), 감사 로그(audit logs), 그리고 DPA가 포함됩니다.
네. Inspector, CLI, SDK, 로컬 평가(local evals), 그리고 규정 준수 검사(conformance checks)는 모두 오픈 소스이며 무료입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN Claude Code Search의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기