이제 AI 에이전트에 대해 완전한 독립적 감사 (independent audit)를 수행할 수 있으며, 에이전트가 스스로를 감사합니다 🤯

이름은 iFixAi입니다. 에이전트를 대상으로 지정하면, 45가지 검사 (inspections)를 실행하고 120초 이내에 A부터 F까지의 등급을 돌려받습니다.

작동 원리:
벤치마크 (benchmarks)와 평가 (evals)는 모델을 고립된 상태에서 점수화합니다. 관찰 가능성 (observability)은 문제가 이미 발생한 후에 무엇이 잘못되었는지를 보여줍니다. iFixAi는 배포된 상태의 에이전트를 테스트하며, 에이전트가 실제로 부여된 작업 범위 내에 머물렀는지라는 다른 질문을 던집니다.

$0로 얻을 수 있는 것:
→ 16개 카테고리에 걸친 45가지 검사 (inspections)
→ 5가지 핵심 기둥 점수화: 허위 정보 생성 (fabrication), 조작 (manipulation), 기만 (deception), 예측 불가능성 (unpredictability), 불투명성 (opacity)
→ 샌드배깅 (sandbagging) 탐지: 테스트를 감지했을 때 더 잘 작동하는 에이전트를 식별합니다.
→ 심판은 경쟁사 벤더로부터 자동으로 페어링되어, 모델이 스스로를 채점하는 것을 방지합니다.
→ ./ifixai-results/ 폴더에 JSON 및 markdown 보고서 생성

대체하는 것:
→ 직접 수동으로 구축하려 했던 평가 하네스 (eval harness)
→ 제품이 출시된 후에야 피해 상황을 보여주는 대시보드 (dashboards)
→ 법무팀이 에이전트가 왜 그렇게 행동했는지 물을 때 내놓는 "괜찮을 것 같습니다"라는 답변

설정 방법 (2분):

1. /plugin marketplace add ifixai-ai/iFixAi
2. /plugin install ifixai@ifixai-ai
3. "run iFixAi on my setup"이라고 요청합니다.
4. 설정 (config)을 발견하고, 피스처 (fixture)를 구축하며, 비용을 청구하기 전에 비용을 명시합니다.

터미널을 선호하시나요? pip install "ifixai[anthropic}"을 실행한 다음, ifixai setup, 그 다음 ifixai run을 실행하세요. 또는 uvx ifixai install --agents all을 사용하여 머신의 모든 에이전트에 스캐폴딩 (scaffold)할 수 있습니다.

비용을 지불하기 전에 작동 모습을 보고 싶다면, 키(key)나 네트워크 없이 약 1초 정도 걸리는 모의 실행 (mock run)을 해보세요:

ifixai run --provider mock --api-key not-used --eval-mode self

솔직한 부분:
가공되지 않은 모델 API (bare model api)를 대상으로 지정하면 점수가 낮게 나오는데, 이는 당연한 결과입니다. 가공되지 않은 모델에는 실제 에이전트가 가진 구성 요소가 전혀 없기 때문입니다. 실제 배포된 엔드포인트 (endpoint)를 대상으로 지정해야 하며, 그렇지 않으면 등급의 의미가 거의 없습니다. 텔레메트리 (telemetry)는 기본적으로 활성화되어 있으며 익명으로 처리되지만, --no-telemetry 옵션으로 끌 수 있습니다.

3.2k 스타, 291 포크, Apache-2.0 라이선스이며, 무료 오픈 소스입니다.