POCKET-Darwin-180B, Hugging Face 공식 벤치마크 '에이전트 도구 호출 보호 평가'에서 리더보드 1위 달성
요약
VIDRAFT의 POCKET-Darwin-180B가 Hugging Face 공식 벤치마크 safeagents judge bench에서 리더보드 1위(0.599)를 달성했습니다. 이 벤치마크는 AI 에이전트가 도구 호출을 할 때 위험성을 판별하고 부정 행위를 식별하는 능력을 측정합니다. 특히 VIDRAFT의 보안 커널 ViKernel과 연동되어 높은 안전성과 정확도를 입증했습니다.
핵심 포인트
- POCKET-Darwin-180B가 Hugging Face safeagents judge bench에서 1위 점수(0.599)를 기록했습니다.
- 해당 벤치마크는 에이전트의 도구 호출 허용/차단 판별 정확도를 측정합니다.
- VIDRAFT는 보안 커널 ViKernel을 통해 위험한 도구 호출 실행 직전에 이를 차단하는 시스템을 구축했습니다.
- 모델은 셸 명령어 실행 등 다양한 도구 호출에 대한 안전성을 평가받았습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기