요약

N-Day-Bench는 대형 언어 모델(LLMs)이 지식 컷오프 날짜 이후에 발견된 실제 세계의 취약점('N-Days')을 찾아내는 능력을 측정하는 새로운 벤치마크입니다. 이 테스트는 모든 모델에게 동일한 환경과 컨텍스트를 제공하며, 보상 해킹을 위한 여지를 두지 않아 LLMs의 진정한 사이버 보안 및 취약점 발견 역량을 객관적으로 평가합니다.

핵심 포인트

• N-Day-Bench는 LLM의 실제 취약점 발견 능력을 측정하는 데 초점을 맞춘 벤치마크입니다.
• 테스트는 지식 컷오프 이후에 공개된 'N-Days'와 같은 최신 실세계 취약점을 다룹니다.
• 모든 모델은 동일한 테스트 환경과 컨텍스트를 사용하며, 보상 해킹을 방지하여 공정한 평가가 이루어집니다.
• 이 벤치마크는 월 단위로 업데이트되며, 지속적으로 최신화되는 적응형(adaptive) 특성을 가집니다.