2026년 7월 23일 - Link Blog

최초로 알려진 폭주하는 AI 에이전트 - 아니면 매우 형편없는 마케팅 상술인가? (via) OpenAI의 Hugging Face에 대한 우발적 사이버 공격에 대한 Martin Alderson의 논평에는 제가 고려하지 못했던 몇 가지 세부 사항이 포함되어 있습니다.

첫째, 임의 코드 (arbitrary code) 실행이 필요한 잠재적 취약점을 찾으려 한다면 Hugging Face는 진정으로 풍부한 공격 대상입니다:

Hugging Face는 엄청난 공격 표면 (attack surface)을 가지고 있습니다. 신뢰할 수 없는 모델과 코드를 실행하는 인터페이스가 셀 수 없이 많습니다. 그들이 분명히 방어에 투자해 왔겠지만, 운영 모델의 특성상 다른 많은 서비스보다 공격받을 기회가 훨씬 더 많습니다. 저는 그들의 사이버 보안 팀이 결코 부럽지 않습니다.

둘째, 저를 의아하게 만들었던 점 중 하나는 OpenAI가 자신들의 샌드박스 (sandbox)가 에이전트에 의해 어떻게 그렇게 철저하게 침해되었는지 알아차리지 못했다는 사실입니다. 분명히 네트워크 트래픽을 면밀히 모니터링하고 있었을 텐데 말이죠?

Martin은 다음과 같이 지적합니다:

그들이 ~무제한에 가까운 토큰 예산 (token budgets)과 함께 엄청난 양의 벤치마크 (benchmarks)를 동시에 실행하고 있었을 가능성도 큽. 특정 벤치마크에서 모델이 얼마나 우수한지 파악하기 위해서는 가능한 한 많은 샘플이 필요하기 때문입니다. 또한 모델이 다양한 훈련 단계를 거치면서 어떻게 개선되는지 이해하기 위해 모델의 다양한 체크포인트 (checkpoints)를 테스트하고 있었을 수도 있습니다.

이러한 종류의 벤치마크가 보통 작동하는 규모를 생각하면, 이 벤치마크를 실행하던 OpenAI 팀이 저지른 실수를 상상하기가 더 쉽습니다. 우리가 아는 바로는, 그들이 새로운 모델을 수십 개의 서로 다른 환경에서 동시에 수십 개의 벤치마크에 노출시켰을 수도 있습니다.

최근 기사

• OpenAI의 Hugging Face에 대한 우발적 사이버 공격은 실제로 일어난 SF다 - 2026년 7월 22일
• Claude Code 팀의 Cat 및 Thariq와의 Fireside Chat - 2026년 7월 21일
• Kimi K3, 그리고 pelican 벤치마크에서 우리가 여전히 배울 수 있는 것 - 2026년 7월 16일