CryptanalysisBench는 대규모 언어 모델(LLM)이 암호 시스템의 약점을 찾는 분야인 암호 해독(Cryptanalysis)에 기여할 수 있는지 측정하기 위해 설계된 새로운 벤치마크입니다. ETH Zurich, Anthropic, Tel Aviv University, 그리고 University of Haifa 소속 연구진이 개발한 이 벤치마크는 다양한 난이도와 실질적인 관련성을 가진 암호학적 문제들에 대해 모델의 성능을 평가할 수 있는 구조화된 방법을 제공합니다.

이 프로젝트가 중요한 이유는 더 강력한 AI 시스템이 암호학에 두 가지 방향으로 영향을 미칠 수 있기 때문입니다. AI는 연구자들이 암호 체계가 배포되기 전에 약점을 식별하는 데 도움을 줄 수도 있지만, 오랫동안 일반적인 용도로 충분히 안전하다고 간주되어 온 시스템들의 실질적인 위험 프로필(risk profile)을 변화시킬 수도 있습니다. 연구진은 CryptanalysisBench를 해당 능력이 이미 발생했다고 가정하기보다는, 그러한 능력의 변화를 추적하기 위한 수단으로 제시합니다.

arXiv에 게시된 CryptanalysisBench 프리프린트(preprint)는 3단계 평가 프레임워크, 실험적 프롬프트(prompts), 그리고 여러 최첨단 모델(frontier models)에 대한 결과를 설명합니다. 이 연구의 핵심 기여는 LLM이 암호 해독을 광범위하게 해결했다는 주장이 아닙니다. 대신, 정의된 암호 해독 작업에 대한 진전을 측정하고 현재 시스템이 잘 수행하는 부분과 그렇지 않은 부분을 식별하기 위한 반복 가능한 테스트베드(testbed)를 구축하는 것입니다.

벤치마크가 LLM 암호 해독을 측정하는 방법

CryptanalysisBench는 알려진 공격 및 배포된 암호 시스템과의 관계에 따라 작업을 구분합니다. 이는 의도적으로 약화된 버전의 체계를 공략하는 데 성공하는 것이 실제 운영 수준의 프리미티브(primitive)를 깨뜨리는 것과 동일하지 않기 때문에 중요합니다. 이 프레임워크는 모든 결과를 하나의 헤드라인 점수로 통합하는 대신, 그러한 차이를 명확히 드러내도록 설계되었습니다.

3단계 프레임워크

이 벤치마크는 세 가지 카테고리를 포함합니다:

보고된 설정에서 모델은 스킴 명세 (scheme specification)를 전달받으며, 특정 보안 범위를 목표로 하는 변형 모델들을 제안하도록 요청받습니다. 이러한 설계는 단순히 명명된 알고리즘이나 공개적으로 문서화된 공격을 회상(recall)하는 것 이상의 능력을 테스트합니다. 이는 모델이 스킴의 변경이 보안 속성에 어떤 영향을 미칠지에 대해 추론하도록 요구하는 동시에, 모델이 발전함에 따라 반복될 수 있는 평가 구조를 유지합니다.

계층화(tiering)는 또한 결과를 해석하는 데 필요한 맥락을 제공합니다. Tier 1은 실질적인 취약점이 알려진 문제들에 대한 작업을 평가합니다. Tier 2는 실질적인 취약점이 알려지지 않은 완전한 강도의 기본 요소 (full-strength primitives)와 축소된 변형 (scaled-down variants) 사이의 더 까다로운 구분을 도입합니다. Tier 3는 현재 진행 중인 암호 해독 (cryptanalysis) 연구와 관련된 실제 운영 환경의 기본 요소 (production primitives)에 초점을 맞춘, 이 벤치마크의 최전선 도전 과제 세트로 의도되었습니다.

보고된 결과가 보여주는 것

논문은 Claude Opus 4.8, Sonnet 5, Mythos 5, GPT-5.5, 그리고 GLM 5.2에 대한 평가를 보고합니다. 저자들은 이러한 모델 전반에 걸쳐 Tier 1에서 65%~86%의 성공률을 보고했습니다. 완전한 강도의 Tier 2에서는 보고된 결과가 6회에서 12회 성공 사이로 나타났습니다. 모든 축소된 Tier 2 변형 모델을 통틀어 보고된 범위는 24회에서 61회 성공입니다.

이러한 수치들은 모델의 결과가 측정되는 작업의 종류에 따라 실질적으로 달라짐을 보여줍니다. 이미 알려진 실제 공격(practical breaks)이나 축소된 변형(scaled-down variants) 모델에서 나타난 더 강력한 결과가, 모델이 실제 운영 환경의 완전한 강도를 가진 암호 체계(full-strength, production cryptography)를 안정적으로 무너뜨릴 수 있다는 증거로 해석되어서는 안 됩니다. 반대로, 완전한 강도의 Tier 2 성공 사례들은 카테고리가 명확히 구분된 벤치마크가 왜 유용한지를 정확히 보여줍니다. 즉, 모델이 무엇을 찾아냈는지, 어떤 조건 하에서 찾아냈는지, 그리고 그 결과가 암호학적 실무(cryptographic practice) 측면에서 의미가 있는지를 더 면밀히 조사할 수 있는 근거를 마련해 줍니다.

제공된 연구는 모든 Tier에 걸쳐 모델의 순위를 매길 수 있는 단일 종합 점수를 제공하지 않습니다. 작업의 난이도, 파라미터(parameters), 그리고 공격 아이디어(attack idea)와 실제 공격(practical break) 사이의 차이가 결과의 유의성에 실질적인 영향을 미칠 수 있는 분야임을 고려할 때, 이러한 절제는 적절합니다.

보안 연구에 있어 CryptanalysisBench가 중요한 이유

이 벤치마크의 가장 즉각적인 가치는 방법론적(methodological) 측면에서 나타납니다. 암호학(Cryptography)은 제안된 구조가 신뢰할 수 있는 인프라가 되기 전, 이를 깨뜨리기 위한 지속적인 시도에 의존합니다. 표준화된 평가는 연구자들이 LLM이 그 과정에서 유용한 보조 도구가 되고 있는지, 그리고 기존의 전문가 검토(expert review)가 여전히 필수적인 영역은 어디인지를 관찰하는 데 도움을 줄 수 있습니다.

AI 안전(AI safety) 및 거버넌스(governance) 측면에서 CryptanalysisBench는 구체적인 측정 목표를 제공합니다. 저자들은 이를 AI 암호 해독(AI cryptanalysis)이 실질적인 요소가 되는지를 추적하기 위한 도구라고 설명합니다. 이는 고급 모델의 위험성을 일반적인 추상 개념으로 다루는 것보다 더 실행 가능한(actionable) 프레임워크입니다. 만약 모델 세대가 거듭됨에 따라 성능 변화가 나타난다면, 연구자와 개발자들은 단순히 일화적인 사례나 광범위한 능력 주장(capability claims)에 의존하는 대신, 특정 작업 카테고리에 따라 그 변화를 비교할 수 있습니다.

이 벤치마크는 배포 전 스트레스 테스트(stress testing)도 지원할 수 있습니다. 개발 중인 암호 체계(cryptographic scheme)를 전통적인 검토와 병행하여, 모델 보조 공격 생성(model-assisted attack-generation) 작업의 구조화된 세트를 통해 평가할 수 있습니다. 이것이 인간 암호 분석가(cryptanalysts)를 대체하거나 그 자체로 보안을 확립하는 것은 아니지만, 설계의 취약점을 조사하는 과정에 또 다른 계층을 추가할 수 있습니다.

AI 보조 보안 테스트를 고려하는 조직은 모델의 역량을 통제된 검토 프로세스 및 기존 보안 관행과 연결하는 **AI 아키텍처, 워크플로우 자동화 및 구현**에 대해 Scalevise와 협력할 수 있습니다.

몇 가지 질문이 여전히 남아 있습니다. 이 벤치마크는 프레임워크를 구축하고 결과를 보고하지만, 암호 분석적 유의성(cryptanalytic significance)은 개별 발견의 품질과 재현성(reproducibility)에 달려 있습니다. 향후 활용 시에는 유용한 가설, 축소된 설정에서만 작동하는 공격, 그리고 실제 암호 배포에 의미 있는 영향을 미치는 결과들을 구분해야 할 것입니다. 따라서 이 벤치마크의 가치는 모델 테스트와 더불어 지속적인 평가, 투명한 해석, 그리고 암호학적 전문 지식에 달려 있습니다.

자주 묻는 질문 (Frequently Asked Questions)

CryptanalysisBench란 무엇인가요?

CryptanalysisBench는 알려진 실제 공격 사례(known practical breaks), 완전한 강도 및 축소된 프리미티브(full-strength and scaled-down primitives), 그리고 실제 운영 환경의 프리미티브 챌린지 세트를 포함하여, 암호 분석 작업에 대한 대규모 언어 모델(LLM)을 평가하기 위한 3단계 벤치마크입니다.

어떤 조직들이 CryptanalysisBench 개발에 협력했나요?

논문과 제공된 저자 소속 정보에 따르면, 이 연구에는 ETH Zurich, Anthropic, Tel Aviv University, 그리고 University of Haifa 소속 연구진이 참여했습니다.

보고된 결과가 LLM이 실제 운영 중인 암호 체계를 깨뜨릴 수 있음을 보여주나요?

아니요. 결과는 단계(tier)마다 다르며, 알려진 공격 사례나 축소된 변형 모델에서의 성능이 완전한 강도의 실제 운영 암호 체계를 안정적으로 깨뜨리는 것과 동일한 의미는 아닙니다.

왜 축소된 변형 모델(scaled-down variants)이 벤치마크에 포함되었나요?

축소된 변형 모델은 암호학적 파라미터(cryptographic parameters)가 변화함에 따라 모델이 어떻게 작동하는지 측정하는 데 도움을 주는 동시에, 해당 결과를 완전한 강도(full strength)를 가진 프리미티브(primitives)에 대한 평가와는 별도로 구분하여 유지할 수 있게 해줍니다.

결론

CryptanalysisBench는 AI 및 암호학 연구자들에게 새롭게 부상하는 중요한 능력을 측정할 수 있는 더 명확한 방법을 제공합니다. 알려진 공격 사례(known breaks), 완전한 강도의 프리미티브(full-strength primitives), 축소된 변형 모델(reduced variants), 그리고 최첨단 도전 과제(frontier challenges)를 분리함으로써, 모델의 결과를 더 해석 가능하게 만들고 AI 지원 암호 해독(AI-assisted cryptanalysis)이 암호 보안에 실질적으로 유의미해지는지를 추적할 수 있는 토대를 마련합니다.