Originally published on CoreProse KB-incidents

프런티어 거대 언어 모델 (Frontier LLMs)은 자동 완성 도구에서 소프트웨어를 작동시키고, 복잡한 코드를 작성하며, 긴 작업 과정 동안 도구들을 조율하는 반자율적 디지털 작업자로 변화하고 있습니다.[2] 코드베이스를 리팩토링 (refactor)할 수 있는 동일한 시스템이 취약점 공격 (exploit)을 디버깅하거나, 피싱 인프라를 구축하거나, 악성 코드 (malware)의 미세 조정 (fine-tune)을 도울 수도 있습니다.

GPT-5.5는 계획을 세우고, 도구를 사용하며, 다단계 작업을 수행하는 작업자로 마케팅되고 있습니다.[2] Anthropic의 Mythos는 대중에게 덜 알려져 있지만, 다른 고성능의 에이전트형 LLM (agentic LLMs)과 결합될 때

⚠️ 위험 변곡점 (Risk inflection): 도구 접근 권한을 가진 채 "계속해서 진행하는" 모델은 공격 및 방어 플레이북 (playbooks)과 유사한 긴 절차를 실행할 수 있습니다.[2]

공격은 기다려주지 않는다

• 정찰 (Reconnaissance) 및 대상 조사
• 악성코드 (Malware) 생성 및 맞춤화
• 사회 공학 (Social-engineering) 콘텐츠
• 탈취된 데이터의 분석 및 조직화

이러한 요소들은:

• 방어자의 대응 시간을 압축하며
• 복잡한 캠페인을 위한 기술적 문턱을 낮추고
• 적은 비용으로 운영 템포 (operational tempo)를 높입니다.[9]

Anthropic의 역설

Anthropic은 안전 우선 (safety-first)을 표방합니다. Claude는 정책 변경 전 미국 국방부 (US Department of Defense) 전반에 걸쳐 널리 배포되었습니다.[6] 그러나 현재의 군사 AI 구축 과정에서, Anthropic은 공급망 및 데이터 보안 우려로 인해 소외된 것으로 보고되었습니다.[3][7]

💼 핵심 요약 (Takeaway): "안전 우선" 연구소조차 지정학적 조달 전쟁에 휘말리는 반면, 그들의 후계자들 (Mythos와 같은)은 새로운 사이버 리스크 문제를 제기하고 있습니다.[1][6]

2. 모델 역량: 에이전트형 코딩에서 실질적인 해킹 지원까지

GPT-5.5를 뛰어난 코딩 어시스턴트로 만드는 바로 그 특성들이, 이를 공격적 워크플로 (offensive workflows)에 적합하게 만듭니다.[2]

익스플로잇 가속기로서의 에이전트형 코딩 (Agentic coding)

GPT-5.5는 다음 사항에 최적화되어 있습니다:[2]

• 에이전트형 코딩 (Agentic coding) 및 컴퓨터 사용 (computer use)
• 긴 문맥 추론 (Long-context reasoning)
• GPT-5.4 수준의 지연 시간 (latency)을 가진 다단계 동작

이 모델은 Terminal-Bench에서 80% 이상의 점수를 기록하며, 복잡한 컴퓨터 사용 작업에서 이전 모델들을 능가합니다.[2] 실제로 다음과 같은 작업이 가능합니다:

• 터미널 (terminals), IDE, 클라우드 콘솔 탐색
• 명령 및 스크립트 체이닝 (chaining)
• 에러 로그를 기반으로 한 신속한 반복 (iteration)

⚡ 공격적 유사성 (Offensive analogue): "파이프라인 디버깅"을 "익스플로잇 (exploit) 디버깅"으로 바꾸는 것은 역량 프로필이 아닌 의도를 바꾸는 것뿐입니다.

탈옥 (Jailbreaking) 및 보호되지 않은 인터페이스

연구자들은 탈옥되었거나 보호가 미흡한 Mythos 또는 GPT-5.5급 모델이 다음과 같은 일을 할 수 있다고 경고합니다:[1][10]

• 취약점 분석을 위한 코드 검토
• 악성코드 생성 및 변이 (mutation)
• 봇넷 (botnet), C2, 또는 피싱 인프라 자동화

이미 공개된 보고서들은 APT(지능형 지속 위협)가 맞춤형 악성코드 제작 및 대규모 네트워크 데이터 해석을 위해 생성형 AI를 사용하고 있음을 지적하고 있습니다.[9][10] 불완전한 출력물이라 할지라도 여전히 상당한 공격적 우위(offensive leverage)를 제공할 수 있습니다.

공격자의 기능으로서의 속도와 토큰 효율성

GPT-5.5는 이전의 Codex급 모델들보다 더 적은 토큰을 사용하면서도 속도를 유지하며 지능을 높였습니다.[2] 적대 세력에게 이는 다음과 같은 의미를 갖습니다:

• 대규모 자동화를 위한 낮은 추론 (inference) 비용
• 침투 과정 중 더 빠른 피드백 루프 (feedback loops)
• 다수의 동시 실행되는 LLM "에이전트 (agents)"의 용이한 오케스트레이션 (orchestration)

📊 운영상의 현실: 빠르고 토큰 효율적인 모델은 기업과 자원이 풍부한 APT 모두에게 바람직한 인프라입니다.[2][9]

산업적 규모의 콘텐츠 생성

NewsGuard는 최소 16개 언어에 걸쳐 3,006개의 AI 콘텐츠 팜 (content-farm) 사이트를 식별했으며, 이들은 종종 인간의 감독 없이 하루에 수십 개의 AI 작성 기사를 게시합니다.[5] 동일한 기술 스택을 통해 다음과 같은 작업이 가능합니다:

• 피싱 및 사기 콘텐츠의 현지화 (localization)
• 맞춤형 스피어 피싱 (spear-phishing) 구실 생성
• 다국어 허위 정보 및 사회 공학 (social-engineering) 캠페인 가동[5][9]

💡 핵심 요점: "에이전트 기반 지식 노동 (agentic knowledge work)" 및 "컴퓨터 사용 (computer use)"에 관한 마케팅은 현대적 공격 캠페인을 실질적으로 지원하는 기능과 밀접하게 겹칩니다.[1][2][5]

3. 군사적 통합, 기밀 데이터, 그리고 거버넌스 격차

기업들이 CI/CD 환경에서의 GPT-5.5 활용을 논의하는 동안, 군대는 프런티어 모델 (frontier models)을 고도의 기밀 네트워크에 연결할 준비를 하고 있습니다.

AI 우선 전쟁 수행 (AI-first warfighting)

미 국방부 (US Department of Defense)는 "AI 우선" 전략의 일환으로 고급 AI 도구를 기밀 Impact Level 6/7 네트워크에 도입하기 위해 OpenAI, Google, Microsoft, NVIDIA, AWS, Oracle, SpaceX, Reflection 등과 협약을 맺었습니다.[8][3]

불과 몇 달 만에 130만 명 이상의 인원이 GenAI.mil 플랫폼을 사용하여 수천만 개의 프롬프트를 생성하고 수십만 개의 에이전트를 배치했습니다.[8] 과거에 몇 달이 걸리던 작업들이 이제는 며칠 만에 완료됩니다.[8]

📊 규모의 신호 (Scale signal): 이것은 단순한 소규모 파일럿 프로젝트가 아니라, 정보(intelligence), 물류(logistics), 그리고 계획(planning) 전반에 걸쳐 LLM이 광범위하게 운영화되고 있음을 의미합니다.[8]

기밀 데이터 학습 (Training on classified data)

전직 Pentagon(미 국방부) 사이버 리더들은 기밀 데이터에 대한 학습을 허용하는 것이 잘못 관리될 경우 재앙적인 결과를 초래할 수 있다고 경고합니다.[7] 위험 요소에는 다음이 포함됩니다:

• 모델 가중치 (Model-weight) 도난 또는 침해
• 프롬프트 프로빙 (prompt probing)을 통한 민감한 패턴 추출
• 출력을 통한 학습 데이터의 부분적 재구성[7]

“입력된 데이터가 반드시 내부에만 머무는 것은 아닙.”[7] GPT-5.5급 시스템의 경우, 유출된 학습 신호가 예상치 못한 동작으로 나타날 수 있습니다.

Anthropic의 제외 (The Anthropic exclusion)

가장 안전(safety)에 집중하는 AI 연구소라는 Anthropic의 명성과, Claude가 DoD(미 국방부) 전반에서 가장 널리 배포된 프런티어 모델(frontier model)이라는 보고에도 불구하고, Anthropic은 "공급망 리스크 (supply chain risk)"를 이유로 Pentagon의 새로운 AI 프로그램에서 제외되었습니다.[6][3][7]

⚠️ 거버넌스의 아이러니 (Governance irony): 정렬 (alignment)과 가장 밀접하게 연관된 연구소가 소외되는 동안, 다른 연구소들은 민감한 학습 데이터에 접근 권한을 얻고 있습니다.[6][7] 리스크 할당을 주도하는 것은 안전성 성숙도가 아닌 조달 정치(Procurement politics)로 보입니다.

💼 기업에 주는 시사점 (Enterprise implication): 국방 기관이 공급업체 선정과 안전 태세를 신뢰할 수 있게 일치시키지 못한다면, 상업적 구매자들 또한 "정부 승인"을 "저위험"과 동일하게 취급해서는 안 됩니다.

4. 진화하는 위협 환경: APT, 핵심 인프라, 그리고 정보전

Mythos와 GPT-5.5는 공격자들이 이미 사용하고 있는 생태계 내부의 관점에서 바라봐야 합니다.

APT는 이미 AI를 활용하고 있습니다

• 정찰 (Reconnaissance) 및 타겟 선정
• 악성코드 (Malware) 개발 및 난독화 (obfuscation)
• 사회 공학 (Social-engineering) 및 스피어 피싱 (spear-phishing) 초안 작성
• 탈취된 데이터셋 분석

결과적인 효과:

• 더 작은 규모의 팀이 더 광범위한 캠페인을 지속할 수 있음
• 공격자가 핵심 인프라를 더 쉽게 탐색할 수 있음
• 캠페인의 복잡성이 증가함에 따라 방어자의 대응 시간은 단축됨[9]

전리품으로서의 핵심 인프라 (Critical infrastructure as the prize)

핵심 인프라(Critical infrastructure)는 오랫동안 주요 관심사였으며, 원자력 시설 및 Colonial Pipeline에 대한 공격은 제한적인 침입이 어떻게 국가적 영향을 미칠 수 있는지를 보여주었습니다.[10]

AI는 다음과 같은 방식으로 이를 강화합니다:[9][10]

• ICS(산업 제어 시스템) 및 OT(운영 기술) 환경 매핑
• 시그니처(signature)를 회피하는 맞춤형 멀웨어(malware) 생성
• 산업 네트워크 내에서의 조용하고 장기적인 지속성(persistence) 지원

⚠️ 불균형한 영향: 대상이 전력, 운송 또는 의료 분야일 경우, 아주 미미한 효율성 향상만으로도 대규모 혼란을 초래할 수 있습니다.[10]

대규모 정보 작전 (Information operations at scale)

AI가 생성한 오정보(misinformation)는 NewsGuard가 추적하는 수천 개의 AI 콘텐츠 팜(content farms)에서 확인할 수 있습니다.[5] 프런티어 모델(Frontier models)은 다음과 같은 활동을 산업화할 수 있습니다:[5][9]

• 다국어 내러티브(narrative) 배포 및 증폭
• 딥페이크(Deepfake)와 결합된 프로파간다(propaganda) 스크립트
• 특정 인구 통계 또는 직업군을 겨냥한 마이크로 타겟팅(micro-targeted) 메시징

💡 수렴 위험 (Convergence risk): 연구자들은 프런티어 LLM, 군사화된 AI 인프라, 그리고 AI 기반 APT(지능형 지속 위협)가 결합되어 디지털 및 인지 영역 모두에서 방어자의 의사결정 시간을 압축시키는 "퍼펙트 스톰(perfect storm)" 상황을 설명합니다.[1][8][9]

5. 방어 구축: 레드팀(Red Teaming), 가드레일(Guardrails), 그리고 정책적 대응

문제는 강력한 모델이 존재해야 하는가 하는 점이 아니라, 모델을 신뢰를 얻어야만 하는 고위험 인프라로 어떻게 취급할 것인가 하는 점입니다.

1차 방어선으로서의 LLM 레드팀 (LLM red teaming)

LLM 레드팀은 배포 전후에 안전성과 신뢰성 약점을 찾기 위해 적대적 프롬프트(adversarial prompts)로 모델을 체계적으로 공격합니다.[4] 성숙한 관행에는 다음이 포함됩니다:[4]

• 현실적인 시나리오 설계 (사이버 오용 포함)
• 자동화된 테스트 하네스(test harnesses), 점수 산정 및 로깅
• 반복적인 완화(mitigation) 및 회귀 테스트(regression testing)

주요 타겟:

• 탈옥(Jailbreaks) 및 프롬프트 인젝션(prompt-injection) 경로
• 유해하거나 이중 용도(dual-use)인 출력물 (안전하지 않은 코드 포함)
• 데이터 유출 및 개인정보 보호 위험
• 스트레스 상황에서의 편향(bias) 및 정렬 불량(misalignment)[4]

Mythos 또는 GPT-5.5급 시스템의 경우, 레드팀 활동은 지속적으로 이루어져야 합니다.

사이버 공격에 초점을 맞춘 가드레일 (Guardrails focused on cyber-offense)

프런티어 모델 (Frontier models)을 배포하는 조직은 다음과 같은 조치를 취해야 합니다:

• 사이버 공격적 사용 (Cyber-offensive use)에 대한 엄격한 가드레일 (Guardrails) 적용
• 실제 시스템 및 도구에 대한 접근 권한을 공격적으로 제한
• 고위험 상호작용에 대한 모니터링 및 로그 기록
• 마케팅이나 암묵적인 정부 승인이 아닌, 입증된 안전 관행을 바탕으로 벤더 선정

적절한 거버넌스 (Governance)가 해킹 능력을 갖춘 LLM의 사이버 리스크를 완전히 중화할 수는 없겠지만, 이 모델들이 공격자에게는 가속기 (Accelerants)가 될지, 아니면 방어자에게는 승수 효과 (Force-multipliers)를 제공할지를 결정할 수는 있습니다.

CoreProse 소개: 검증된 인용을 포함한 연구 중심의 AI 콘텐츠 생성. 환각 (Hallucinations) 제로.

🔗 CoreProse 체험하기 | 📚 더 많은 KB Incidents 보기