AGI vs ASI vs 초지능: 보안 관점에서 용어의 차이가 중요한가?

우리는 용어가 역량을 앞지르는 시대에 살고 있습니다. 몇 달마다 새로운 라벨이 등장합니다: 범용 인공지능 (Artificial General Intelligence, AGI), 초인공지능 (Artificial Super Intelligence, ASI), 초지능 (Superintelligence). 각 용어는 철학적, 상업적, 규제적인 짐을 지니고 있습니다.

하지만 불편한 질문이 있습니다: 과연 이 라벨이 우리의 보안 의무를 실제로 변화시키는가?

용어의 함정

솔직히 말씀드리겠습니다. AI 업계는 자신들의 분류 체계를 좋아합니다:

• AGI: 도메인 전반에 걸쳐 인간 지능과 같거나 능가하는 시스템.
• ASI: 모든 영역에서 인간 지능을 훨씬 초월하는 시스템.
• 초지능 (Superintelligence): 인간보다 똑똑한(혹은 인류 전체보다 똑똑한) 모든 것을 포괄하는 용어.

하지만 이것들은 _분류_일 뿐, _위협 모델_이 아닙니다.

제가 배포된 LLM 시스템—Claude, GPT-4o, Llama 또는 커스텀 시스템 등—을 감사할 때, 저는 이렇게 묻지 않습니다: _

용어로는 변하지 않는 세 가지 보안 현실

1. 공격 표면은 레이블이 아닌 능력에 따라 확장된다

시스템이 AGI 임계점에 도달했는지 여부와 관계없이, 취약점 클래스는 그대로 유지됩니다:

• **프롬프트 주입 공격(Prompt injection attacks)**은 여전히 작동합니다 (또는 회피하기 위해 미미한 수준의 정교함만 요구할 뿐입니다)
• **모델 추출(Model extraction)**은 여전히 실현 가능합니다 (API 쿼리, 결정 경계 역추적 등)
• **학습 데이터 유출(Training data exfiltration)**은 여전히 위험 요소입니다 (멤버십 추론, 데이터 재구성 공격 등)
• **공급망 손상(Supply chain compromise)**은 여전히 벡터입니다 (손상된 종속성, 악의적인 파인튜닝 데이터 등)

더 많은 능력을 추가한다고 해서 이러한 문제들이 사라지는 것은 아닙니다—오히려 증폭시키는 경우가 많습니다.

2. 견고성은 기술적 속성이지 의미론적 속성이 아니다

'AGI'로 레이블링된 시스템은 취약할 수 있습니다. 'AGI'가 아닌 시스템이 더 견고할 수도 있습니다.

견고성은 다음으로부터 나옵니다:

• 적대적 예제(adversarial examples)에 대한 인증된 방어책
• 모든 계층에서의 입력 유효성 검사 및 정제(sanitization)
• 모니터링 및 이상 탐지
• 공격 하에서의 우아한 저하(graceful degradation)

'AGI'라는 레이블은 이러한 속성에 대해 아무것도 알려주지 않습니다. 사용자가 직접 _테스트_해야 합니다.

3. 위험 거버넌스는 능력 레이블이 아닌 배포 맥락에 관한 것이다

진짜 보안 질문은

1. 실제 역량 특성화하기 (테스트 스위트 전반에 걸쳐 이 모델이 신뢰성 있게 수행하는 것은 무엇인가?)
2. 공격 표면 매핑하기 (프롬프트 주입, 모델 역전(model inversion), 공급망 공격, 미세 조정 공격)
3. 강건성 테스트하기 (적대적 예제, 분포 변화, 엣지 케이스)
4. 모니터링 수립하기 (행동 이상 감지, 예상치 못한 출력, 자원 고갈)
5. 격리 설계하기 (이 시스템은 어떻게 안전하게 저하되는가? 비상 정지 스위치는 무엇인가?)

이는 오늘날의 시스템에 적용됩니다. 우리가 그것을 무엇이라고 부르든 상관없이 내일의 시스템에도 적용될 것입니다.

AI 보안 테스트 방법론, 위협 모델링(threat modeling), 그리고 레드팀(red teaming) 관행에 대한 더 깊은 지침이 필요하다면—현재 및 고급 시스템 모두를 감사하기 위한 프레임워크를 포함하여—adversarial-rl.org의 기술 자료를 참고하십시오. 이곳에는 LLM 레드팀(red teaming), OWASP LLM Top 10 위험 요소, 그리고 AI 보안 감사 방법론이 포함되어 있습니다.

핵심 요약 (The Bottom Line)

AGI, ASI, 초지능(superintelligence)—이러한 용어들은 계속해서 확산될 것입니다. 마케팅 부서가 이를 무기화할 것이고, 규제 기관은 정의에 어려움을 겪을 것입니다.

하지만 보안 담당자의 업무는 변하지 않습니다:

시스템을 이해하라. 위협을 매핑하라. 방어책을 테스트하라. 배포를 모니터링하라.

라벨(label)은 그저 노이즈일 뿐입니다.

당신의 생각은 어떻습니까? 귀하의 조직은 AGI 정의에 집착합니까, 아니면 실제로 운영하는 시스템의 위협 모델링에 집중합니까? 댓글을 남겨주세요.