미국 최대 은행들은 AI 최악의 시나리오를 막기 위해 노력하고 있습니다. 하지만 이들 은행은 또한 대재앙이 발생한 후의 '다음 날(day after)'까지도 대비하고 있는 것으로 Axios가 파악했습니다.
중요한 이유: 미국의 금융 기관들이 재난에 대한 시나리오 계획을 세우면서, 최대 AI 기업들과 함께하게 되었습니다. 이는 거대 기업들이 지평선 너머에서 감지하는 위험의 정도를 보여주는 신중하지만 우려스러운 신호입니다.
현황: 은행들은 [검증되지 않은 AI 에이전트 활동(unvetted AI agent activity)]을 경험하고 있습니다. 이는 주로 고객들이 에이전트에게 로그인 자격 증명을 제공하면서 발생하며, 일부 사례에서는 사용자의 지시와 무관하게 행동을 취한 것으로 보입니다고 Axios는 수요일에 보도했습니다.
- 이 활동은 지난 여름 [Hugging Face라는 스타트업]에서 발생했던 일탈적인 행위와는 다릅니다. 당시 AI 에이전트 군집이 플랫폼을 해킹하여 업계 보안 위기를 촉발시킨 사건이었습니다.
- 대신, 은행들은 사용자들이 에이전트가 자신의 계정에 로그인하고 행동하도록 허용함으로써 발생하는 파급 효과와 위험을 우려합니다. 특히 에이전트가 사용자가 승인하지 않은 단계를 밟을 수 있기 때문입니다.
- AI 에이전트에 대한 우려보다는 첨단 AI 시스템(frontier AI systems)에 대한 우려가 은행들로 하여금 [예방 투자]를 하고 최악의 상황까지 계획하게 만들고 있습니다.
심층 분석: 이 Axios 보도는 커져가는 사이버 보안 위기에 대한 증가하는 우려 속에서 나왔습니다.
- Salesforce CEO Marc Benioff는 X에 "코드 레드(code red)"를 게시하며 Anthropic 보안 직원에게 인용된 발언을 전했습니다. 이 직원은 "지난 4일간 상황이 얼마나 나빠졌든, 더 좋아지기 전에 훨씬 더 나빠질 것"이라고 말했습니다.
- 이 Anthropic 직원은 수백만 개의 웹사이트를 운영하는 데 사용되는 프로그래밍 언어에서 보안 연구원들이 주요 취약점을 발견한 것을 언급했으며, 이는 AI와 관련하여 이루어진 가장 중요한 사이버 보안 발견 중 하나로 기록되었습니다.
- 에이전트형 AI(agentic AI)에 대해 언급했을 뿐, 프론티어 AI 시스템(frontier AI systems)을 다룬 Axios의 은행 보고서는 Bernie Sanders 상원의원, Ron DeSantis 플로리다 주지사, Mark Warner 상원의원을 포함한 전방위적인 정치 스펙트럼에서 규제 요구를 불러일으켰습니다.
- 전직 백악관 AI 책임자 David Sacks는 은행들이 사용자가 "접근을 부여하고, 제한하며, 취소할 수 있도록" 하는 사용자 지향 에이전트(user-directed agents)를 지원해야 하며, 읽기 전용(read-only) 접근은 "임시 단계"가 되어야 한다고 말했습니다.
- Sacks는 "사용자 승인 에이전트 행동과 사이버 공격을 혼동하는 것은 무책임하다"고 말했습니다.
플래시백(Flashback): 주요 은행들은 Anthropic의 가장 사이버 역량이 뛰어난 모델인 Mythos 초기 테스트에 참여했습니다.
- 이는 AI 연구소와 주요 은행들이 이 기술을 사용하여 사이버 공격이나 기타 위험에 대해 더 잘 이해하고 대비하기 위한 노력의 일부였습니다.
- 그 이후로 은행들은 단순히 AI 관련 문제를 피하는 계획뿐만 아니라, 대규모 공격이 발생할 경우 계좌를 보호하고, 고객을 안심시키며, 운영을 지속하는 방법에 대해서도 작업해 왔습니다.
현실 점검(Reality check): 이것은 단순한 표준이 아니라, 정부, 주주 및 고객에게 책임을 져야 하는 중요 산업에 필수적인 사항입니다.
- 시나리오 플래닝은 금융 부문을 포함한 핵심 인프라 제공업체에게 필수적인 요소입니다. 이를 회피하는 것은 부적절한 행위(malpractice)로 간주될 수 있습니다.
- 가장 위험도가 높은 시나리오는 공포와 관련되어 있습니다: 이번 달 초, JPMorgan의 Jamie Dimon CEO는 사이버 공격 가능성이나 AI 에이전트가 사용자가 승인하지 않은 단계를 밟을 가능성에 대해 경고했습니다. Speaking in Chicago
- 디먼은 “당신들은 그들이 당신을 대신해 적절하게 행동할 것이라고 가정하고 있지만, 그렇지 않을 수도 있습니다”라고 말했습니다. 그는 유일한 해답은 경계심(vigilance)이라고 언급하며, AI를 막는 것은 불가능하다고 경고했습니다. “막을 수는 없습니다. 단지, 그것을 제대로 관리해야 합니다.”
- 한 경제학자는 지난달 에이전트들이 사용자들의 가계 자금을 더 높은 수익률의 계좌로 이동시키면서 발생하는 에이전트 기반 뱅크런(agentic bank run) 가능성을 제기하기도 했습니다.
숨겨진 메시지: 은행들은 고객들이 어떤 악성 에이전트 활동이나 고객 자금 또는 계좌에 영향을 미치는 해킹 증거를 보지 못했다는 사실을 알고 싶어 합니다.
- 은행들은 사용자들에게, 특히 읽기 전용 접근 권한(read-only access)을 허용할 수 있는 서비스가 존재하거나 개발되고 있기 때문에, 에이전트에게 비밀번호를 제공하지 않도록 강력히 권고합니다. 스타트업 Plaid는 잔액 및 거래 내역 등을 가져올 수 있는 이러한 플랫폼 중 하나입니다.
- JPMorgan 대변인은 Axios에 “어떤 상황에서도 고객은 어떤 사람이나 사물과도 비밀번호를 공유해서는 안 됩니다. 끝입니다.”라고 말했습니다. 그는 “고객의 계좌 키를 넘겨줄 필요가 없는 안전한 오픈 뱅킹 플랫폼이 존재합니다. 고객들이 자신의 계좌를 보호하는 첫 번째 방어선입니다.”라고 덧붙였습니다.
- JPMorgan은 다른 은행들과 함께 에이전트 접근을 차단하는 조치를 취했지만, 고객들이 선택한 서비스와 연결할 수 있는 안전한 방법을 모색하고 있습니다.
흥미로운 점: AI 기업들은 정치적 반발(political backlash)을 예상하고 있습니다. 은행들은 잠재적인 운영 중단 사태(operational disruptions)에 대비하고 있습니다.
- 두 가지 모두를 아우르는 위기에 대한 연방 차원의 계획 범위는 여전히 불분명합니다.
결론적으로: AI 발전 속도는 월스트리트와 실리콘밸리를 최악의 시나리오에 대비하게 만들고 있는 반면, 워싱턴은 사이버 위험 완화(mitigate cyber risks)를 위해 노력하고 있으며 자발적 안전 약속(voluntary safety pledges)에 의존하고 있습니다.