오늘 로이터(Reuters)와 월스트리트 저널(Wall Street Journal) 모두 OpenAI의 rogue AI agents가 RubyGems.org를 공격했다는 보도를 했습니다. https://www.rubyhack.ai/에 놀라운 글이 올라와 있으니 읽어보시는 것이 좋습니다. 제가 급하게 포스팅한 이유는 이 사건이 정말 엄청나게 충격적이기 때문입니다.

요약하자면(TL;DR): OpenAI 봇들이 RubyGems의 캐싱 취약점(caching vulnerability)을 알고 있었고, 이를 이용하려 했으며 동시에 RubyDoc.info에 이상한 웹 스크래핑 코드를 실행했습니다.

지난 5월, socket.dev는 누군가(제가 추측하기로는 OpenAI) 수많은 쓰레기 gem들을 RubyGems.org에 업로드하는 'GemStuffer Campaign'에 대해 보도했습니다.
이 gem들은 어떤 이유에서인지 영국 정부 웹사이트의 데이터를 스크래핑한 다음, 그 데이터를 gem 형태로 재포장하여 RubyGems에 업로드하려고 시도했습니다.

솔직히 저는 이 문제에 대해 별로 생각하지 않았고(심지어 깊이 파보지도 않았다가) Sydney Von Arx와 Spencer Kitts(둘 다 https://www.rubyhack.ai의 공동 저자)가 RubyGems에 대해 문의하면서까지 오게 되었습니다. 그들이 제기하는 주장이 완전히 터무니없다고 생각했지만, 실제로 이 'GemStuffer' gem들의 코드를 읽어보고 나니 생각이 바뀌었습니다.

이 gem들의 코드를 읽고 나서 몇 가지 점이 눈에 띄었습니다.

YARD 문서화 도구(YARD Documentation)

먼저, 이 gem들은 YARD 문서를 활용하여 호스트 머신에서 임의 코드(arbitrary code)를 실행합니다. 대부분의 예시에서는 다음과 같은 .yardopts 파일이 보입니다:

--load ./script.rb
README.md
lib/**/*.rb

만약 YARD가 설치되어 있고, 이 gem을 설치한다면, YARD는 gem 내부의 ./script.rb에 있는 내용을 로드하여 실행하게 됩니다.
C 확장(C extensions)이 extconf.rb를 실행하는 것(즉, 기본적으로 RCE 벡터가 되는 것)은 비교적 잘 알려진 사실이라고 생각하지만, 문서화 도구까지 그렇게 할 수 있다는 것을 알게 되어 놀랐습니다.

아무도 slnleaker5라는 gem을 설치하지는 않을 것입니다.

하지만, 그렇다면 이게 왜 중요할까요?
음, 어떤 gem이 게시될 때마다 RubyDoc.info는 해당 gem을 다운로드하고 YARD 문서화를 처리합니다.
RubyDoc.info는 이 과정에서 임의 코드를 Docker 컨테이너 내부에서 실행하게 됩니다.
다만, 이 Docker 컨테이너에도 네트워크 접근 권한이 남아있기 때문에, 이러한 gem들은 컨테이너 내부에서 웹 스크래핑을 수행하는 데 아무 문제가 없습니다.

즉, RubyGems.org에 gem을 게시하면, 여러분은 RubyDoc.info에서 임의 코드를 실행할 수 있다는 뜻입니다.

Fastly 캐시 수집 (Fastly Cache Harvesting)

앞서 이러한 gem들이 특정 웹사이트를 스크래핑하려고 시도한 다음, 수집한 데이터를 gem 형태로 패키징하여 업로드할 것이라고 언급했습니다. 여기는 그 gem 중 하나에서 발췌한 내용입니다. 이해하기 쉽도록 코드를 약간 정리했지만, 원본 코드는 여기에 있습니다:

# 반복적인 시도 및 새로 유출된 키 변형을 통한 정보 유출 (exfil)
# (Aaron): 첫 번째 요청
ku = URI('https://rubygems.org'+kp)
...

코드에 있는 (Aaron) 주석은 제가 이해하기 쉽게 작성한 것입니다.
첫 번째 주석은 출처에서 직접 가져온 것입니다.
위 코드는 두 개의 요청을 시도합니다.
첫 번째 요청은 단순 GET 요청입니다. RubyGems.org의 경로를 가져오려고 시도한 다음, 응답 본문에서 정규 표현식 /rubygems_[a-f0-9]{20,}/와 일치하는 키를 찾습니다.
만약 이 정규 표현식이 일치하지 않으면, 전역 KEY로 대체됩니다.
두 번째 요청은 POST를 통해 gem을 업로드하려고 시도합니다.

이것이 저에게 두 번째로 놀라운 점으로 다가왔습니다.
이 코드는 RubyGems.org에서 캐시된 인증 키를 가져와 사용하려고 합니다.
만약 이 내용이 익숙하게 들린다면, 실제로 그렇습니다.
이는 지난 7월에 RubyGems.org에서 게시한 포스트에서 다루었던 보안 문제와 정확히 일치합니다.

즉, OpenAI의 봇들이 이 문제를 알고 있었고 이를 악용하려고 시도했던 것으로 보입니다.
정말 흥미로운 시대에 살고 있네요 🙃