저는 20년 동안 하드웨어와 소프트웨어를 해킹해 왔습니다. 이전에는 수동으로 진행했죠. 하지만 2026년, AI의 도움으로 이 과정이 크게 가속화되었습니다. 아래에서는 제가 과정을 간략하게 설명하거나 어떻게 수행하는지 설명하겠습니다.
설정 (Set Up)
제가 주로 사용하는 도구들은 다음과 같습니다:
| TOOL | 용도 |
|---|
| DeepSeek Harness + Deepseek v4.1 Flash | 제가 사용하는 AI입니다. 가끔 Codex를 Luna나 Terra와 함께 사용하지만, Deepseek이 성능이 뛰어나고 빠르며 저렴합니다. |
| ... | |
과정 (Process)
제가 요즘 기본적으로 하는 일은 분석할 바이너리(binary)에 에이전트(agent)를 지정하고 제가 준비한 전용 에이전트 스킬 세트를 사용하는 것입니다. 나머지는 보통 스스로 처리됩니다. 하지만 스킬들을 제외하면, 기본적인 흐름은 다음과 같습니다.
- 바이너리 유형, 플랫폼, 빌드 등을 파악합니다. 이를 기반으로 적절한 디컴파일러(decompiler)를 사용합니다 (참고: 현재 AI들은 순수한 x86 또는 ARM 명령어만으로도 상당히 잘 작동합니다).
- 에이전트에게 진행 과정의 모든 발견 사항을 MD 파일로 문서화하도록 명령합니다. 이는 여러 목적을 수행합니다. 첫째, 스스로 이해하기 위한 메모가 됩니다. 둘째, 압축(compaction)이나 다른 에이전트에게 인계된 후에도 에이전트가 흐름을 잃지 않도록 도와줍니다. 그리고 마지막으로, 에이전트가 원을 그리며 헤매는 등의 상황 없이 더 효과적으로 작업하도록 돕습니다. 이에 대해서는 나중에 더 자세히 다루겠습니다.
- 주어진 바이너리의 기본 구조를 분석해달라고 에이전트에게 요청합니다. 예를 들어 주요 함수(Main functions), 주요 분기점(main branching), 임포트된 함수(imported functions) 등이 있습니다. 여기서 바이너리란 무엇이든 의미합니다. 데스크톱 실행 파일, 웹사이트 또는 펌웨어 이미지가 될 수 있습니다.
이렇게 기본 개요를 얻으면, 보통 원본 바이너리를 수정하거나 모드(mods)를 제작하는 등 제가 원하는 방식으로 진행할 수 있습니다. 아니면 단순히 이해도를 높이는 데 도움을 받을 수도 있습니다.
어떤 경우에는 단순한 디스어셈블리나 디컴파일로는 쉽게 해결되지 않는 것들이 있습니다. 이럴 경우 다음과 같은 방법을 사용할 수 있습니다:
- 에이전트가 주어진 바이너리를 디버깅하고 특정 부분에 중단점(breakpoint)을 설정하여 내부 작동 방식을 파악하도록 돕게 합니다.
- 로깅을 사용합니다. 원본 바이너리에서 이를 활성화하거나, 또는 원본 바이너리에 주입되어 필요한 모든 것을 로그(파일로) 기록하는 프로브(probe)(여러 가지 의미일 수 있음)를 만들어 사용할 수 있습니다.
- 에이전트에게 외부 접근 권한을 부여합니다. 예를 들어 데스크톱 앱용 컴퓨터 사용이나 주어진 펌웨어를 실행하고 제어할 수 있는 API 제어 가능 에뮬레이터가 될 수 있습니다.
- 에이전트에게 다양한 접근 방식을 시도하도록 요청합니다. 하지만 구체적이어야 합니다. 예를 들어, XREF(Cross-Reference)를 따라 디스어셈블리(disassembly)에서 막힐 경우, 대신 바이너리 내의 문자열을 추적해 보도록 요청하는 식입니다.
- 전체 LLM 대화와 사고 과정을 읽습니다. 현재의 LLM은 똑똑하지만 때로는 좁은 접근 방식에 머무르기도 합니다. 트레이스(traces)를 읽음으로써 에이전트가 막다른 길로 가고 있다는 것을 직관적으로 파악하고, 어떻게 더 잘 접근할 수 있을지에 대한 제안을 해줄 수 있습니다. 다만 이것은 사용자 본인의 기술입니다.
스킬 (SKILLS)
제가 자주 사용하는 주요 스킬 몇 가지를 소개합니다.
Matt Pottock - Grill me
이것은 사용자의 입력이 가치 있을 수 있을 때 여러 질문을 던져줍니다. 저는 보통 다음 프롬프트와 함께 사용합니다:
Use skill /grill-me to ask me up to 5 questions
whose answers are crucial for your further progress.
Ask only one question at a time.
특정 리버스 엔지니어링(RE) 도구가 설명된 스킬을 갖는 것이 큰 도움이 됩니다. 예를 들어 radare2나 kuna를 사용하거나, MCP Ghidra 브리지를 어떻게 사용하는지에 대한 설명과 그 용도 등이 될 수 있습니다. 이러한 스킬이 없으면 에이전트가 실제 디스어셈블리(disassembly)/디컴파일(decompilation) 방법을 알지 못해 너무 빨리 포기하는 경우가 많습니다.
가설 기반 디버깅 (Hypothesis debugging)
이것 역시 제가 가진 스킬입니다. 이는 앞서 에이전트가 모든 것을 MD 파일에 문서화하는 것이 얼마나 중요한지에 대해 작성했던 것과 관련이 있습니다. 이 스킬은 막히는 에이전트에게 다음 루프를 따르도록 강제합니다:
- 무언가가 왜/어떻게 작동하는지에 대한 가설을 세운다. 이 가설들을 디스크에 저장된 CSV 테이블로 작성한다.
- 이 가설을 명확하게 증명하거나 반증할 실험(프로브, 로깅 등)을 설계한다.
- 결과를 기록한다.
- 반복한다.
이것은 과학적 방법론(scientific method)의 변형이며, 에이전트가 어떤 문제에 막혔을 때 큰 도움을 준다. 순환하는 것을 멈추게 한다. 명확한 실험을 강제함으로써 말이다. 끝없는 추측이나 무작위적인 시도를 하지 않도록 한다. 이는 내 생각에 매우 중요하다. 다른 사람들도 이점을 얻을 수 있도록 공개했다.
해킹 및 프로브 구현 (Implementation of hacks and probes)
무엇인가를 구현하기 위해 나는 기본적으로 두 가지 도구(tooling)를 사용한다.
-
Python이지만 UV 도구를 사용한다. UV 도구는 사용자 지정 환경(envs)을 매우 빠르고 이식성 있게 만들 수 있도록 해준다. 또한 단일 파일의 인라인 종속성 스크립트도 작성할 수 있게 한다. Python은 프로토타이핑이나 프로브를 빠르게 제작하거나 심지어 디컴파일 헬퍼를 만드는 데 탁월하다.
-
주어진 해킹의 실제 구현에는 Rust를 사용한다. 가능하다면 나는 항상 이 용도로 Rust를 사용한다. 이유는 많지만, 주요한 두 가지는 다음과 같다:
-
개인적으로 작업하기에 매우 우아한 언어이며,
-
에이전트가 반복할 때 매우 훌륭한 피드백 루프를 제공한다. 컴파일러가 매우 엄격하여, 에이전트가 직면할 수 있는 모든 가능한 메모리 또는 구문 문제를 즉시 지적해 준다.
물론 Rust는 컴파일 시간이 느리다는 단점도 있지만, 전반적으로 풍부한 빌드 타겟(웹, 데스크톱 앱, 해킹/트레이너뿐만 아니라 다양한 임베디드 언어용 펌웨어까지)을 가진 성숙한 언어이다.
나의 해킹 성공 사례 (My hacking successes)
AI 지원 리버스 엔지니어링을 통해 나는 지난 6개월 동안 엄청난 리버스 엔지니어링 성공 사례들을 달성할 수 있었는데, 이것들은 손으로 직접 할 경우 각각 몇 년이 걸릴 분량이다.
-
Alphasmart NEO 타자기 장치를 리버스 엔지니어링하고 해킹함.
-
EmWave 생체 피드백 장치나 제 두 대의 Sony Alpha 미러리스 카메라와 같은 여러 장치의 통신 프로토콜을 완전히 매핑함. 이를 통해 파일 전송, 무선 제어 등을 위한 맞춤형 데스크톱 및 모바일 앱을 만들 수 있게 되었음. 심지어 A7III 미러리스 카메라에서 무선 웹캠으로 작동하도록 만드는 데 성공했음.
-
다음 음악 신시사이저의 커스텀 펌웨어를 해킹하고 개발함:
- Arturia MiniFreak
- Teenage Engineering OP-Z
- Akai MPC Sample
-
Xteink X4 전자책 리더를 위한 커스텀 펌웨어를 제작함.
-
macOS용 구형 HP 프린터 드라이버를 수정함.
-
학창 시절의 수많은 라이선스 잠금 폐기 소프트웨어(abandonware)를 크랙함.
-
커스텀 경량 Evernote 클라이언트를 개발함.
-
그리고 그 외에도 더 많은 것들.
때로는 리버스 엔지니어링과 소프트웨어 개발 사이에 얇은 경계가 존재합니다. 때로는 그저 보기 싫고 유료인 앱의 독점 저장 파일 형식(proprietary save file format)을 해독한 다음, 이 파일을 다루기 위한 새롭고 완전히 독특한 에디터를 구축하는 깨끗한 소프트웨어 개발 단계로 넘어가는 경우입니다. (네, 저도 커스텀 포토샵을 만들기도 했고, 그건 ArtCraft 스위트가 아닙니다. 제가 그것들보다 약 1년 전에, 오직 저 자신만을 위해 했습니다.)
최종 생각
오래된 소프트웨어 또는 장치를 리버스 엔지니어링하고 해킹하는 것은 항상 저의 취미였습니다. 저는 어셈블리(assembly)를 이해하고, 하드웨어를 이해합니다. 하지만 그것은 길고 지루한 과정이었습니다.
요즘 스마트 LLM 도구에 대한 저렴한 접근성 덕분에 이 취미는 저에게 극적인 변화를 가져왔습니다. 저는 어셈블리 명령어들을 수동으로 분석하는 것이 그리워지지는 않습니다. 하지만 결과를 빠르게 얻는 것을 좋아합니다. 네, 저의 오랜 경험이 에이전트(agent)가 올바른 방향으로 나아가도록 돕습니다. 하지만 그것 또한 재미있습니다. 그리고 저는 그 과정에서 엄청나게 많은 것을 배우고 있습니다.
모든 분들이 자신만의 해킹을 시도해 보기를 바랍니다. 저에게 이 취미는 호기심에 의해 움직입니다. 그리고 LLM은 그것을 앗아가지 않았습니다. 오히려 나의 궁금증과 탐험에 터보 부스트를 제공했습니다. 우리 마음을 자유롭게 합시다!
수정: HN에서 인기를 얻고 있습니다! 블로그 배포 다음 날 이런 일이 벌어질 줄은 예상하지 못했습니다! 정말 행복합니다!