저수준 시스템 엔지니어링 (Low-level systems engineering)에서의 로컬 모델 vs 프론티어 모델 비교

안녕하세요 r/LocalLLaMA 여러분, 누군가 저를 공격하기 전에 미리 말씀드리자면, 이 글은 절대로 Qwen이 얼마나 대단한지에 대한 글이 아닙니다 😄 제가 매일 Qwen 3.6 35B-A3B를 사용하고 있음에도 불구하고, 저수준 시스템 엔지니어링 (low-level systems engineering) 측면에서는 Opus와 다른 모든 모델(로컬 모델이나 GPT 5를 포함한 프론티어 모델 모두) 사이에 엄청난 격차가 있다는 것을 발견했습니다. 단순히 "해킹"이라고 부르는 것을 피하기 위해 의도적으로 이 용어를 사용했습니다 😄 저는 지난 몇 달 동안 이 프로젝트 https://github.com/mihailescu2m/woodbourne 에 Opus 토큰을 엄청나게 쏟아부었습니다. 요약하자면 이렇습니다: 저는 AirPlay 스피커의 펌웨어 (firmware)를 수정하여, 20분 동안 활동이 없으면 스피커를 절전 모드로 전환하는 짜증 나는 유휴 대기 타이머 (idle standby timer)를 비활성화하고 싶었습니다. 로컬 모델들과 심지어 GPT조차 완전히 한계에 부딪힌 지점은 바로 맨 처음 단계였습니다. 그들은 CRC 구조를 정확하게 역공학 (reverse-engineer) 하는 것은커녕, 펌웨어 레이아웃 (firmware layout)조차 정확하게 파악하지 못했습니다. 결국 체크섬 (checksum) 제약 조건을 파악하고, 방대한 양의 펌웨어 코드를 정확하게 역어셈블 (disassemble) 하며, 제가 수십 가지의 서로 다른 패치된 펌웨어 변형들을 안전하게 생성하고 테스트할 수 있도록 바이너리 패칭 (binary patching)을 자동화한 것은 오직 Opus뿐이었습니다. 이 과정을 거치면서 어렵고 저수준인 바이너리 분석 (binary analysis)에 있어서 Opus는 다른 모든 것과는 완전히 다른 차원에 있다는 인상이 확고해졌습니다. 펌웨어 툴링 (firmware tooling) 측면에 관심이 있다면 리포지토리를 확인해 보세요. 유사한 프로젝트에 대한 다른 경험담도 듣고 싶습니다!