대기업의 대규모 장애는 늘 비슷한 양상을 보임. 전력 업계에는 전력망을 완전히 꺼진 상태에서 복구하는 블랙 스타트(black start) 라는 개념이 있음. 발전기를 곧바로 전체 부하에 연결하면 주파수를 유지하지 못해 장비가 손상될 수 있으므로, 모든 부하를 분리한 뒤 발전량에 맞춰 구간별로 다시 연결해야 함. 발전소가 차례로 탈락하는 연쇄 장애가 시작되면 전력망 전체가 약 60초 만에 무너질 수도 있음.
서버도 마찬가지임. 일부 서버가 반복적으로 죽거나 캐시가 준비되지 않은 상태에서 부하 분산기가 나머지 서버로 트래픽을 보내면 연쇄적으로 과부하가 발생함. 이때는 모든 부하를 끊고 서버를 안정화한 뒤, 캐시와 JIT 컴파일러가 준비될 시간을 주면서 조금씩 부하를 복구해야 할 수도 있음.
무작위로 요청의 90%를 버리면 모든 사용자에게 서비스가 망가진 채로 보이므로 사전 준비가 필요함. 세션 쿠키의 나머지 연산 등을 기준으로 사용자를 나눠, 허용된 사용자는 온전히 서비스를 이용하도록 하는 편이 바람직함.
자원이 충분한 SRE 팀이라면 분기마다 테스트 클러스터에서 이런 복구를 연습해 볼 만함. Google에서 SRE로 일할 때 새 클러스터를 띄우고 트래픽을 옮기는 일은 자주 했지만, 격리된 서비스 인스턴스를 완전히 처음부터 시작하는 훈련은 하지 않았음. 실제로 X를 시작하려면 X가 이미 실행 중이어야 하거나, X와 Y가 서로를 필요로 하는 순환 의존성이 뒤늦게 발견되기도 함. 이런 결함은 직접 연습해야만 찾을 수 있는 경우가 있음.
“주파수를 유지하지 못하면 장비가 손상될 수 있다”는 건 엔지니어다운 절제된 표현임. 회전 속도는 모터 속도 상수를 통해 전압과 연결되며, 상수 값은 모터마다 다름. https://en.wikipedia.org/wiki/Motor_constants.
정지된 대규모 교류 부하에 발전기를 연결하는 건 수백 메가와트짜리 엔진을 클러치 없이 연결하는 것과 같음. 폭 6피트의 발전기가 분당 3,600회전에서 순식간에 멈추려 하며, 최고 속도 회전자의 회전 에너지는 5기가줄, TNT 1톤 이상에 달할 수 있음.
가동 중인 전력망에서는 동기 검정기를 사용함.
.
위상을 반대로 연결하면 느린 폭발 같은 일이 벌어질 수 있음. 죽어 있는 전력망에서는 전선의 저항만이 보호막이 되므로, 연결하는 순간 엄청난 소리와 함께 발전소 벽에 환기구가 새로 생길 가능성이 큼.
내가 아는 한 Microsoft에는 블랙 스타트 절차가 없음. 서비스를 처음 가동할 때는 수백 개 팀이 조율하는 구축 과정을 거치며, 복잡하고 고통스러운 작업임.
사람이 주도하고 일부만 자동화되어 있으며, 때로는 20년 넘게 쌓인 엔지니어링 작업, 문제 해결 문서, 구전 지식에 의존함. Azure 클라우드 환경마다 조금씩 달라 팀 간은 물론 같은 팀 안에서도 일관성이 부족함.
민간 발전소에서 일한 적은 없지만 원자력 추진 함정에서는 이런 절차를 직접 수행했음. 부두에서 정상 시동 후 부하를 올리는 훈련도 자주 했지만, 전체 부하를 차단하고 원자로를 긴급 정지한 뒤 다시 가동하는 훈련은 더 자주 했던 것 같음. 단계별로 무엇을 켤지 미리 정한 목록이 큰 도움이 되지만, 그래도 쉽거나 단순한 작업은 아님.
인터넷 서비스의 외부 부하는 방화벽에서 연결을 차단하거나 IP 범위를 제한하면 쉽게 줄일 수 있음. 허용 범위를 조금씩 늘리면 점진적인 복구도 가능함. 지리적으로 더 고르게 분산하려면 CIDR 대역보다는 끝자리가 .80~.90인 IP처럼 하위 비트를 기준으로 허용하는 편이 나을 수도 있음.
그래서 시스템을 무너뜨린 건 사용자나 앱의 접근이 아니라 내부 부하였을 것으로 의심함. O365 계정 사이에 쌓인 메시지를 전달하는 등의 서버 간 통신일 수 있음.
현 행정부의 역량과 최근 예측하기 어려운 대형 장애에 대한 대응 태도를 생각하면, 전력망이 60초 만에 붕괴할 수 있다는 사실은 정말 무섭게 느껴짐.
결국 정상적인 부하를 감당하지 못한 거라면, 왜 연결을 차단하거나 제한해 부하를 줄이지 않았는지 이해하기 어려움. 임의의 IP 대역만 허용하고 5분마다 대역을 바꾸면, 각 클라이언트가 적어도 한 시간에 한 번은 동기화하도록 만들 수도 있음.
부하를 줄인 상태에서 서버를 차츰 복구하고 용량을 늘린 뒤 접근을 확대하면 버그를 고치지 않고도 복구할 수 있었을 것 같음. 버그가 있는 상태에서도 평소 부하는 처리하다가 임계점을 넘어 무너진 것이니, 자원을 추가하는 것도 해결책이 될 수 있음.
재해 복구 계획을 미리 마련했어야 한다는 뜻인가? 그러려면 경험과 노하우가 필요한데, 이 회사는 가장 숙련된 인력의 4분의 1을 “자발적으로 은퇴”시키기로 했음. 할 수 있었고, 했어야 할 일은 많았을 것임.
가장 놀라운 건 핵심 네트워크 인프라에 Windows를 사용한다는 점임. Exchange 서버 자체가 아닌 곳에서도 Windows 프로세스가 이런 역할을 맡는다는 게 의외임.
Microsoft에서 Windows를 쓰는 건 놀랍지 않음. 오랫동안 핵심 사업이었고, Windows 커널 팀에는 뛰어난 엔지니어와 저명한 컴퓨터 과학자가 많음. 내 전 상사도 그 팀 출신으로, 함께 일한 엔지니어 중 가장 뛰어났으며 이후 Shopify에서 핵심 플랫폼 엔지니어링을 이끌었음.
2000년 무렵 Linux가 서버 시장을 장악하기 전에는 Windows Server가 중견기업 시장의 강자였고, 대기업 시장에는 IBM 메인프레임도 있었음. 수십 년 전이라 직접 겪은 세대여야 떠올리기 쉬울 것임.
기술적으로는 현명하지 않더라도, 사업 관점에서는 자사 제품을 직접 사용하는 것이 합리적일 수 있음.
누군가는 테스트해야 하는데, Microsoft는 운영 환경에서 테스트함. 2014년에 전담 SDET 직군을 폐지하면서 대규모 감원을 진행했음.
2026년에도 Windows를 장난감 운영체제 취급하는 무지한 인식이 남아 있다는 게 더 놀라움.
상대적으로 저사양인 테스트 환경에서는 7월 코드가 통과했지만, 고사양 운영 장비와의 차이 때문에 동시성 버그를 발견하지 못했다고 함. 이런 차이를 허용하는 게 일반적인가? 비용 때문에 감수하는 절충인지 궁금함.
저사양과 고사양의 차이가 어느 정도인지에 달려 있음. 테스트는 4코어, 운영은 128코어라면 받아들이기 어렵지만, 64코어 장비와 클러스터 전체의 차이라면 계산이 달라짐.
기사에는 “내부 Windows 프로세스의 잠금 경합으로 CPU와 메모리가 고갈됐다”고 되어 있으니 전자에 가까워 보임. 테스트 장비는 사무실 선반에 놓인 8년 된 서버이고, 운영 장비는 최신 64~128코어 Xeon/EPYC였을지도 모름.
Windows 95 시절에는 뮤텍스 스핀이더니 2026년에도 잠금 경합이라니, Microsoft는 왜 아직도 이런 일을 겪는지 모르겠음.
운영 규모의 테스트는 기술적으로도 어렵고 비용도 많이 듦. 내가 일한 곳에서는 큰 변경을 모의 환경에서 검증해 신뢰도를 확보하는 식으로 균형을 맞췄지만, CI/CD에서 전체 규모에 근접한 자동 테스트를 돌리지는 못했음.
Microsoft 정도의 규모라면 운영 환경을 재현하기가 극도로 어려움. 엄청난 처리량에 현실의 복잡성이 더해져야 드러나는 결함도 많음.
Microsoft는 Exchange Online을 포함해 직원들을 대상으로 자사 서비스를 먼저 시험함. 오래된 자료지만 지금도 해당함. https://devblogs.microsoft.com/oldnewthing/20110802-00/?p=10....
그래도 Microsoft 직원 수는 전체 고객 기반에 비하면 아주 작은 규모임.
나는 그 대목을 “QA에 기존 하드웨어가 영향을 받지 않는지 우선 확인하도록 해서, 안전하다고 가정한 새 하드웨어를 테스트할 여력이 줄었다”는 뜻으로 읽었음. 누가 우선순위를 정했는지, 왜 새 하드웨어는 위험이 낮다고 판단했는지 밝히지 않아 QA에 책임을 떠넘기는 모양새임. 하드웨어별 위험 평가표가 어떻게 생겼는지 궁금함.
“복구 엔지니어들은 앞으로 Redmond에서 자기 돈으로 음료를 사지 않아도 되길, 적어도 다음 감원은 피하길 바란다”는 문장이 무슨 뜻인지 이해하지 못했음.
고생한 엔지니어들에게 술을 사줘야 한다는 뜻임. 감원 이야기는 Microsoft가 최근 직원의 4분의 1 이상에게 희망퇴직 제안을 보낸 것과 관련 있음. https://www.geekwire.com/2026/microsoft-makes-new-voluntary-...
핵심 인력을 얼마나 더 내보내야 장애가 잦아질까? AI 때문이라는 해명은 전혀 믿지 않음. 주식시장이 요구하는 수익성 수치를 맞추려고 감원하는 것이고, 더 벌게 되면 다시 채용할 것임.
시스템 관리자식으로 풀면, 고생한 만큼 무료 음료나 보너스를 주고 복구 직후 희생양으로 해고하지 말라는 뜻임.
The Register가 드물게 Microsoft 개발자 편을 들어줌. 개발자를 싫어하는 매체는 아니지만, Microsoft에는 EEE와 Halloween Documents 등으로 쌓인 악명 때문에 비판적인 편임.
맥주나 커피로 감사를 표시하고 다음 감원 대상에서도 빼주길 바란다는 뜻임. 다만 나도 이런 장애 대응을 해봤는데, 현실에서는 그런 보상을 기대하기 어려움.
대기업에서 일어나는 전형적인 심각한 장애처럼 보임. 이런 일은 생기기 마련임.
이른바 정상 사고(normal accident) 에 해당함. 다만 감원, AI가 만든 코드, AI가 생성한 공격 코드 때문에 이런 사고가 더 잦아질 수도 있으니 지켜봐야 함.
네트워크 엔지니어가 아니라서 365, Azure, AWS 같은 거대한 규모에서는 이런 일을 어떻게 처리하는지 정말 궁금함. 내가 아는 건 nginx나 traefik의 부하 분산 정도라, 이 규모에서는 사실상 아는 게 없는 수준임.
그래도 임계치에 도달하면 초과 트래픽의 차단 비율을 점진적으로 높이거나 일부 지역을 막는 부하 차단 장치가 있을 법함. 늘어나는 요청을 다음 서버에 넘겨 연쇄적으로 무너뜨리는 대신 그렇게 처리할 수는 없을까?
잠복 결함이 있는 업데이트가 운영 환경까지 도달한 과정은 철저히 들여다봐야 함. 내 가설은 급격한 개발자 감원과 AI 코드 생성 전환이 잠재적 기술 부채를 쌓기 시작했다는 것임.
최고의 개발자와 아키텍트가 지시와 검토를 잘해도, 더 넓게 흩어져 발견과 수정이 어려운 기술 부채가 남으며 이런 장애로 드러나기 시작할 것 같음.
처음에는 항공교통관제 장애도 같은 부류로 봤지만, 지금은 평범한 경영 무능에 가까워 보임. 어쩌면 단독 입찰 계약의 추가 지출을 정당화하려는 조작일 수도 있음. https://ajsignalnotnoise.substack.com/p/faa-air-traffic-cont....
가설을 이렇게 바꾸면 더 정확할 것 같음. 복잡한 시스템은 취약점과 보완법에 관한 조직의 지식 덕분에 안정적으로 유지됨. 조직 변화로 그 지식은 사라지지만 취약점은 그대로 남으므로, 안정적이던 시스템도 점점 장애에 취약해짐.
소프트웨어가 해결된 문제라는 표현은 실제로는 코드를 작성하는 프로그래밍이 해결됐다는 뜻에 가까움. 소프트웨어 공학, 시스템 아키텍처, 분산 시스템의 복잡성은 해결되지 않았으며, 이를 구분하지 않으면 혼란이 생김.
크게 보면 동시성, 잠금 경합, 요청 폭주가 겹친 장애임. 직접적인 계기는 근본 원인이 아니었고, 실제 결함은 몇 달간 잠복해 있어 신속하게 해당 부분만 되돌리기도 어려웠음. 여기에 부하·배포 테스트 부족과 운영 환경의 완화책 부족까지 겹친 것으로 보임.