GitHub의 Git 작업, Pull Requests, Actions 장애

Reddit의 품질 저하가 계속될수록 이런 일은 더 흔해질 것 같음. 누구에게나 거의 쓰기 어려운 플랫폼이 되면서, Reddit 특유의 이용자들을 붙잡아 두는 역할도 약해지고 있음.
BlueSky가 Lemmy 같은 Reddit 대안을 만들어 주면 좋겠음. 소셜 미디어식 포럼에 대한 욕구를 채워 줄 공간이 필요함.

HN이 Reddit처럼 변한다고 불평하는 쪽이 Reddit 수준의 댓글을 쓰는 것보다 더 나쁘다고 봄. 후자는 가끔 웃기기라도 함.

빌드가 왜 실패하는지 5분 동안 디버깅하다가, GitHub의 가용성은 Google과 다르다는 사실이 떠올랐음. status.github.com을 확인하니 역시 장애가 떠 있었음.

아직도 GitHub에 이렇게 의존한다는 게 놀라움. 긴급 수정처럼 즉시 배포할 수 있어야 하는 작업은 형편없는 가동률 때문에 약 1년 전에 전부 GitHub 밖으로 옮겼음.
나아지기는커녕 더 나빠지고 있음. 떠나기에 가장 좋은 때는 어제였고, 그다음은 오늘임. Tangled, Codeberg, 자체 호스팅 Forgejo, Gitea 모두 좋은 대안이며, 나는 Forgejo를 직접 운영함.

인류가 미완성인 가벼운 아이디어를 모조리 코드로 만드는 앞으로 몇 년 동안 GitHub가 버텨 주길 바람.

상태 페이지와 실제 동작이 달라서 답답함. 상태 페이지에는 풀 리퀘스트가 정상이라고 나오지만, 지금 작업 중인 PR에는 커밋이 빠져 있고 고객 지원 문의 페이지마저 오류가 남.

고객 지원 페이지가 작동하더라도 문의하는 건 시간 낭비일 가능성이 큼.

11시 5분쯤 Tailscale SSH의 GitHub 인증이 깨졌으니 장애 시작 시각을 확인해 줄 수 있음. 이후 10분 동안 문제를 해결하려고 GitHub 상태 페이지도 확인했지만 계속 “all systems operational”이라고 나와서 내 쪽 문제라고 여겼음. 그러다 다시 작동하기 시작함.
이 댓글을 쓰는 동안 또 잠깐 끊겼지만, 적어도 이번에는 이유를 알고 있음. 약 7년 전에 Tailscale을 GitHub 인증으로 설정한 게 후회됨. 이 계정을 이메일 인증으로 옮기는 방법을 찾아봐야겠음.

내가 놓친 게 없다면 이메일 인증으로 전환할 수 없는 것 같음. 나도 제공되는 선택지 중 GitHub 인증이 그나마 나아서 써야 했음. 일반적인 서비스처럼 이메일이나 사용자 이름, 비밀번호, TOTP를 지원하면 좋겠음.

이제는 팀 초대 대상에 제한이 없음. 패스키를 쓰는 관리자 계정을 추가하고, 다른 사용자들은 이메일로 초대했음. 계정 소유자는 여전히 내 GitHub 계정이지만 일상적으로는 거의 쓰지 않음.

최근 GitHub의 안정성은 계속 의문스럽고, 공개적으로 보고되지 않는 장애도 잦음.
지난 두 달 동안 커밋을 푸시해도 GitHub Actions가 실행되지 않아 워크플로가 조용히 실패하는 일을 세 번 이상 봤고, 실제 서비스 저장소의 병합 대기열이 3시간 넘게 멈추는 일도 겪었음.

Gitea, Forgejo, GitLab CE, SSH는 여전히 잘 작동함.

공개 GitLab 서비스에서는 중단을 겪어 본 적이 없음. 전반적으로 GitHub와 Actions보다 낫기도 함.
반면 Azure에서 자체 호스팅하는 기업용 GitLab은 장애와 성능 저하가 꽤 여러 번 발생함.

Forgejo를 컨테이너로 운영하면서 비공개 S3 저장소에 백업하고, Liberapay로 Forgejo 팀에 소액도 보냈음. 설정에 30분 정도만 쓴 뒤에는 다른 일에 집중할 수 있었음.

GitHub 입장도 고려하자면 장애는 약 40분으로 비교적 짧고, 서비스의 핵심 기능에 영향을 주는 경우도 드묾. Git은 오프라인으로 쓸 수 있으니 작업 자체가 막히지도 않음.

푸시를 못 하는 건 꽤 치명적임.

Git 작업, 풀 리퀘스트, CI가 아니라면 도대체 GitHub의 어떤 부분이 핵심 기능인가?

git push의 Internal Server error는 파일을 저장하려는데 디스크가 꽉 찼다는 오류가 나는 것과 비슷함. 40분 뒤에는 작동할 수도 있고 점심을 먹고 다시 시도할 수도 있겠지만, 여기 유럽에서는 평소 업무가 끝나는 시간에 장애가 시작됨.

운영 환경에 문제가 생겼는데 GitOps 저장소에 푸시할 수 없다면, 40분은 영원처럼 길게 느껴짐.

오늘 아침 GitHub가 웹훅 IP 대역을 추가했는데, 이번 장애와 관련이 있는지 궁금함.

원인일 수도 있지만 지켜봐야 함. 상태 업데이트 네 건 중 두 건에 웹훅이 등장하며, “Webhooks is experiencing degraded performance”라고 나옴.