자율주행 오류가 11일 동안 아무도 알아차리지 못했던 이야기

최근 21일간의 자율주행 실패 기록을 AI에게 검토하게 했더니, 사이트 클릭 수 데이터를 가져오는 처리가 약 11일 동안 매일 계속 실패하고 있었다는 것을 알게 되었습니다. 중간에 한 번 수동으로 수정했었지만, 그 이후 결과를 확인하지 않은 채 실패가 지속되고 있었습니다.

같은 기록에는 다른 메커니즘이 5일 동안 멈춘 상태로 경과한 것도 남아있었습니다. 반면, Threads나 X에 게시하는 실패는 다음 실행에서 자연스럽게 회복하고 있었습니다. 단순히 실패 기록만 확인해서는 현재 대응해야 할 문제와 일시적으로 발생했다가 회복된 문제를 구분하기 어려웠습니다.

자율주행 시스템에서는 처리가 실패했을 때의 기록이 남습니다. 하지만 기록이 남는 것과 누군가가 지속적으로 확인하는 것은 별개의 문제입니다. 이번에 최근 21일간의 기록을 모아서 검토하면서, 클릭 수 가져오기가 매일 실패하고 있었다는 것을 알게 되었습니다.

이 처리는 실패를 발견한 후 한 번 수동으로 수정했습니다. 그런데 수정 후에 처리가 작동했는지, 그 이후에도 계속 성공하고 있는지를 확인하지 않았습니다. 그래서 고쳤다고 생각하고 일단 작업을 마친 후에도 실패가 지속되고 있었던 것입니다.

다른 메커니즘에 대해서도 멈췄다는 표시 기록이 없는 채로 5일 동안 작동하지 않았습니다. 실패가 발생했을 때만 기록을 남기는 방식으로는, 처리가 멈춘 상태인지 아니면 애초에 동작할 대상 자체가 없는지를 기록만으로 판단하기 어려운 경우가 있습니다. 이번에 알게 된 것은 실패 기록뿐만 아니라, 동작해야 하는 처리가 지속적으로 진행되고 있는지를 봐야 한다는 것이었습니다.

모든 실패가 장기간의 장애로 이어진 것은 아닙니다. 게시물에 대해서는 Threads에서 4회, X에서 1회의 실패가 기록되었지만, 모두 다음 실행에서 자연스럽게 회복되었습니다.

이러한 실패와, 같은 처리가 매번 실패하는 상태를 동일하게 취급하면, 기록을 본 사람은