「숫자는 나오고 있는데, 왠지 신뢰할 수 없다」. 자체 제작한 감시 시스템을 운용하다 보면 그런 국면에 직면하게 됩니다. 이번에는 화면 표시에서 읽어 들인 계측값이 주간 92%와 82%를 약 3분 주기로 왕복하며, 약 2일간에 걸쳐 톱니파(Sawtooth wave)를 그린 한 사례에 대한 요약입니다. 원인은 값의 계산 실수가 아니라, 업데이트되지 않은 화면을 다시 읽어 들인 것이었습니다. 즉, 몇 시간 전의 프레임을 「현재값」으로 출력하고 있었습니다.

값이 아닌 신선도를 의심하라

같은 화면의 같은 위치를 읽고 있는데, 값의 조합만 규칙적으로 되돌아온다. 이는 전형적인 stale(신선도 저하) 증상입니다. 업데이트 지시가 누락된 사이클에서는 표시가 업데이트되지 않으며, 그대로 읽어 들이면 오래된 프레임이 현재값이 됩니다. 이력 측의 오래된 출력을 피하고 있더라도, 지금 보이는 화면 자체가 오래되었다면 감시에는 또 다른 stale 측면이 남게 됩니다.

결정적인 단서는 프레임 자체의 모순이었습니다. 이 표시에는 다음 리셋 시각이 포함되어 있으며, 대상 프레임은 5시간마다 반드시 리셋됩니다. 21:45에 취득한 프레임이 「18:50 리셋」이라고 나타냈다면, 그 표시는 현재의 것이일 수 없습니다. 외부 서비스에 문의할 필요 없이, 표시 내용과 취득 시각을 대조하는 것만으로도 오래되었음을 증명할 수 있습니다. 표시 내의 시각, 카운터, 업데이트 주기 등, 관측 결과가 스스로 모순을 나타낼 수 있는 항목은 취득원이 불안정할수록 가치가 높습니다.

신선도 게이트(Freshness Gate)는 머지(Merge) 전에 배치한다

구현 흐름은 단순합니다. 프레임을 해석한 후, 값을 저장·표시하기 전에 신선도를 판정합니다. 오래되었을 가능성이 있다면 사이클 내에서 1회만 재시도하고, 그래도 자기 모순이 사라지지 않으면 값은 머지하지 않습니다. 실패를 묵묵히 숨기지 말고, stale_frame_rejected와 같은 명시적인 상태(Status)로 남깁니다.

「마지막으로 성공한 값을 반환한다」는 폴백(Fallback) 방식과의 비교도 정리해 둡니다.

결손은 보기 좋지 않습니다. 하지만 오래된 수치로 채워진 매끄러운 그래프보다, 이유를 알 수 있는 빈칸이 더 안전합니다. 감시값을 알람이나 용량 판단, 작업의 시작·정지에 사용한다면 후자를 선택할 의미가 있습니다. 참고로 과거의 톱니파는 이력으로 남겨두었습니다. 잘못된 이력이라도 당시 실제로 출력된 데이터인 이상, 삭제하여 정리할 이유는 없습니다.

수정 후에 보인 또 다른 경합(Contention)

신선도 게이트를 도입한 같은 날 밤, 별도의 계통에서 93%와 94%의 ±1% 흔들림이 발견되었습니다. 재구성해 보니 상향 편차는 매시 07분에 집중되었습니다. 1시간 주기 작업과 약 3분 주기 작업이 같은 화면을 동시에 조작하고 있었으며, 게다가 한쪽은 읽기 6초 전에 동일한 조작을 예약(Postpone)하고 있었습니다. 이 이중 구동은 약 1주일 전부터 계속되어 왔으나, 감시 세션을 다시 만들면서 타이밍이 바뀌어 표면 위로 드러난 것입니다.

대처 방법은 예약을 중단하고, 락(Lock)으로 조작을 직렬화하며, 전송 전에 화면을 클린업(Cleanup)하는 것입니다. 그리고 이 계통에도 동일한 신선도 게이트를 추가했습니다. 중요한 것은 비대칭성입니다. 타이밍 경합을 완전히 없애는 것은 어렵지만, 오래된 프레임의 자기 모순은 검출할 수 있습니다. 경합을 줄이는 배타 제어와, 경합이 남아 있더라도 오래된 값을 버리는 신선도 게이트는 역할이 다릅니다. 두 가지를 모두 배치하십시오.

이 사고방식은 UI 스크레이핑(Scraping) 특유의 것이 아닙니다. 캐시, 외부 API의 미러, 센서 값, CI 배지 등 「마지막으로 성공한 값」을 반환하는 구현은 모두 같은 병에 걸립니다. 반환해야 할 것은 value뿐만 아니라, observed_at을 포함한 관측 결과입니다.

교훈·체크리스트

• 감시값에 관측 시각을 첨부하고 있는가
• 취득에 실패했을 때, 오래된 값을 현재값으로 반환하고 있지는 않은가
• 동일한 취득원을 여러 작업이 동시에 조작하고 있지는 않은가
• 취득 결과에 자기 모순을 검출할 수 있는 항목(시각 라벨, 주기 카운터)이 포함되어 있는가

계측값이란 「값」이 아니라 「값과 신선도의 조합」입니다. 신선도가 없는 값은 값이 아닙니다. 취득할 수 없을 때는 오래된 값으로 채우지 말고, 빈 값/실패로 남기십시오. 그 불편함이 감시를 감시로서 기능하게 합니다.

상세 로그

프레임 검증의 구체적인 구현 절차와 이중 구동의 재구성 상세 내용은 원문에 정리되어 있습니다.

Discussion