운영 환경 신뢰성(Production Reliability) 대 관측 가능성(Observability)

관측 가능성은 실행 중인 시스템 내부에서 무슨 일이 일어나고 있는지를 알려줍니다.

반면, 운영 환경 신뢰성은 다른 질문을 던집니다:

이 변경 사항은 프로덕션 환경에 어떤 의미인가?

두 개념은 밀접하게 관련되어 있지만, 엔지니어링 워크플로우의 서로 다른 지점에서 작동합니다.

관측 가능성이 제공하는 것

관측 가능성은 다음과 같은 신호들을 통해 시스템 동작을 이해하도록 돕습니다:

• 로그(Logs)
• 메트릭(Metrics)
• 추적(Traces)
• 오류(Errors)
• 지연 시간(Latency)
• 리소스 사용량(Resource usage)
• 요청 동작(Request behavior)

AI 시스템의 경우, 이는 프롬프트(prompts), 응답(responses), 도구 호출(tool calls), 검색된 컨텍스트(retrieved context), 토큰 사용량(token usage), 평가 결과(evaluation results) 등으로 확장될 수 있습니다.

관측 가능성은 무슨 일이 일어나고 있는지 이해해야 할 때 매우 유용합니다.

변경 사항 배포 전 관측 가능성이 알려주지 못하는 것

공유 데이터베이스 라이브러리를 수정하는 풀 리퀘스트(pull request)를 상상해 보세요.

관측 가능성 시스템은 배포 후에 무슨 일이 일어나는지를 알려줄 수 있습니다.

하지만 배포 전에도 다음을 알고 싶습니다:

• 어떤 서비스가 이 라이브러리를 사용하는가?
• 이 서비스들은 얼마나 중요한가?
• 어떤 테스트가 이 변경 사항을 다루는가?
• 이 컴포넌트가 이전에 사고를 일으킨 적이 있는가?
• 잠재적인 영향 범위(blast radius)는 얼마나 큰가?
• 배포를 롤백할 수 있는가?

이러한 질문들은 변경 컨텍스트(change context)를 필요로 합니다.

운영 환경 신뢰성은 관측 가능성을 증거로 사용한다

유용한 모델은 다음과 같습니다:

Code change
    +
Production context
...

따라서 관측 가능성은 하나의 입력(input)입니다.

이는 더 광범위한 평가를 대체하지 못합니다.

예시

만약 변경 사항이 결제 서비스(payment service)를 수정한다고 가정해 봅시다.

관측 가능성은 다음과 같은 것을 보여줄 수 있습니다:

• 오류율은 안정적이다
• 지연 시간은 정상이다
• 현재 의존하는 부분이 실패하고 있는 것은 없다

이것은 유용합니다. 하지만 변경 사항이 높은 트래픽 경로(high volume path)를 건드리는지, 관련 통합 테스트가 존재하는지, 또는 유사한 변경 사항들이 이전에 사고를 일으킨 적이 있는지 여부를 여전히 알아야 할 수도 있습니다.

건강한 런타임 동작이 모든 새로운 변경 사항이 신뢰할 수 있다는 것을 자동으로 의미하지는 않습니다.

AI 시스템은 이러한 구분을 더 명확하게 만든다

AI 애플리케이션은 나쁜 결과를 생성하면서도 건강한 인프라를 가질 수 있습니다.

AI 관측 가능성(observability)은 다음을 검사하는 데 도움을 줄 수 있습니다:

• 프롬프트 및 응답 동작
• 도구 호출(Tool calls)
• 검색된 컨텍스트(Retrieved context)
• 지연 시간(Latency)
• 비용(Cost)
• 평가 결과

운영 신뢰성(Production reliability)은 해당 시스템의 변경 사항이 사용자에게 도달하기 전에 무엇을 의미하는지 묻습니다.

주요 차이점

관측 가능성(Observability): 무슨 일이 일어나고 있는가?

운영 신뢰성(Production reliability): 이 변경 사항이 운영 환경에 어떤 의미를 가지는가?

둘 다 유용합니다.

어느 것도 다른 것을 대체할 필요는 없습니다.

PRI의 역할

**운영 신뢰성 지수(Production Reliability Index, PRI)**는 런타임 정보, 코드 변동성(code volatility), 의존성(dependencies), 배포 컨텍스트(deployment context) 및 기타 신뢰성 지표를 포함하여 소프트웨어 변경 사항 주변의 다양한 신호들을 결합합니다.

그 목적은 배포 전에 변경 수준의 신뢰성을 더 쉽게 평가할 수 있도록 하는 것입니다.

PRI 평가 실행하기:

[https://tomosu.ai/start]