hermes-memory-installer: Memory Sidecar v3.5.1 — Memory Sidecar v3.5.1

Memory Sidecar v3.5.1은 공개적인 에이전트 불가지론적 (agent-agnostic) 메모리 시스템을 위한 운영 강화 릴리스입니다. 만약 여러 에이전트와 함께 프로덕션 환경에서 메모리 사이드카 (memory sidecars)를 운영해 오셨다면, 다음과 같은 마찰 지점들을 알고 계실 것입니다: 리소스 경합 (resource contention), 장애 발생 후 복구 시간, 그리고 배포 간의 구성 드리프트 (configuration drift). 이번 릴리스는 안정성을 위해 조정된 기본값과 숙련된 운영자를 위한 명시적인 제어 기능을 통해 이러한 영역을 직접적으로 겨냥합니다. 단순히 기능을 추가하기 위해 새로운 기능을 넣은 것이 아닙니다. 이곳의 모든 변경 사항은 멀티 테넌트 (multi-tenant) 설정의 부하 상황에서 스스로의 가치를 증명해야 했습니다.

이번 릴리스에서 변경된 사항

핵심적인 개선 사항은 메모리 제한 강제 (memory limit enforcement) 및 오류 피드백 루프 (error feedback loops)에 있습니다. 이전 버전은 버스트 (bursts) 발생 시 초과될 수 있는 소프트 캡 (soft caps)에 의존하여 연쇄적인 장애 (cascading failures)로 이어지기도 했습니다. v3.5.1은 두 단계 할당 모델을 도입합니다: max_memory를 통해 설정되는 하드 실링 (hard ceiling)과 선제적 정리를 트리거하는 80% 지점의 소프트 워터마크 (soft watermark)입니다. 정리 루틴 자체는 I/O 중에 락 (locks)을 보유하지 않도록 재작성되었으며, 이를 통해 사이드카가 서로 다른 에이전트로부터 동시 요청을 처리할 때 발생하는 경합을 줄여줍니다.

에이전트 불가지론적 (Agent-agnostic) 지원은 사이드카가 특정 페이로드 형식이나 라이프사이클 (lifecycle)을 가정하지 않고 다양한 요청 패턴을 처리해야 함을 의미합니다. 새로운 비동기 미들웨어 디스패처 (async middleware dispatcher)는 메모리 작업과 네트워크 I/O를 분리하여, 표준화된 WebSocket 또는 gRPC 엔드포인트를 통해 에이전트를 플러그인할 수 있도록 합니다. 디스패처는 백프레셔 (backpressure)가 있는 유한 채널 (bounded channel)을 사용합니다. 버퍼가 가득 차면 사이드카는 충돌하거나 메모리 누수 (memory leaking)가 발생하는 대신 새로운 연결을 우아하게 거부합니다.

헬스 체크 (Health checking) 또한 개선되었습니다. 사이드카는 이제 기본적인 서비스가 실행 중인지 확인하는 얕은 체크 (shallow check)를 수행하는 /livez 엔드포인트와, 메모리 저장소가 쓰기 작업을 수락할 수 있는지 확인하는 /readyz 엔드포인트를 노출합니다. 두 엔드포인트 모두 최근 100번의 체크에 대한 지연 시간 백분위수 (latency percentiles)를 포함한 구조화된 JSON을 반환하며, 이는 서비스 메시 (service meshes) 및 외부 모니터링 도구와의 통합을 단순화합니다.

프로덕션 환경에서 생존하는 구성

이전 버전의 한 가지 고충(pain point)은 설정 검증(configuration validation)과 런타임 동작(runtime behavior) 사이의 간극이었습니다. v3.5.1은 시작 시 알 수 없는 키(unknown keys)나 범위를 벗어난 값(out-of-range values)이 발견되면 즉시 실패하는 --strict 모드를 도입했습니다. CLI의 새로운 config validate 서브커맨드(subcommand)와 결합하여, 배포 전에 YAML 파일을 린트(lint)할 수 있습니다. 설정 파일 자체에서 이제 환경 변수 보간(environment variable interpolation)과 토큰 및 엔드포인트(endpoints)를 위한 비밀 참조(secret references)를 지원하므로, 자격 증명(credentials)을 노출하지 않고도 템플릿을 버전 관리 시스템에 커밋할 수 있습니다.

다음은 새로운 strict 모드와 복구(recovery) 설정을 사용하는 최소 구성 예시입니다:

# memory-sidecar.yaml
version: "3.5.1"
strict: true
...

recovery.circuit_breaker_failures에 주목하십시오. 단일 엔드포인트에서 5회 연속 실패가 발생하면, 사이드카(sidecar)는 해당 경로로의 요청 전송을 60초 동안(설정 가능) 중단합니다. 이는 느린 메모리 백엔드(memory backend)가 전체 사이드카 풀(sidecar pool)을 다운시키는 것을 방지합니다.

현장 성능 노트 (Performance Notes from the Field)

10개의 동시 에이전트(concurrent agents)를 모방한 합성 페이로드 생성기(synthetic payload generator)를 사용한 벤치마크 실행 결과, v3.5.1은 메모리 사용률 80% 미만에서 쓰기 작업에 대해 5ms 미만의 p99 지연 시간(latency)을 유지했습니다. 사용률이 95%에 도달하여 정리 루틴(cleanup routine)이 실행될 때 지연 시간은 12ms로 증가했지만, 요청이 드롭(dropped)되지는 않았습니다. 요청들은 제한된 채널(bounded channel)에 큐(queue)로 쌓였습니다. 메모리 낭비(Memory wastage)는 모든 테스트에서 3% 미만을 유지했으며, 이는 소프트 캡(soft caps)을 초과했을 때 15%를 기록했던 v3.5.0과 비교됩니다.

혼합된 워크로드(mixed workloads: 작은 페이로드 vs 큰 페이로드, 버스트(burst) vs 정상 상태(steady state))를 처리하는 사이드카의 능력은 Prometheus를 통해 노출되는 두 가지 새로운 메트릭(metrics) 덕분에 향상되었습니다: memory_sidecar_cleanup_duration_seconds 및 memory_sidecar_backpressure_events_total. 이를 통해 추측 없이 cleanup_batch_size 및 initial_backoff 파라미터(parameters)를 미세 조정할 수 있습니다.

v3.5.0에서 업그레이드하기

업그레이드 경로는 간단합니다. 바이너리 API (Binary API)와 구성 스키마 (configuration schema)는 하위 호환성 (backward compatible)을 유지합니다. v3.4.0에서 사용 중단된 (deprecated) 필드들은 제거되었지만, v3.5.0 설정은 계속해서 작동합니다. 만약 hermes-memory-installer 스크립트를 사용 중이라면, hermes-memory-installer update --version 3.5.1을 실행하여 새로운 사이드카 (sidecar) 이미지를 가져오세요. 이제 설치 프로그램은 환경 내에서 예기치 않은 문제가 발생할 경우를 대비하여 --rollback 옵션을 통한 이전 버전으로의 롤백 (rollback)을 지원합니다.

Memory Sidecar v3.5.1이 여러분이 가진 모든 메모리 관리 문제를 해결해주지는 않겠지만, 부정확한 제한 (limits) 및 부적절한 복구 (recovery)에서 기인하는 유형의 실패들은 제거해 줍니다. 이미 사이드카를 사용 중인 팀에게 이번 업그레이드는 리스크가 낮으며 운영상의 이점을 즉각적으로 제공합니다. 이 도구를 처음 사용하는 경우라면, 엄격한 구성 (configuration)과 에이전트 불가지론적 (agent-agnostic) 엔드포인트 (endpoints) 덕분에 특정 프레임워크에 종속되지 않고 메모리 인식 시스템 (memory-aware systems)을 구축하기 위한 견고한 기반이 될 것입니다.