컨텍스트(Context)는 증거가 아닙니다

수천 줄의 로그 라인을 LLM에 붙여넣고 싶은 유혹이 들겠지만, 타임스탬프(timestamps), 요청 ID(request IDs), 반복되는 메시지, 그리고 관련 없는 요청들은 실제 질문을 가릴 수 있습니다. 유용한 전처리(preprocessing) 단계는 조사할 가치가 있는 값(values)과 예시(examples)로부터 반복되는 구조를 분리하는 것입니다.

ctrlb-decompose는 해당 단계를 목표로 하는 오픈 소스 Rust 프로젝트입니다. 이 프로젝트의 README는 가변 토큰(variable tokens)을 정규화하고, 유사한 라인을 점진적으로 클러스터링(clustering)한 다음, 타입화된 변수(typed variables), 카운트(counts), 분위수(quantiles), 그리고 이상 징후 힌트(anomaly hints)를 보고하는 파이프라인을 설명합니다. 또한 사람이 읽기 쉽고 LLM에 최적화된 컴팩트한 Markdown 및 JSON 출력을 제공합니다.

해석 전의 분류(Triage)

실질적인 가치는 자동화된 장애 결론을 내리는 것이 아닙니다. 더 작은 단위의 전달(handoff)을 통해 구체적인 질문을 던질 수 있습니다: 어떤 에러 패턴이 증가했는가? 어떤 지속 시간 분포(duration distribution)가 변했는가? 다음에 검토해야 할 대표적인 원시 라인(raw lines)은 무엇인가?

이는 grep, 로그 검색, 메트릭(metrics), 트레이스(traces)를 대체하는 것이 아니라 이를 보완합니다. 압축은 중요한 희귀한 세부 사항을 숨길 수 있으며, 요약은 결코 운영 환경(production) 장애의 증거가 될 수 없습니다. 또한 팀은 로그가 AI 워크플로우에 진입하기 전에 자체적인 비식별화(redaction) 및 액세스 제어(access controls)를 수행해야 합니다.

유지해야 할 채택 경계

대용량 애플리케이션 로그의 경우, 이러한 방식의 구조적 분류(structural triage)는 안전한 비운영(non-production) 데이터에서 평가해 볼 가치가 있을 수 있습니다. 감사가 중요한 작업이나 정확한 인과 관계(causal chain)가 필요한 요청의 경우, 원래의 증거를 유지하고 쿼리(query)하는 것이 더 단순하고 안전한 기본값입니다.

테스트되거나 실행되지 않았습니다. 이 기사는 공개 문서 및 리포지토리 구조를 기반으로 작성되었으며, 압축, 성능, 정확성, 보안 또는 운영 적합성에 대해 독립적인 주장을 하지 않습니다.

출처: README, Cargo manifest, MIT license.

AI 지원 공개 (AI-assisted disclosure): 이 초안은 AI의 지원을 받아 작성되었으며, 연결된 공개 소스들을 바탕으로 검토되었습니다.