proto.lib

Log Retention Tiering & Cold Storage

Chính sách vòng đời chuyển log từ tầng hot tối ưu tìm kiếm sang warm rồi cold/archive để tiết kiệm chi phí lưu trữ.

ObservabilityTrung bình2026-07-15
Log Retention Tiering & Cold Storage

Tags

#retention#ilm#hot-warm-cold#archive#cold-storage

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ObservabilityTrung bình

Cost Attribution cho Telemetry (ai đang trả hoá đơn observability)

Chi phí ingest/storage/query của toàn bộ dữ liệu telemetry được gắn nhãn service/team/environment ngay từ nguồn, cho phép quy trách nhiệm chi tiêu về từng team; sau đó áp các đòn bẩy giảm cardinality, rút ngắn retention, sample log debug và đẩy dữ liệu ít truy vấn xuống cold storage, trong khi vẫn giữ ngân sách cảnh báo trước khi hoá đơn về.

#cost-attribution#telemetry-cost#cardinality#retention
ObservabilityNâng cao

Downsampling và các tầng retention dài hạn

Compactor gộp block thô độ phân giải cao thành các tầng downsample 5m và 1h, giữ dữ liệu gần đây chi tiết còn dữ liệu cũ thô hơn để giới hạn chi phí lưu trữ dài hạn.

#prometheus#thanos#downsampling#retention
ObservabilityTrung bình

Log Pattern Clustering: gom triệu dòng log thành vài chục mẫu

Thay vì đọc log thô, hệ thống chuẩn hoá phần biến (id, số, timestamp) trong mỗi dòng thành template cố định, rồi đếm số dòng theo từng template để phát hiện mẫu mới xuất hiện hoặc tăng vọt sau deploy — dùng để triage nhanh.

#log-clustering#log-pattern#log-template#triage