proto.lib

Deadman Switch Alert

Deadman switch cảnh báo khi dữ liệu heartbeat NGỪNG đến, phát hiện tình huống hệ thống giám sát chính nó cũng có thể im lặng khi có sự cố.

ObservabilityTrung bình2026-07-13
Deadman Switch Alert

Tags

#deadman-switch#heartbeat#alerting#monitoring#reliability

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ObservabilityNâng cao

Meta-Monitoring: Ai theo dõi chính hệ thống observability

Bản thân pipeline telemetry cần được giám sát bằng các tín hiệu riêng — scrape failure, target stale, span/log bị drop tại SDK hoặc collector, queue exporter đầy, ingestion lag, lỗi ghi storage và rules engine ngừng evaluate — vì một pipeline im lặng trông giống hệt một hệ thống khoẻ mạnh trên dashboard.

#meta-monitoring#pipeline-health#deadman-switch#collector
ObservabilityTrung bình

Giám sát độ tươi của Batch Job (Freshness & Deadman Check)

Một job chạy đêm không có error rate hay latency percentile để soi — thứ cần theo dõi là job có CHẠY hay không, có thành công hay không, và kết quả cũ tới mức nào; alert phải bắn khi KHÔNG THẤY lần chạy thành công nào (deadman check) chứ không đợi một sự kiện lỗi có thể không bao giờ được emit.

#batch-job#freshness#deadman-switch#data-pipeline
ObservabilityTrung bình

Log-Based Metrics & Alerting

Trích xuất số liệu từ luồng log (đếm lỗi, độ trễ) để chuyển thành metric theo dõi và kích hoạt cảnh báo.

#log-based-metrics#alerting#metrics-extraction#monitoring