proto.lib

Giám sát Chất lượng Dữ liệu trong Data Pipeline

Pipeline có thể chạy xanh (không exception, không lỗi hệ thống) trong khi dữ liệu đầu ra sai; mỗi stage cần assert các contract trên OUTPUT — schema, volume, tỉ lệ null/uniqueness, distribution drift, referential integrity — và một assertion fail phải quarantine batch thay vì publish tiếp.

ObservabilityTrung bình2026-08-24
Giám sát Chất lượng Dữ liệu trong Data Pipeline

Tags

#data-quality#data-pipeline#schema-validation#data-contract#quarantine#monitoring

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ObservabilityTrung bình

Giám sát độ tươi của Batch Job (Freshness & Deadman Check)

Một job chạy đêm không có error rate hay latency percentile để soi — thứ cần theo dõi là job có CHẠY hay không, có thành công hay không, và kết quả cũ tới mức nào; alert phải bắn khi KHÔNG THẤY lần chạy thành công nào (deadman check) chứ không đợi một sự kiện lỗi có thể không bao giờ được emit.

#batch-job#freshness#deadman-switch#data-pipeline
ObservabilityTrung bình

Canary giao dịch thật trong production (Transaction Canary)

Health check chỉ đọc trạng thái sẵn có nên không thể phát hiện đường ghi (write path) bị hỏng; canary giao dịch là một kịch bản end-to-end chạy liên tục trên hạ tầng thật — tạo đơn hàng, xác nhận nó xuất hiện, rồi dọn dẹp — để phát hiện lỗi write trước khi khách hàng gặp phải.

#canary#synthetic-transaction#production-testing#write-path
ObservabilityTrung bình

Phân tích Network Flow Log (NetFlow/VPC Flow Logs)

Với traffic không ai chủ động instrument, flow record (5-tuple, số byte/gói, action, timestamp) được sampler tổng hợp theo từng kết nối, cho phép trả lời 'ai đã nói chuyện với host đó', tìm kết nối bị reject sau khi đổi policy, phát hiện service âm thầm vượt ranh giới zone/region, và thấy điểm đến egress bất thường.

#network-flow#vpc-flow-logs#netflow#5-tuple