proto.lib

Event Streaming to Data Lake

Sự kiện được publish liên tục vào Kafka rồi Kafka Connect ghi hàng loạt xuống data lake dạng file cột để phân tích.

ObservabilityNâng cao2026-07-15
Event Streaming to Data Lake

Tags

#event-streaming#kafka#kafka-connect#data-lake#batch-sink

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ObservabilityTrung bình

Log Pattern Clustering: gom triệu dòng log thành vài chục mẫu

Thay vì đọc log thô, hệ thống chuẩn hoá phần biến (id, số, timestamp) trong mỗi dòng thành template cố định, rồi đếm số dòng theo từng template để phát hiện mẫu mới xuất hiện hoặc tăng vọt sau deploy — dùng để triage nhanh.

#log-clustering#log-pattern#log-template#triage
ObservabilityTrung bình

Flaky Test Detection: biến test hay trượt thành dữ liệu

Thay vì để cả team retry mù khi CI đỏ, hệ thống lưu kết quả từng lần chạy theo test id kèm commit, phát hiện test đổi kết quả trên CÙNG một commit (pass rồi fail), chấm điểm flakiness rồi tự động quarantine và báo đúng chủ sở hữu.

#flaky-test#ci#test-quarantine#test-reliability
ObservabilityTrung bình

SLO as Code: định nghĩa SLO bằng file thay vì click dashboard

SLI/SLO được khai báo dưới dạng file YAML trong repo (query SLI, target, window) thay vì tạo tay trên dashboard; pipeline CI validate cú pháp rồi apply để tự sinh dashboard và alert burn-rate, còn thay đổi target phải qua review PR và được version hoá.

#slo#sli#gitops#ci-cd