proto.lib

Change Data Capture với Debezium

Đọc transaction log (WAL/binlog) của database và phát sự kiện thay đổi dòng dữ liệu lên broker theo thời gian thực.

MessagingNâng cao2026-07-02
Change Data Capture với Debezium

Tags

#cdc#debezium#binlog#wal

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

CDC Snapshot Watermark Consistency (khởi động CDC nhất quán)

Khi bắt đầu bắt sự kiện thay đổi trên một bảng đang sống, connector cần cả toàn bộ dữ liệu hiện tại lẫn mọi thay đổi từ thời điểm đó, không thiếu không lặp. Kỹ thuật snapshot watermark bọc mỗi chunk snapshot giữa hai sự kiện WATERMARK (low/high) ghi vào stream, và khi resolve, thay đổi nào rơi trong cửa sổ đó luôn thắng bản snapshot của cùng dòng.

#cdc#snapshot#watermark#consistency
MessagingNâng cao

Stream Lookup Join và Rủi ro Cache Staleness

Khi mỗi sự kiện tra một bảng tham chiếu để enrich, cache local giúp tránh hammering database, nhưng TTL của cache trở thành quyết định đúng đắn: enrich bằng giá trị đã stale là sai một cách im lặng, và cùng sự kiện replay lại có thể ra kết quả khác.

#lookup-join#cache-staleness#ttl#cdc
MessagingTrung bình

Đưa CDC vào Search Index (đồng bộ tài liệu)

Change event từ database được biến đổi thành document cho search index, nhưng một document thường ghép dữ liệu từ nhiều bảng nên pipeline phải denormalize ngay tại nguồn hoặc tra cứu phần còn thiếu; delete và các thay đổi tới không đúng thứ tự phải mang version để bản cũ không ghi đè bản mới.

#cdc#search-index#denormalization#reindex