proto.lib

Stream Lookup Join và Rủi ro Cache Staleness

Khi mỗi sự kiện tra một bảng tham chiếu để enrich, cache local giúp tránh hammering database, nhưng TTL của cache trở thành quyết định đúng đắn: enrich bằng giá trị đã stale là sai một cách im lặng, và cùng sự kiện replay lại có thể ra kết quả khác.

MessagingNâng cao2026-08-25
Stream Lookup Join và Rủi ro Cache Staleness

Tags

#lookup-join#cache-staleness#ttl#cdc#temporal-join#stream-enrichment

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Đưa CDC vào Search Index (đồng bộ tài liệu)

Change event từ database được biến đổi thành document cho search index, nhưng một document thường ghép dữ liệu từ nhiều bảng nên pipeline phải denormalize ngay tại nguồn hoặc tra cứu phần còn thiếu; delete và các thay đổi tới không đúng thứ tự phải mang version để bản cũ không ghi đè bản mới.

#cdc#search-index#denormalization#reindex
MessagingNâng cao

CDC Snapshot Watermark Consistency (khởi động CDC nhất quán)

Khi bắt đầu bắt sự kiện thay đổi trên một bảng đang sống, connector cần cả toàn bộ dữ liệu hiện tại lẫn mọi thay đổi từ thời điểm đó, không thiếu không lặp. Kỹ thuật snapshot watermark bọc mỗi chunk snapshot giữa hai sự kiện WATERMARK (low/high) ghi vào stream, và khi resolve, thay đổi nào rơi trong cửa sổ đó luôn thắng bản snapshot của cùng dòng.

#cdc#snapshot#watermark#consistency
MessagingNâng cao

State Store cục bộ (RocksDB) trong Stream Processing

Một stream processor có trạng thái (aggregate/join) lưu state ngay trên đĩa cục bộ bằng embedded key-value store (thường là RocksDB), và sao lưu mọi thay đổi vào một changelog topic để có thể rebuild lại khi instance chết; nhưng state phình vô hạn nếu không có TTL, còn restore sau rebalance có thể mất nhiều phút downtime.

#stream-processing#state-store#rocksdb#changelog-topic