proto.lib

State Store cục bộ (RocksDB) trong Stream Processing

Một stream processor có trạng thái (aggregate/join) lưu state ngay trên đĩa cục bộ bằng embedded key-value store (thường là RocksDB), và sao lưu mọi thay đổi vào một changelog topic để có thể rebuild lại khi instance chết; nhưng state phình vô hạn nếu không có TTL, còn restore sau rebalance có thể mất nhiều phút downtime.

MessagingNâng cao2026-08-24
State Store cục bộ (RocksDB) trong Stream Processing

Tags

#stream-processing#state-store#rocksdb#changelog-topic#rebalance#ttl#standby-replica

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Kafka Streams - KTable, State Store và Changelog Topic

Kafka Streams biểu diễn trạng thái tổng hợp dưới dạng KTable, lưu trong local state store và sao lưu bền vững qua changelog topic.

#kafka-streams#ktable#state-store#changelog-topic
MessagingNâng cao

Stream Lookup Join và Rủi ro Cache Staleness

Khi mỗi sự kiện tra một bảng tham chiếu để enrich, cache local giúp tránh hammering database, nhưng TTL của cache trở thành quyết định đúng đắn: enrich bằng giá trị đã stale là sai một cách im lặng, và cùng sự kiện replay lại có thể ra kết quả khác.

#lookup-join#cache-staleness#ttl#cdc
MessagingTrung bình

Session Window theo khoảng ngừng hoạt động (Session Window Gaps)

Session window không cắt theo mốc thời gian cố định mà gom các sự kiện của một khoá khi chúng còn liên tiếp đến, và đóng lại sau một khoảng ngừng (gap) không có sự kiện mới; một sự kiện trễ có thể buộc engine gộp lại hai session tưởng đã tách rời.

#session-window#stream-processing#windowing#gap-timeout