proto.lib

Kafka Log Compaction

Compacted topic chỉ giữ lại giá trị mới nhất cho mỗi key, dùng tombstone để xóa, phục vụ như changelog.

MessagingNâng cao2026-07-02
Kafka Log Compaction

Tags

#kafka#log-compaction#tombstone#changelog

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Tombstone và delete.retention.ms trong compacted topic

Trong compacted topic, một record có value null là tombstone đánh dấu xoá key; nó phải tồn tại đủ lâu (delete.retention.ms) để mọi consumer và mọi tiến trình rebuild state-store đọc được trước khi log compaction xoá hẳn nó, nếu không consumer offline lâu sẽ không bao giờ biết key đã bị xoá.

#kafka#compaction#tombstone#delete-retention
MessagingTrung bình

Bootstrap consumer mới từ snapshot + tail log (thay vì replay từ đầu)

Một service mới cần toàn bộ state của một topic nhiều terabyte; replay lại từ offset 0 mất nhiều ngày và làm quá tải broker. Giải pháp: nạp snapshot (compacted view hoặc export DB) tại một offset đã biết, rồi tail log ngay từ offset đó — không để hở khoảng trống, không nhân trùng vô hạn.

#kafka#bootstrap#snapshot#offset
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format