proto.lib

Apache Kafka: Partition, consumer group và offset

Kafka phân phối record theo key vào các partition (log append-only có offset), sao chép qua ISR, và để nhiều consumer group đọc song song độc lập — pub/sub ở quy mô lớn.

MessagingNâng cao2026-07-02
Apache Kafka: Partition, consumer group và offset

Tags

#kafka#pub-sub#partition#consumer-group#offset#replication

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Kafka Consumer Rebalance

Minh họa quá trình rebalance trong Kafka consumer group: gán lại partition, cooperative sticky rebalance để tránh dừng toàn bộ group.

#kafka#consumer-group#rebalance#partition
MessagingTrung bình

Bootstrap consumer mới từ snapshot + tail log (thay vì replay từ đầu)

Một service mới cần toàn bộ state của một topic nhiều terabyte; replay lại từ offset 0 mất nhiều ngày và làm quá tải broker. Giải pháp: nạp snapshot (compacted view hoặc export DB) tại một offset đã biết, rồi tail log ngay từ offset đó — không để hở khoảng trống, không nhân trùng vô hạn.

#kafka#bootstrap#snapshot#offset
MessagingTrung bình

max.poll.interval.ms: vòng lặp rebalance vô tận

Coordinator kỳ vọng consumer gọi poll() trong vòng max.poll.interval.ms; nếu một batch xử lý quá lâu và bỏ lỡ mốc này, consumer bị coi là chết, partition bị revoke, commit bị từ chối, việc được giao lại — và consumer mới nhận cũng xử lý chậm y hệt, tạo vòng lặp rebalance không tiến triển.

#kafka#max-poll-interval-ms#consumer-group#rebalance