proto.lib

Kafka Share Groups: hành vi hàng đợi trên log

Thay vì gán mỗi consumer một partition cố định, share group cho phép NHIỀU consumer cùng đọc một partition, ack từng record riêng lẻ — mang lại hành vi work-queue (nhiều consumer hơn partition, ack/redeliver theo record) trên cùng broker vẫn giữ log replay được, đổi lại mất thứ tự per-record.

MessagingNâng cao2026-08-26
Kafka Share Groups: hành vi hàng đợi trên log

Tags

#kafka#share-group#kip-932#queue-semantics#acknowledgement#redelivery

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format
MessagingTrung bình

Drain Consumer trước khi Deploy

Khi deploy, instance consumer phải dừng fetch message mới, xử lý xong phần đang giữ, commit rồi mới exit; grace period của orchestrator phải dài hơn thời gian xử lý message lâu nhất, nếu không platform sẽ kill giữa chừng và broker redeliver phần việc đó.

#graceful-shutdown#drain#deploy#sigterm
MessagingTrung bình

Protocol Bridge: MQTT sang Kafka

Bridge nối hai thế giới giao thức khác nhau: hàng nghìn session thiết bị MQTT một bên, và các topic Kafka có phân vùng bên kia. Nó ánh xạ cây topic thiết bị thành partition key, dịch QoS của MQTT thành ngữ nghĩa acknowledgement của Kafka, và mang theo device identity dưới dạng header xuyên suốt.

#mqtt#kafka#protocol-bridge#iot