proto.lib

Xử lý song song theo Key (Key-Level Parallel Consumption)

Thay vì một thread một partition, consumer định tuyến record theo key vào các hàng đợi riêng: mọi record cùng key được xử lý tuần tự để giữ thứ tự, còn các key khác nhau chạy song song — tách rời throughput khỏi số partition.

MessagingNâng cao2026-08-25
Xử lý song song theo Key (Key-Level Parallel Consumption)

Tags

#parallel-consumption#key-based-routing#ordering#offset-commit#rebalance#worker-pool

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

max.poll.interval.ms: vòng lặp rebalance vô tận

Coordinator kỳ vọng consumer gọi poll() trong vòng max.poll.interval.ms; nếu một batch xử lý quá lâu và bỏ lỡ mốc này, consumer bị coi là chết, partition bị revoke, commit bị từ chối, việc được giao lại — và consumer mới nhận cũng xử lý chậm y hệt, tạo vòng lặp rebalance không tiến triển.

#kafka#max-poll-interval-ms#consumer-group#rebalance
MessagingTrung bình

RabbitMQ Single Active Consumer: một tiêu thụ, dự phòng nóng

Nhiều consumer cùng đăng ký vào một hàng đợi nhưng chỉ MỘT được broker cho phép nhận message tại một thời điểm; khi consumer đang active ngắt kết nối, broker tự động thăng cấp consumer kế tiếp — giữ thứ tự chặt trong hàng đợi và failover nhanh mà không có split-brain của việc hai consumer cùng xử lý.

#rabbitmq#single-active-consumer#ordering#failover
MessagingTrung bình

Lệch leader và Preferred Leader Election trong Kafka

Sau các lần fail-over và restart, leadership của partition trôi dạt khiến một vài broker giữ phần lớn leader (và do đó phần lớn traffic produce/fetch) dù replica vẫn được rải đều; Preferred Leader Election đưa leadership trở lại broker đầu tiên trong replica list (preferred leader) để cân bằng lại.

#kafka#leader-election#partition-leadership#rebalance