proto.lib

Lệch leader và Preferred Leader Election trong Kafka

Sau các lần fail-over và restart, leadership của partition trôi dạt khiến một vài broker giữ phần lớn leader (và do đó phần lớn traffic produce/fetch) dù replica vẫn được rải đều; Preferred Leader Election đưa leadership trở lại broker đầu tiên trong replica list (preferred leader) để cân bằng lại.

MessagingTrung bình2026-08-25
Lệch leader và Preferred Leader Election trong Kafka

Tags

#kafka#leader-election#partition-leadership#rebalance#rack-awareness#broker-imbalance

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Chọn Số Lượng Partition Kafka

Số partition là trần song song hoá của consumer trong một group và cũng là đơn vị đảm bảo thứ tự theo key, nhưng mỗi partition tốn file handle, replication fetch, metadata controller và thời gian leader election — cụm quá nhiều partition sẽ chậm cả lúc chạy lẫn lúc phục hồi.

#kafka#partition-count#consumer-parallelism#throughput-sizing
MessagingTrung bình

max.poll.interval.ms: vòng lặp rebalance vô tận

Coordinator kỳ vọng consumer gọi poll() trong vòng max.poll.interval.ms; nếu một batch xử lý quá lâu và bỏ lỡ mốc này, consumer bị coi là chết, partition bị revoke, commit bị từ chối, việc được giao lại — và consumer mới nhận cũng xử lý chậm y hệt, tạo vòng lặp rebalance không tiến triển.

#kafka#max-poll-interval-ms#consumer-group#rebalance
MessagingTrung bình

Kafka Fetch From Follower - Rack Awareness

Consumer khai báo rack.id để đọc từ follower cùng rack thay vì leader ở rack khác, giảm chi phí băng thông liên vùng.

#kafka#rack-awareness#fetch-from-follower#kip-392