proto.lib

Chọn Số Lượng Partition Kafka

Số partition là trần song song hoá của consumer trong một group và cũng là đơn vị đảm bảo thứ tự theo key, nhưng mỗi partition tốn file handle, replication fetch, metadata controller và thời gian leader election — cụm quá nhiều partition sẽ chậm cả lúc chạy lẫn lúc phục hồi.

MessagingNâng cao2026-08-20
Chọn Số Lượng Partition Kafka

Tags

#kafka#partition-count#consumer-parallelism#throughput-sizing#leader-election#key-hashing#capacity-planning

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Lệch leader và Preferred Leader Election trong Kafka

Sau các lần fail-over và restart, leadership của partition trôi dạt khiến một vài broker giữ phần lớn leader (và do đó phần lớn traffic produce/fetch) dù replica vẫn được rải đều; Preferred Leader Election đưa leadership trở lại broker đầu tiên trong replica list (preferred leader) để cân bằng lại.

#kafka#leader-election#partition-leadership#rebalance
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format
MessagingNâng cao

Kafka Share Groups: hành vi hàng đợi trên log

Thay vì gán mỗi consumer một partition cố định, share group cho phép NHIỀU consumer cùng đọc một partition, ack từng record riêng lẻ — mang lại hành vi work-queue (nhiều consumer hơn partition, ack/redeliver theo record) trên cùng broker vẫn giữ log replay được, đổi lại mất thứ tự per-record.

#kafka#share-group#kip-932#queue-semantics