proto.lib

Partitioning và Ordering

Partition key giữ thứ tự message theo từng key; tăng số partition giúp song song hóa nhưng mất thứ tự toàn cục.

MessagingTrung bình2026-07-02
Partitioning và Ordering

Tags

#kafka#partitioning#ordering#throughput

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingCơ bản

Partition Key Hashing - Chọn Partition Theo Key

Producer băm (hash) message key để quyết định message đi vào partition nào, đảm bảo các message cùng key luôn vào cùng một partition.

#kafka#partitioning#hashing#message-key
MessagingTrung bình

Protocol Bridge: MQTT sang Kafka

Bridge nối hai thế giới giao thức khác nhau: hàng nghìn session thiết bị MQTT một bên, và các topic Kafka có phân vùng bên kia. Nó ánh xạ cây topic thiết bị thành partition key, dịch QoS của MQTT thành ngữ nghĩa acknowledgement của Kafka, và mang theo device identity dưới dạng header xuyên suốt.

#mqtt#kafka#protocol-bridge#iot
MessagingTrung bình

Tinh chỉnh fetch của Kafka consumer (fetch.min.bytes / fetch.max.wait.ms)

Consumer Kafka gửi một FetchRequest yêu cầu tối thiểu N byte, và broker chờ tối đa T milliseconds trước khi trả về dù chưa đủ N byte; một request có thể gom nhiều partition, mỗi partition bị chặn bởi max.partition.fetch.bytes và tổng request bị chặn bởi fetch.max.bytes.

#kafka#consumer#fetch-tuning#latency