proto.lib

Kafka Rack-Aware Replica Placement

Kafka phân bổ replica của partition trải đều qua các rack khác nhau để chịu được lỗi toàn bộ một rack.

MessagingTrung bình2026-07-13
Kafka Rack-Aware Replica Placement

Tags

#kafka#rack-awareness#replica-placement#fault-tolerance#availability-zone

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Lệch leader và Preferred Leader Election trong Kafka

Sau các lần fail-over và restart, leadership của partition trôi dạt khiến một vài broker giữ phần lớn leader (và do đó phần lớn traffic produce/fetch) dù replica vẫn được rải đều; Preferred Leader Election đưa leadership trở lại broker đầu tiên trong replica list (preferred leader) để cân bằng lại.

#kafka#leader-election#partition-leadership#rebalance
MessagingTrung bình

Kafka Fetch From Follower - Rack Awareness

Consumer khai báo rack.id để đọc từ follower cùng rack thay vì leader ở rack khác, giảm chi phí băng thông liên vùng.

#kafka#rack-awareness#fetch-from-follower#kip-392
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format