proto.lib

Kafka Connect: Scaling Task và Rebalance Worker Fleet

Một connector được chia thành nhiều TASK phân bổ trên các worker; thêm hoặc mất một worker kích hoạt rebalance để gán lại task — protocol eager cũ dừng toàn bộ trước khi gán lại, còn cooperative incremental chỉ di chuyển đúng phần cần chuyển.

MessagingTrung bình2026-08-25
Kafka Connect: Scaling Task và Rebalance Worker Fleet

Tags

#kafka-connect#task-rebalance#cooperative-rebalance#worker-scaling#offset-commit#connectors

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Xử lý song song theo Key (Key-Level Parallel Consumption)

Thay vì một thread một partition, consumer định tuyến record theo key vào các hàng đợi riêng: mọi record cùng key được xử lý tuần tự để giữ thứ tự, còn các key khác nhau chạy song song — tách rời throughput khỏi số partition.

#parallel-consumption#key-based-routing#ordering#offset-commit
MessagingTrung bình

Kafka Connect - Source và Sink Connector

Kafka Connect dùng source connector để nạp dữ liệu vào Kafka và sink connector để đẩy dữ liệu ra hệ thống ngoài, thông qua converter và offset tracking.

#kafka-connect#source-connector#sink-connector#converter
MessagingTrung bình

Kafka __consumer_offsets Topic

Kafka lưu offset đã commit của consumer group trong một internal topic được compact, thay vì dùng ZooKeeper hay hệ thống ngoài.

#kafka#consumer-offsets#compacted-topic#consumer-group