proto.lib

Kafka MirrorMaker 2 - Geo Replication

MirrorMaker 2 nhân bản bất đồng bộ dữ liệu giữa hai cluster Kafka, đổi tên topic theo cluster nguồn để chống loop, và dịch offset consumer-group để failover sang cluster remote.

MessagingTrung bình2026-07-07
Kafka MirrorMaker 2 - Geo Replication

Tags

#kafka#mirrormaker#geo-replication#offset-translation#disaster-recovery

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Kafka MirrorMaker 2 - Offset Translation

MirrorMaker 2 dịch offset consumer giữa cluster nguồn và cluster đích để consumer group có thể failover sang cluster đích và tiếp tục đọc đúng vị trí.

#mirrormaker2#offset-translation#disaster-recovery#cross-cluster
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format
MessagingNâng cao

Kafka Share Groups: hành vi hàng đợi trên log

Thay vì gán mỗi consumer một partition cố định, share group cho phép NHIỀU consumer cùng đọc một partition, ack từng record riêng lẻ — mang lại hành vi work-queue (nhiều consumer hơn partition, ack/redeliver theo record) trên cùng broker vẫn giữ log replay được, đổi lại mất thứ tự per-record.

#kafka#share-group#kip-932#queue-semantics