proto.lib

Reconnect Storm & Jittered Backoff khi Broker Restart

Khi broker restart, hàng chục nghìn client cùng kết nối lại trong một giây khiến accept queue và luồng authenticate bão hoà, gây thất bại và retry ngay lập tức — kéo dài outage; jittered exponential backoff cùng rate limit ở broker và rolling restart chặn được vòng lặp này.

MessagingTrung bình2026-08-25
Reconnect Storm & Jittered Backoff khi Broker Restart

Tags

#reconnect-storm#exponential-backoff#jitter#rolling-restart#connection-rate-limit#resumable-session

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Rolling Restart Broker Kafka không mất khả dụng

Nâng cấp/khởi động lại cụm Kafka broker-by-broker: chờ mọi partition trên broker đó fully in-sync, controlled shutdown để leadership tự di chuyển sang follower trước, restart, chờ bắt kịp rồi mới sang broker tiếp theo — vi phạm bất kỳ bước nào cũng có thể gây mất dữ liệu hoặc gián đoạn ghi.

#kafka#rolling-restart#controlled-shutdown#isr
MessagingNâng cao

Retry Queue với Exponential Backoff

Khi xử lý message thất bại, hệ thống đưa message vào retry queue với độ trễ tăng dần theo cấp số nhân; sau số lần retry tối đa, message được chuyển sang dead-letter queue.

#retry-queue#exponential-backoff#dead-letter-queue#resilience
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format