proto.lib

Idempotent Producer - Sequence Numbers

Producer idempotent gắn producer ID và sequence number cho mỗi message để broker phát hiện và loại bỏ bản ghi trùng do retry.

MessagingTrung bình2026-07-08
Idempotent Producer - Sequence Numbers

Tags

#kafka#idempotency#producer#sequence-number#exactly-once

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format
MessagingTrung bình

Bootstrap consumer mới từ snapshot + tail log (thay vì replay từ đầu)

Một service mới cần toàn bộ state của một topic nhiều terabyte; replay lại từ offset 0 mất nhiều ngày và làm quá tải broker. Giải pháp: nạp snapshot (compacted view hoặc export DB) tại một offset đã biết, rồi tail log ngay từ offset đó — không để hở khoảng trống, không nhân trùng vô hạn.

#kafka#bootstrap#snapshot#offset
MessagingTrung bình

Retry khi có nhiều batch in-flight: mất thứ tự message

Khi producer cho phép nhiều batch cùng bay tới một partition (max.in.flight.requests.per.connection > 1), một batch đầu bị lỗi và retry có thể đến broker SAU batch thứ hai đã thành công, khiến thứ tự theo key bị đảo ngược âm thầm; idempotent producer dùng sequence number để broker phát hiện và sắp xếp lại đúng.

#kafka#producer#in-flight-requests#retries