proto.lib

Kafka Exactly-Once Semantics

Producer idempotent với PID+sequence, transaction dùng transactional.id, consumer đọc read-committed để đảm bảo exactly-once.

MessagingNâng cao2026-07-02
Kafka Exactly-Once Semantics

Tags

#kafka#exactly-once#idempotent-producer#transactions

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format
MessagingTrung bình

Retry khi có nhiều batch in-flight: mất thứ tự message

Khi producer cho phép nhiều batch cùng bay tới một partition (max.in.flight.requests.per.connection > 1), một batch đầu bị lỗi và retry có thể đến broker SAU batch thứ hai đã thành công, khiến thứ tự theo key bị đảo ngược âm thầm; idempotent producer dùng sequence number để broker phát hiện và sắp xếp lại đúng.

#kafka#producer#in-flight-requests#retries
MessagingNâng cao

Transactional Producer - Ghi Atomic Nhiều Partition

Producer transactional gói nhiều lần ghi vào nhiều partition/topic thành một transaction atomic: hoặc tất cả commit, hoặc tất cả abort.

#kafka#transaction#atomic-write#exactly-once