proto.lib

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

MessagingNâng cao2026-08-27
Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Tags

#kafka#sink-connector#lakehouse#table-format#exactly-once#compaction#parquet

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Tombstone và delete.retention.ms trong compacted topic

Trong compacted topic, một record có value null là tombstone đánh dấu xoá key; nó phải tồn tại đủ lâu (delete.retention.ms) để mọi consumer và mọi tiến trình rebuild state-store đọc được trước khi log compaction xoá hẳn nó, nếu không consumer offline lâu sẽ không bao giờ biết key đã bị xoá.

#kafka#compaction#tombstone#delete-retention
MessagingNâng cao

Transactional Producer - Ghi Atomic Nhiều Partition

Producer transactional gói nhiều lần ghi vào nhiều partition/topic thành một transaction atomic: hoặc tất cả commit, hoặc tất cả abort.

#kafka#transaction#atomic-write#exactly-once
MessagingTrung bình

Idempotent Producer - Sequence Numbers

Producer idempotent gắn producer ID và sequence number cho mỗi message để broker phát hiện và loại bỏ bản ghi trùng do retry.

#kafka#idempotency#producer#sequence-number