proto.lib

Sink Connector ghi idempotent bằng upsert

Một sink kết nối stream vào database phải tránh trùng lặp khi redelivery: nó tính khoá xác định cho mỗi record và ghi bằng upsert (hoặc insert kèm unique constraint), đồng thời lưu version/offset của record để một retry cũ hơn không thể ghi đè bản mới hơn.

MessagingTrung bình2026-08-25
Sink Connector ghi idempotent bằng upsert

Tags

#sink-connector#idempotency#upsert#at-least-once#offset#database

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Bootstrap consumer mới từ snapshot + tail log (thay vì replay từ đầu)

Một service mới cần toàn bộ state của một topic nhiều terabyte; replay lại từ offset 0 mất nhiều ngày và làm quá tải broker. Giải pháp: nạp snapshot (compacted view hoặc export DB) tại một offset đã biết, rồi tail log ngay từ offset đó — không để hở khoảng trống, không nhân trùng vô hạn.

#kafka#bootstrap#snapshot#offset
MessagingTrung bình

Idempotent Consumer & Deduplication

Consumer dùng message id/idempotency key để loại bỏ trùng lặp khi broker gửi lại message theo cơ chế at-least-once.

#idempotency#deduplication#at-least-once#consumer
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format