proto.lib

Idempotent Consumer & Deduplication

Consumer dùng message id/idempotency key để loại bỏ trùng lặp khi broker gửi lại message theo cơ chế at-least-once.

MessagingTrung bình2026-07-02
Idempotent Consumer & Deduplication

Tags

#idempotency#deduplication#at-least-once#consumer

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Sink Connector ghi idempotent bằng upsert

Một sink kết nối stream vào database phải tránh trùng lặp khi redelivery: nó tính khoá xác định cho mỗi record và ghi bằng upsert (hoặc insert kèm unique constraint), đồng thời lưu version/offset của record để một retry cũ hơn không thể ghi đè bản mới hơn.

#sink-connector#idempotency#upsert#at-least-once
MessagingTrung bình

Bootstrap consumer mới từ snapshot + tail log (thay vì replay từ đầu)

Một service mới cần toàn bộ state của một topic nhiều terabyte; replay lại từ offset 0 mất nhiều ngày và làm quá tải broker. Giải pháp: nạp snapshot (compacted view hoặc export DB) tại một offset đã biết, rồi tail log ngay từ offset đó — không để hở khoảng trống, không nhân trùng vô hạn.

#kafka#bootstrap#snapshot#offset
MessagingTrung bình

RabbitMQ Single Active Consumer: một tiêu thụ, dự phòng nóng

Nhiều consumer cùng đăng ký vào một hàng đợi nhưng chỉ MỘT được broker cho phép nhận message tại một thời điểm; khi consumer đang active ngắt kết nối, broker tự động thăng cấp consumer kế tiếp — giữ thứ tự chặt trong hàng đợi và failover nhanh mà không có split-brain của việc hai consumer cùng xử lý.

#rabbitmq#single-active-consumer#ordering#failover