proto.lib

Checkpoint Barrier - Exactly-Once trong Stream Processing

Distributed snapshot kiểu Chandy-Lamport dùng barrier để checkpoint state, đảm bảo exactly-once khi phục hồi sau lỗi.

MessagingNâng cao2026-07-07
Checkpoint Barrier - Exactly-Once trong Stream Processing

Tags

#stream-processing#checkpoint#exactly-once#flink#chandy-lamport#barrier

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Session Window theo khoảng ngừng hoạt động (Session Window Gaps)

Session window không cắt theo mốc thời gian cố định mà gom các sự kiện của một khoá khi chúng còn liên tiếp đến, và đóng lại sau một khoảng ngừng (gap) không có sự kiện mới; một sự kiện trễ có thể buộc engine gộp lại hai session tưởng đã tách rời.

#session-window#stream-processing#windowing#gap-timeout
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format
MessagingNâng cao

Retraction Stream và Upsert Stream cho Aggregate có thể giảm

Một aggregate streaming có thể giảm giá trị (ví dụ đếm bản ghi đang active) không thể publish như append-only; nó phải phát cặp RETRACT rồi INSERT (retraction stream) hoặc phát một bản ghi upsert theo khoá với ngữ nghĩa latest-wins.

#retraction-stream#upsert#changelog#stream-processing