proto.lib

Kinesis KCL Checkpointing & Lease Takeover

Kinesis Client Library dùng bảng lease trong DynamoDB để phân chia shard cho worker và lưu checkpoint, cho phép worker khác tiếp quản khi một worker gặp sự cố.

MessagingTrung bình2026-07-17
Kinesis KCL Checkpointing & Lease Takeover

Tags

#kinesis#kcl#checkpointing#lease#dynamodb

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Kinesis Enhanced Fan-Out

Enhanced fan-out của Kinesis Data Streams cấp cho mỗi consumer một throughput riêng 2MB/s/shard qua HTTP/2 push, thay vì chia sẻ 2MB/s giữa tất cả consumer.

#kinesis#enhanced-fan-out#consumer#http2
MessagingNâng cao

Kinesis Shard Resharding - Split & Merge

Kinesis Data Streams hỗ trợ split shard để tăng throughput và merge shard để tiết kiệm chi phí, mà không làm gián đoạn việc ghi và đọc dữ liệu.

#kinesis#resharding#shard-split#scaling
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format