proto.lib

Kinesis Shard Resharding - Split & Merge

Kinesis Data Streams hỗ trợ split shard để tăng throughput và merge shard để tiết kiệm chi phí, mà không làm gián đoạn việc ghi và đọc dữ liệu.

MessagingNâng cao2026-07-08
Kinesis Shard Resharding - Split & Merge

Tags

#kinesis#resharding#shard-split#scaling#streaming

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

CDC Snapshot Watermark Consistency (khởi động CDC nhất quán)

Khi bắt đầu bắt sự kiện thay đổi trên một bảng đang sống, connector cần cả toàn bộ dữ liệu hiện tại lẫn mọi thay đổi từ thời điểm đó, không thiếu không lặp. Kỹ thuật snapshot watermark bọc mỗi chunk snapshot giữa hai sự kiện WATERMARK (low/high) ghi vào stream, và khi resolve, thay đổi nào rơi trong cửa sổ đó luôn thắng bản snapshot của cùng dòng.

#cdc#snapshot#watermark#consistency
MessagingTrung bình

Kinesis KCL Checkpointing & Lease Takeover

Kinesis Client Library dùng bảng lease trong DynamoDB để phân chia shard cho worker và lưu checkpoint, cho phép worker khác tiếp quản khi một worker gặp sự cố.

#kinesis#kcl#checkpointing#lease
MessagingTrung bình

Kinesis Enhanced Fan-Out

Enhanced fan-out của Kinesis Data Streams cấp cho mỗi consumer một throughput riêng 2MB/s/shard qua HTTP/2 push, thay vì chia sẻ 2MB/s giữa tất cả consumer.

#kinesis#enhanced-fan-out#consumer#http2