proto.lib

Tinh chỉnh fetch của Kafka consumer (fetch.min.bytes / fetch.max.wait.ms)

Consumer Kafka gửi một FetchRequest yêu cầu tối thiểu N byte, và broker chờ tối đa T milliseconds trước khi trả về dù chưa đủ N byte; một request có thể gom nhiều partition, mỗi partition bị chặn bởi max.partition.fetch.bytes và tổng request bị chặn bởi fetch.max.bytes.

MessagingTrung bình2026-08-25
Tinh chỉnh fetch của Kafka consumer (fetch.min.bytes / fetch.max.wait.ms)

Tags

#kafka#consumer#fetch-tuning#latency#throughput#poll-loop

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Bootstrap consumer mới từ snapshot + tail log (thay vì replay từ đầu)

Một service mới cần toàn bộ state của một topic nhiều terabyte; replay lại từ offset 0 mất nhiều ngày và làm quá tải broker. Giải pháp: nạp snapshot (compacted view hoặc export DB) tại một offset đã biết, rồi tail log ngay từ offset đó — không để hở khoảng trống, không nhân trùng vô hạn.

#kafka#bootstrap#snapshot#offset
MessagingTrung bình

max.poll.interval.ms: vòng lặp rebalance vô tận

Coordinator kỳ vọng consumer gọi poll() trong vòng max.poll.interval.ms; nếu một batch xử lý quá lâu và bỏ lỡ mốc này, consumer bị coi là chết, partition bị revoke, commit bị từ chối, việc được giao lại — và consumer mới nhận cũng xử lý chậm y hệt, tạo vòng lặp rebalance không tiến triển.

#kafka#max-poll-interval-ms#consumer-group#rebalance
MessagingTrung bình

Kinesis Enhanced Fan-Out

Enhanced fan-out của Kinesis Data Streams cấp cho mỗi consumer một throughput riêng 2MB/s/shard qua HTTP/2 push, thay vì chia sẻ 2MB/s giữa tất cả consumer.

#kinesis#enhanced-fan-out#consumer#http2