proto.lib

Kafka Consumer Offset Commit: Auto vs Manual

So sánh auto-commit và manual-commit offset trong Kafka; manual commit sau khi xử lý xong giúp đảm bảo at-least-once, tránh mất dữ liệu khi crash.

MessagingTrung bình2026-07-07
Kafka Consumer Offset Commit: Auto vs Manual

Tags

#kafka#offset-commit#auto-commit#at-least-once#consumer-group

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Kafka __consumer_offsets Topic

Kafka lưu offset đã commit của consumer group trong một internal topic được compact, thay vì dùng ZooKeeper hay hệ thống ngoài.

#kafka#consumer-offsets#compacted-topic#consumer-group
MessagingTrung bình

max.poll.interval.ms: vòng lặp rebalance vô tận

Coordinator kỳ vọng consumer gọi poll() trong vòng max.poll.interval.ms; nếu một batch xử lý quá lâu và bỏ lỡ mốc này, consumer bị coi là chết, partition bị revoke, commit bị từ chối, việc được giao lại — và consumer mới nhận cũng xử lý chậm y hệt, tạo vòng lặp rebalance không tiến triển.

#kafka#max-poll-interval-ms#consumer-group#rebalance
MessagingTrung bình

ACL Kafka Đa Tenant: cấp quyền theo Principal

Mỗi client xác thực thành một principal, và ACL cấp cho principal đó quyền cụ thể trên resource cụ thể (WRITE trên topic, READ trên topic VÀ trên consumer group của nó, DESCRIBE, hoặc prefixed ACL theo quy ước đặt tên); lỗi kinh điển là cấp topic nhưng quên cấp group khiến consumer xác thực được nhưng không join được.

#kafka#acl#multi-tenant#authorization