proto.lib

Kafka Log Segment & Index

Partition log của Kafka được chia thành nhiều segment file, kèm theo offset index và time index để tra cứu nhanh.

MessagingTrung bình2026-07-13
Kafka Log Segment & Index

Tags

#kafka#log-segment#offset-index#time-index#partition#storage

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingCơ bản

Retention Policy & Dọn Log Segment

Broker tự động xóa hoặc archive các log segment cũ hơn thời gian/kích thước retention cấu hình để giải phóng dung lượng đĩa.

#kafka#retention#log-segment#cleanup
MessagingTrung bình

Broker Kafka Hết Đĩa: xử lý khẩn cấp

Khi thư mục log của broker đầy, broker ngừng nhận ghi hoặc crash; nguyên nhân thường là retention quá dài so với dung lượng, một topic đột nhiên hot, compaction/xoá segment bị kẹt, hoặc replica offline đang catch-up làm log phình to; xử lý theo thứ tự an toàn tăng dần.

#kafka#disk-full#log-retention#log-segment
MessagingTrung bình

Kafka Tiered Storage (KIP-405)

Broker chỉ giữ các segment log gần đây trên đĩa cục bộ và offload segment cũ lên object storage; khi cần đọc offset cũ, broker sẽ fetch lại segment từ remote.

#kafka#tiered-storage#kip-405#object-store