proto.lib

Kafka Zero-Copy với sendfile()

Kafka tận dụng sendfile() để chuyển dữ liệu trực tiếp từ page cache sang socket, tránh copy dư thừa qua user space.

MessagingNâng cao2026-07-13
Kafka Zero-Copy với sendfile()

Tags

#kafka#zero-copy#sendfile#page-cache#performance#kernel

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Vì sao broker log nên có heap JVM nhỏ (page cache tuning)

Đường ghi/đọc log của Kafka được thiết kế để tận dụng page cache của hệ điều hành: write được flush bởi kernel, read dữ liệu gần đây phục vụ trực tiếp từ RAM không đụng đĩa; vì vậy nên để phần lớn RAM máy cho page cache, giữ heap JVM nhỏ chỉ đủ cho metadata và request, tránh GC pause dài do heap khổng lồ.

#kafka#jvm-heap#page-cache#gc-pause
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format
MessagingNâng cao

Kafka Share Groups: hành vi hàng đợi trên log

Thay vì gán mỗi consumer một partition cố định, share group cho phép NHIỀU consumer cùng đọc một partition, ack từng record riêng lẻ — mang lại hành vi work-queue (nhiều consumer hơn partition, ack/redeliver theo record) trên cùng broker vẫn giữ log replay được, đổi lại mất thứ tự per-record.

#kafka#share-group#kip-932#queue-semantics