proto.lib

Kafka Connect - Source và Sink Connector

Kafka Connect dùng source connector để nạp dữ liệu vào Kafka và sink connector để đẩy dữ liệu ra hệ thống ngoài, thông qua converter và offset tracking.

MessagingTrung bình2026-07-14
Kafka Connect - Source và Sink Connector

Tags

#kafka-connect#source-connector#sink-connector#converter#offsets

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format
MessagingTrung bình

Sink Connector ghi idempotent bằng upsert

Một sink kết nối stream vào database phải tránh trùng lặp khi redelivery: nó tính khoá xác định cho mỗi record và ghi bằng upsert (hoặc insert kèm unique constraint), đồng thời lưu version/offset của record để một retry cũ hơn không thể ghi đè bản mới hơn.

#sink-connector#idempotency#upsert#at-least-once
MessagingTrung bình

Kafka Connect: Scaling Task và Rebalance Worker Fleet

Một connector được chia thành nhiều TASK phân bổ trên các worker; thêm hoặc mất một worker kích hoạt rebalance để gán lại task — protocol eager cũ dừng toàn bộ trước khi gán lại, còn cooperative incremental chỉ di chuyển đúng phần cần chuyển.

#kafka-connect#task-rebalance#cooperative-rebalance#worker-scaling