proto.lib

Apache Iceberg: table format và cơ chế snapshot

Iceberg thêm một lớp metadata phía trên các file dữ liệu thô để biến chúng thành một bảng có ACID: mỗi commit tạo ra một snapshot mới trỏ tới đúng tập file thuộc về nó, cho phép time travel, đổi schema/partition mà không phải viết lại dữ liệu, và nhiều engine cùng đọc an toàn.

DatabasesNâng cao2026-08-26
Apache Iceberg: table format và cơ chế snapshot

Tags

#iceberg#table-format#snapshot#lakehouse#schema-evolution#metadata#compaction

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format
DatabasesNâng cao

Cassandra Tombstone & gc_grace_seconds

Trong hệ eventually-consistent, DELETE tạo ra một tombstone thay vì xoá ngay; tombstone phải tồn tại đủ lâu (gc_grace_seconds) để mọi replica học được việc xoá, nếu không một replica bị miss sẽ làm dữ liệu 'sống lại' (resurrection); tới khi compaction dọn tombstone, mọi read vẫn phải quét qua chúng nên bảng kiểu hàng đợi xoá nhiều sẽ chậm dần tới timeout.

#cassandra#tombstone#gc-grace-seconds#compaction
DatabasesNâng cao

Read Skew Anomaly - Đọc Lệch Dữ Liệu

Một transaction đọc hai giá trị liên quan ở hai thời điểm khác nhau, giữa lúc đó transaction khác sửa dữ liệu khiến kết quả đọc không nhất quán.

#read-skew#isolation-level#consistency#snapshot