proto.lib

DuckDB: engine phân tích chạy trong tiến trình (in-process)

DuckDB là một thư viện nhúng thẳng vào tiến trình ứng dụng chứ không phải một server riêng; nó lưu trữ và xử lý dữ liệu theo cột (columnar), thực thi vector hoá theo batch, và có thể đọc trực tiếp file Parquet/CSV ở local hoặc trên object storage mà không cần nạp vào một warehouse trước.

DatabasesTrung bình2026-08-26
DuckDB: engine phân tích chạy trong tiến trình (in-process)

Tags

#duckdb#olap#in-process#columnar#vectorized-execution#parquet#analytics

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

DatabasesTrung bình

Column Store vs Row Store

Row store giữ nguyên một tuple liền nhau nên đọc/ghi một bản ghi chỉ chạm một page (hợp giao dịch); column store lưu riêng từng cột, nén lại, nên quét vài cột trong hàng chục cột chỉ đọc một phần nhỏ dữ liệu và chạy vectorised theo batch (hợp phân tích) — đổi lại update một dòng đơn lẻ trong column store rất tốn kém.

#column-store#row-store#olap#oltp
DatabasesTrung bình

Star Schema: khóa surrogate nối fact với dimension

Mô hình hóa để phân tích thay vì để giao dịch: bảng fact chứa các đại lượng (measures) cùng khóa ngoại tới các bảng dimension, dimension chứa các thuộc tính mô tả; khóa nối là SURROGATE nên việc đánh số lại ở hệ nguồn hay đổi thuộc tính không viết lại lịch sử.

#star-schema#data-warehouse#dimension#fact-table
DatabasesTrung bình

GROUPING SETS / ROLLUP: nhiều mức tổng hợp trong một lần quét

Thay vì chạy ba câu SELECT riêng rồi UNION lại, GROUPING SETS/ROLLUP khai báo các tổ hợp nhóm cần tính và để engine tính tất cả trong một lần quét, kèm cột đánh dấu mức của mỗi hàng và hàm GROUPING() để phân biệt NULL thật với NULL đại diện cho subtotal.

#grouping-sets#rollup#cube#aggregation