proto.lib

Kiến trúc Medallion: Bronze → Silver → Gold

Một data lake chia thành ba lớp có chủ đích: bronze lưu dữ liệu thô đúng như lúc ingest (append-only, replay được), silver chuẩn hoá/khử trùng lặp/ép kiểu và khoá thực thể, gold là các bảng tổng hợp phục vụ nghiệp vụ; nhờ vậy một lỗi logic transform được sửa bằng cách REPLAY lại từ bronze thay vì phải ingest lại từ nguồn.

ArchitectureTrung bình2026-08-21
Kiến trúc Medallion: Bronze → Silver → Gold

Tags

#medallion-architecture#bronze-silver-gold#data-lake#data-lakehouse#replay#etl

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ArchitectureNâng cao

Durable Execution: Replay từ log kết quả

Một workflow engine durable ghi lại KẾT QUẢ của mỗi bước vào một journal; khi process crash, toàn bộ mã workflow được chạy lại từ đầu, nhưng mỗi bước đã hoàn tất chỉ đọc lại kết quả cũ từ journal thay vì thực thi lần nữa — nhờ đó mã workflow phải hoàn toàn deterministic (không đọc giờ hệ thống, không random, không I/O trực tiếp ngoài một step).

#durable-execution#workflow#replay#determinism
ArchitectureNâng cao

Rebuild Projection từ Event Log (CQRS)

Read model trong CQRS chỉ là dữ liệu dẫn xuất nên có thể xoá và tính lại: khi phát hiện bug trong logic dựng projection, ta replay toàn bộ event log vào một phiên bản projection MỚI song song với bản cũ, rồi chuyển traffic đọc sang bản mới sau khi nó bắt kịp.

#cqrs#projection#event-log#replay
ArchitectureTrung bình

Backfill / Reprocessing Pipeline

Replay lại toàn bộ sự kiện lịch sử từ event log để xây dựng lại derived store khi logic biến đổi thay đổi, chạy song song với luồng xử lý real-time.

#backfill#reprocessing#event-log#replay