proto.lib

ETL Batch Data Pipeline

Pipeline ETL trích xuất dữ liệu từ nguồn, biến đổi làm sạch rồi nạp vào kho dữ liệu theo lịch batch định kỳ.

ArchitectureCơ bản2026-07-08
ETL Batch Data Pipeline

Tags

#etl#batch-processing#data-warehouse#data-pipeline#scheduling

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ArchitectureTrung bình

Data Contract: hợp đồng giữa producer và consumer dữ liệu

Một bảng dữ liệu được nhiều team khác truy vấn thực chất là một API, dù người viết nó có ý định đó hay không; data contract khai báo schema, ngữ nghĩa từng field, cam kết freshness/quality, chủ sở hữu và chính sách thay đổi, để producer được tự do refactor nội bộ nhưng không thể đổi tên cột mà mười dashboard đang phụ thuộc.

#data-contract#schema-evolution#data-pipeline#data-ownership
ArchitectureTrung bình

Bulk Import qua Staging: validate trước khi commit

Một file 2 triệu dòng được ghi vào object storage, parse và validate vào bảng STAGING (thu thập lỗi theo từng dòng, không abort cả job), trả báo cáo cho người dùng sửa và nộp lại, và chỉ batch đã hợp lệ mới được commit vào bảng live theo từng chunk — toàn bộ job resumable và idempotent theo file hash cộng row key.

#bulk-import#staging-table#validation#idempotency
ArchitectureTrung bình

Thiết Kế Chịu Được Spot Interruption

Chạy trên capacity có thể bị thu hồi bất cứ lúc nào: nền tảng cấp một cảnh báo interruption ngắn, buộc workload phải checkpoint tiến độ, drain và requeue việc đang dở, để có thể thay thế mà không mất trạng thái — phù hợp batch/queue-driven, không phù hợp leader trạng thái dài.

#spot-instances#interruption-notice#checkpointing#fault-tolerance