proto.lib

Bulk Import qua Staging: validate trước khi commit

Một file 2 triệu dòng được ghi vào object storage, parse và validate vào bảng STAGING (thu thập lỗi theo từng dòng, không abort cả job), trả báo cáo cho người dùng sửa và nộp lại, và chỉ batch đã hợp lệ mới được commit vào bảng live theo từng chunk — toàn bộ job resumable và idempotent theo file hash cộng row key.

ArchitectureTrung bình2026-08-25
Bulk Import qua Staging: validate trước khi commit

Tags

#bulk-import#staging-table#validation#idempotency#backpressure#batch-processing

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ArchitectureNâng cao

Durable Execution: Replay từ log kết quả

Một workflow engine durable ghi lại KẾT QUẢ của mỗi bước vào một journal; khi process crash, toàn bộ mã workflow được chạy lại từ đầu, nhưng mỗi bước đã hoàn tất chỉ đọc lại kết quả cũ từ journal thay vì thực thi lần nữa — nhờ đó mã workflow phải hoàn toàn deterministic (không đọc giờ hệ thống, không random, không I/O trực tiếp ngoài một step).

#durable-execution#workflow#replay#determinism
ArchitectureTrung bình

Thiết Kế Chịu Được Spot Interruption

Chạy trên capacity có thể bị thu hồi bất cứ lúc nào: nền tảng cấp một cảnh báo interruption ngắn, buộc workload phải checkpoint tiến độ, drain và requeue việc đang dở, để có thể thay thế mà không mất trạng thái — phù hợp batch/queue-driven, không phù hợp leader trạng thái dài.

#spot-instances#interruption-notice#checkpointing#fault-tolerance
ArchitectureCơ bản

Leaky Bucket Rate Limiting

Leaky bucket dồn burst request vào hàng đợi và xả ra với tốc độ cố định, giúp làm mượt lưu lượng tới backend.

#rate-limiting#leaky-bucket#traffic-shaping#backpressure