proto.lib

Leader Election & Failover

Các node dùng lock/lease qua ZooKeeper hoặc etcd, leader gia hạn lease liên tục; khi crash, lease hết hạn và leader mới được bầu.

Case StudyNâng cao2026-07-02
Leader Election & Failover

Tags

#leader-election#failover#lease#etcd#zookeeper

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

Case StudyNâng cao

Region Failover Runbook: khi vùng chính biến mất

Khi toàn bộ region chính mất khả năng phục vụ, đội vận hành theo một runbook cố định: xác nhận đây là lỗi hạ tầng thật (không phải blind spot của monitoring), ngừng ghi vào region chết, promote standby, chuyển traffic bằng DNS/anycast, rồi xác minh từng dependency cũng đã failover — kết thúc bằng việc luyện tập định kỳ và fencing để region cũ không quay lại làm second writer.

#failover#disaster-recovery#dns-ttl#replication-lag
Case StudyNâng cao

Distributed Job Scheduler

Leader sharding job cho worker, dùng lease để đảm bảo mỗi job chỉ chạy đúng một lần và tự động reassign khi worker chết.

#job-scheduler#leader-election#heartbeat#distributed-lock
Case StudyTrung bình

Merge Queue: chống "PR xanh nhưng main đỏ"

Merge queue giải quyết vấn đề nhiều PR đều pass CI riêng lẻ nhưng gộp lại làm main đỏ: PR được xếp hàng, test lại trên trạng thái main DỰ KIẾN (đã áp các PR trước trong hàng), PR nào fail bị đẩy ra khỏi lô còn lại của hàng tiếp tục chạy; đánh đổi giữa thông lượng merge và thời gian chờ, và gộp lô (batching) để tiết kiệm tài nguyên CI.

#merge-queue#ci-cd#serialized-merge#batching