proto.lib

Diễn tập Rebuild Cluster từ Git (mất cả cluster, vẫn phục hồi được)

Danh tính của một cluster nằm ở bộ manifest trong Git cộng dữ liệu backup, không nằm ở chính cluster đang chạy; phục hồi là: tạo cluster mới → bootstrap reconciler → để nó apply lại toàn bộ manifest → restore volume dữ liệu → kiểm chứng — và bài diễn tập đo xem việc đó thực tế mất bao lâu.

Data CenterNâng cao2026-08-25
Diễn tập Rebuild Cluster từ Git (mất cả cluster, vẫn phục hồi được)

Tags

#disaster-recovery#gitops#cluster-rebuild#backup-restore#game-day#resilience

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

Data CenterNâng cao

Argo CD Sync Wave: áp dụng manifest theo thứ tự

Argo CD nhóm resource theo sync-wave để áp dụng theo đợt có thứ tự thay vì cùng lúc: CRD và namespace trước, migration job ở giữa, workload sau cùng; hook PreSync/PostSync và điều kiện healthy quyết định khi nào chuyển sang wave kế tiếp.

#argocd#gitops#sync-wave#presync
Data CenterTrung bình

Backup/Restore Workload trong Kubernetes

Backup workload không chỉ chụp lại object trong etcd mà phải chụp cả manifest tài nguyên của namespace CÙNG snapshot volume đi kèm; khi restore, thứ tự tạo lại quan trọng — CRD và namespace phải có trước, volume phải bind xong trước khi pod cần mount chúng khởi động.

#backup#restore#namespace#persistent-volume
Data CenterNâng cao

Backup và khôi phục etcd — cluster chính là etcd

Toàn bộ trạng thái Kubernetes nằm trong etcd, nên snapshot định kỳ (kèm khoá mã hoá và CA — vô dụng nếu tách riêng) và việc thực sự restore thử vào scratch cluster để xác minh là bắt buộc; mất một thành viên thì tự re-sync từ leader, còn mất quorum thì phải restore snapshot và chấp nhận mất dữ liệu sau thời điểm chụp.

#etcd#backup#restore#quorum