proto.lib

Distributed File Storage - Chunking kiểu GFS/HDFS

File lớn được chia thành các chunk cố định, master lưu metadata và vị trí chunk còn client đọc/ghi dữ liệu trực tiếp từ các chunkserver đã replicate.

Case StudyNâng cao2026-07-07
Distributed File Storage - Chunking kiểu GFS/HDFS

Tags

#distributed-storage#gfs#hdfs#chunking#replication#metadata

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

Case StudyTrung bình

Đồng bộ file theo delta & xử lý conflict (kiểu Dropbox)

Client chia file thành các chunk theo content-hash, chỉ upload chunk mà server chưa có (dedup cả giữa nhiều user), còn server tăng version/cursor để các client khác poll hoặc nhận stream. Khi hai client sửa cùng file lúc offline, hệ thống giữ CẢ HAI bản (conflicted copy) thay vì mất dữ liệu.

#file-sync#content-hash#chunking#dedup
Case StudyNâng cao

Thiết kế Hàng Đợi Tin Nhắn Phân Tán Bền Vững

Thiết kế message queue bền vững với partition, replication, offset tracking và các đảm bảo về delivery guarantee.

#message-queue#partition#replication#offset
Case StudyCơ bản

Thiết kế Key-Value Store phân tán

Router dùng consistent hashing để định tuyến khóa, ghi vào primary rồi replicate sang các bản sao theo write quorum.

#key-value-store#consistent-hashing#replication#quorum