proto.lib

Thiết kế Web Crawler quy mô lớn

Kiến trúc crawler phân tán: frontier queue, kiểm tra robots.txt, parser trích xuất link và lọc trùng bằng bloom filter.

Case StudyTrung bình2026-07-08
Thiết kế Web Crawler quy mô lớn

Tags

#web-crawler#robots-txt#bloom-filter#frontier-queue#crawling

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

Case StudyCơ bản

Dedup Quy Mô Lớn với Bloom Filter

Kiểm tra trùng lặp ở quy mô lớn bằng Bloom filter: nhanh, tiết kiệm bộ nhớ, có false positive nhưng không có false negative.

#bloom-filter#deduplication#probabilistic-data-structure
Case StudyTrung bình

Merge Queue: chống "PR xanh nhưng main đỏ"

Merge queue giải quyết vấn đề nhiều PR đều pass CI riêng lẻ nhưng gộp lại làm main đỏ: PR được xếp hàng, test lại trên trạng thái main DỰ KIẾN (đã áp các PR trước trong hàng), PR nào fail bị đẩy ra khỏi lô còn lại của hàng tiếp tục chạy; đánh đổi giữa thông lượng merge và thời gian chờ, và gộp lô (batching) để tiết kiệm tài nguyên CI.

#merge-queue#ci-cd#serialized-merge#batching
Case StudyTrung bình

CI Monorepo: Affected Targets + Test Sharding

Pipeline CI của monorepo trước tiên xác định target nào bị ảnh hưởng bởi diff, rồi chia bộ test bị ảnh hưởng thành nhiều shard cân bằng theo thời gian chạy lịch sử để các runner xong gần cùng lúc; cache dependency/build tái sử dụng giữa các lần chạy, cuối cùng gộp báo cáo từ mọi shard.

#ci-cd#monorepo#test-sharding#affected-targets