Dedup Quy Mô Lớn với Bloom Filter

Kiểm tra trùng lặp ở quy mô lớn bằng Bloom filter: nhanh, tiết kiệm bộ nhớ, có false positive nhưng không có false negative.

Case StudyCơ bản2026-07-02

Tài liệu tham khảo

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Hệ thống tìm chuyến bay fan-out truy vấn tới nhiều provider/GDS song song, cache và khử trùng lặp kết quả trước khi trả về cho người dùng.

Kiến trúc crawler phân tán: frontier queue, kiểm tra robots.txt, parser trích xuất link và lọc trùng bằng bloom filter.

Sự kiện click được ghi log, khử trùng lặp, tổng hợp theo cửa sổ thời gian rồi nạp vào kho dữ liệu phân tích phục vụ báo cáo và tính phí quảng cáo.