proto.lib

Pipeline thu thập và tổng hợp Log

Log shipper đọc log cục bộ, đẩy qua broker để đệm luồng, rồi indexer ghi vào kho tìm kiếm toàn văn phục vụ truy vấn.

Case StudyCơ bản2026-07-08
Pipeline thu thập và tổng hợp Log

Tags

#log-aggregation#fluentd#kafka#elasticsearch#observability

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

Case StudyTrung bình

Rebuild & Swap Search Index: đổi mapping không downtime

Khi mapping/analyser của search index cần đổi, hệ thống build một index mới song song từ nguồn dữ liệu gốc, replay change stream để bắt kịp thời gian thực, xác minh bằng shadow queries so với index cũ, rồi swap alias một cách nguyên tử để client không bao giờ thấy index dở dang.

#search-index#reindex#alias-swap#change-stream
Case StudyTrung bình

Pipeline phân tích click cho URL rút gọn

Thiết kế pipeline ghi nhận click trên short-link, đẩy qua message queue và tổng hợp real-time thành số liệu analytics theo cửa sổ thời gian.

#click-analytics#streaming#kafka#rollup
Case StudyTrung bình

Thiết kế hệ thống Distributed Tracing

Thiết kế backend tracing gồm SDK instrumentation, collector, storage cột và query UI để theo dõi một request đi qua nhiều microservice.

#distributed-tracing#spans#opentelemetry#observability