proto.lib

Grok Parsing & Field Extraction

Logstash/Fluentd dùng Grok pattern để bóc tách log dạng chuỗi thô thành các trường có cấu trúc phục vụ tìm kiếm.

ObservabilityCơ bản2026-07-15
Grok Parsing & Field Extraction

Tags

#grok#regex#log-parsing#field-extraction#logstash

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ObservabilityTrung bình

Schema-on-Read vs Schema-on-Write cho Log

Parse log ngay lúc ghi (schema-on-write) cho ra field có kiểu, query nhanh và rẻ nhưng đổi format cần deploy lại code; parse lúc query (schema-on-read) giữ nguyên dòng thô, linh hoạt nhưng phải parse lại trên mọi query trong một khoảng thời gian lớn.

#logging#schema-on-read#schema-on-write#log-parsing
ObservabilityTrung bình

Logs-to-Metrics Derivation

Trích xuất metric và alert từ pattern trong log, ví dụ đếm số dòng lỗi để tạo counter thời gian thực.

#logging#metrics#log-parsing#alerting
ObservabilityTrung bình

Log Pattern Clustering: gom triệu dòng log thành vài chục mẫu

Thay vì đọc log thô, hệ thống chuẩn hoá phần biến (id, số, timestamp) trong mỗi dòng thành template cố định, rồi đếm số dòng theo từng template để phát hiện mẫu mới xuất hiện hoặc tăng vọt sau deploy — dùng để triage nhanh.

#log-clustering#log-pattern#log-template#triage