proto.lib

Observability cho ứng dụng AI: chất lượng đầu ra dạng văn bản

Bên cạnh latency và error rate, một ứng dụng dùng LLM cần theo dõi token vào/ra và cost mỗi request, tỉ lệ retrieval hit, tỉ lệ refusal/fallback, và một chỉ số CHẤT LƯỢNG được lấy mẫu (LLM-as-judge kết hợp review của con người) — vì một response 200 OK nhưng vô nghĩa là một kiểu outage mà không HTTP metric nào bắt được.

ObservabilityTrung bình2026-08-25
Observability cho ứng dụng AI: chất lượng đầu ra dạng văn bản

Tags

#ai-observability#llm#token-cost#retrieval#quality-signal#llm-as-judge#sampling

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ObservabilityNâng cao

Liên kết RUM với Trace backend (client → server)

Khi người dùng báo 'trang chậm', browser tự bắt đầu (hoặc tham gia) một trace và propagate trace context qua các API call của nó, giúp nối span thời gian tải trang phía client (DNS/TLS/TTFB/render) với đúng trace backend đã xử lý request đó.

#rum#distributed-tracing#trace-context#w3c-traceparent
ObservabilityNâng cao

Quyết định sampling nhất quán cho trace (Consistent Sampling)

Nửa trace còn tốt hơn không có trace nào, nhưng một trace bị cắt cụt giữa chừng thì vô dụng — nên quyết định 'giữ hay bỏ' phải được đưa ra MỘT LẦN và lan truyền qua trace context, dùng ngưỡng so với hash tất định của trace ID để mọi hop tự suy ra cùng kết quả mà không cần hỏi lại nhau.

#sampling#distributed-tracing#trace-context#consistent-sampling
ObservabilityNâng cao

Adaptive Trace Sampling

Hệ thống tự động điều chỉnh tỷ lệ sampling trace theo thời gian thực để đạt throughput mục tiêu mà không quá tải backend.

#tracing#sampling#adaptive#throughput