proto.lib

LLM Tracing & Observability

Ghi lại trace chi tiết từng bước gọi LLM, tool call và độ trễ để gỡ lỗi và giám sát ứng dụng AI trong production.

AI/ML SystemsTrung bình2026-07-15
LLM Tracing & Observability

Tags

#observability#tracing#llm-ops#monitoring#debugging

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Loss Spike và Gradient Clipping

Một batch xấu hoặc một bước cập nhật không may có thể tạo gradient rất lớn phá hỏng trọng số; norm của gradient được clip trước khi optimizer step, đồng thời run giám sát NaN/Inf do tràn số ở độ chính xác thấp để có thể skip batch hoặc rollback về checkpoint trước với learning rate giảm.

#gradient-clipping#loss-spike#training-stability#nan-inf
AI/ML SystemsTrung bình

Agent Loop: Step Budget và Phát Hiện Lặp Vô Hạn

Một agent theo vòng plan-act có thể retry mãi một tool đang lỗi, ping-pong giữa hai trạng thái, hoặc âm thầm đốt token — nên vòng lặp cần ngân sách cứng về số bước/token/thời gian, phát hiện lặp lại (cùng tool cùng tham số, hoặc state hash đã gặp), và dừng có kiểm soát kèm lý do thay vì quay mãi.

#agent#loop-detection#budget#react
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling