proto.lib

Guardrail Inline vs Async: đặt kiểm tra an toàn ở đâu trong ngân sách độ trễ

Kiểm tra INLINE trên input phải xong trước khi bắt đầu sinh, và trên output phải xong trước khi người dùng thấy văn bản — cả hai đều cộng thêm độ trễ mỗi request; kiểm tra ASYNC chỉ phát hiện được sau khi đã xảy ra, nên thiết kế phổ biến là bộ lọc inline rẻ, nhanh kết hợp review sâu chạy bất đồng bộ.

AI/ML SystemsTrung bình2026-08-25
Guardrail Inline vs Async: đặt kiểm tra an toàn ở đâu trong ngân sách độ trễ

Tags

#guardrails#moderation#latency-budget#inline-check#async-review#fail-open

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Guardrails & Moderation cho LLM

Input và output đi qua các bước kiểm duyệt về chính sách, PII, jailbreak trước và sau khi sinh câu trả lời; nội dung vi phạm bị chặn hoặc viết lại.

#guardrails#moderation#safety#llm
AI/ML SystemsNâng cao

Reranker Cascade: phân bổ latency budget theo tầng

Một retriever rẻ trả về vài trăm ứng viên, một model tầm trung cắt xuống vài chục, rồi cross-encoder hoặc LLM judge đắt tiền chỉ chấm điểm nhóm cuối cùng — mỗi tầng phải nằm trong ngân sách latency vì cost mỗi item nhân với số lượng đầu vào, và recall của tầng trước giới hạn chất lượng tối đa của toàn bộ pipeline.

#reranking#cascade#latency-budget#cross-encoder
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling