proto.lib

Guardrails & Moderation cho LLM

Input và output đi qua các bước kiểm duyệt về chính sách, PII, jailbreak trước và sau khi sinh câu trả lời; nội dung vi phạm bị chặn hoặc viết lại.

AI/ML SystemsTrung bình2026-07-10
Guardrails & Moderation cho LLM

Tags

#guardrails#moderation#safety#llm#content-filtering

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Guardrail Inline vs Async: đặt kiểm tra an toàn ở đâu trong ngân sách độ trễ

Kiểm tra INLINE trên input phải xong trước khi bắt đầu sinh, và trên output phải xong trước khi người dùng thấy văn bản — cả hai đều cộng thêm độ trễ mỗi request; kiểm tra ASYNC chỉ phát hiện được sau khi đã xảy ra, nên thiết kế phổ biến là bộ lọc inline rẻ, nhanh kết hợp review sâu chạy bất đồng bộ.

#guardrails#moderation#latency-budget#inline-check
AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization
AI/ML SystemsCơ bản

Human-in-the-loop: Approval Gate cho hành động rủi ro

Agent chạy tự động nhưng dừng lại trước một hành động rủi ro (ghi ngoài phạm vi cho phép, gọi API tốn tiền, xoá dữ liệu) để hiện diff/kế hoạch cho người quyết định allow once, allow always, hay deny, rồi mới resume; quyết định allow-always được lưu vào policy để không hỏi lại.

#agent#human-in-the-loop#approval-gate#safety