proto.lib

Kiến trúc AI Chat Assistant: một lượt hỏi-đáp end-to-end

Một tin nhắn tới sẽ được kiểm duyệt đầu vào, lịch sử phiên được nạp và cắt gọn theo ngân sách token, retrieval bổ sung ngữ cảnh, rồi model stream token về trình duyệt trong khi tool call chạy giữa dòng chảy; lượt hội thoại hoàn tất được lưu cùng token usage và chi phí.

Case StudyNâng cao2026-08-26
Kiến trúc AI Chat Assistant: một lượt hỏi-đáp end-to-end

Tags

#llm#chat-assistant#streaming#tool-calling#rag#rate-limit#retention

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

Case StudyNâng cao

Answer Engine: sinh câu trả lời kèm trích dẫn có xác minh

Answer engine không chỉ generate text tự do mà bắt buộc mỗi câu trả lời phải gắn với đoạn tài liệu nguồn cụ thể (retrieve rồi rerank trước), sau đó một bước verify riêng kiểm tra từng câu có trích dẫn hợp lệ trước khi trả về người dùng.

#rag#citations#answer-engine#retrieval
Case StudyTrung bình

Digest thông báo: gộp burst thành một bản tóm tắt

Khi một user nhận nhiều sự kiện trong thời gian ngắn, hệ thống định tuyến theo class (urgent gửi ngay, còn lại vào một cửa sổ tích lũy), khử trùng lặp và tóm tắt, rồi gửi trên kênh mà user ưu tiên — có tôn trọng quiet hours và trần tần suất gửi.

#notification#digest#batching#rate-limit
Case StudyTrung bình

Pipeline phân tích click cho URL rút gọn

Thiết kế pipeline ghi nhận click trên short-link, đẩy qua message queue và tổng hợp real-time thành số liệu analytics theo cửa sổ thời gian.

#click-analytics#streaming#kafka#rollup