proto.lib

Streaming Token qua SSE

Token được sinh ra sẽ stream dần đến client qua Server-Sent Events để giao diện hiển thị văn bản ngay khi có, thay vì chờ toàn bộ phản hồi hoàn tất.

AI/ML SystemsCơ bản2026-07-10
Streaming Token qua SSE

Tags

#streaming#sse#llm#token#real-time

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling
AI/ML SystemsTrung bình

Pipeline Streaming Speech-to-Text

Nhận diện giọng nói theo thời gian thực bằng cách xử lý từng đoạn âm thanh nhỏ, sinh giả thuyết tạm thời và xác định điểm kết thúc câu.

#asr#streaming#speech-to-text#endpointing
AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization