proto.lib

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

AI/ML SystemsTrung bình2026-08-28
Batch API cho Suy Luận Offline Khối Lượng Lớn

Tags

#batch-api#offline-inference#async-processing#cost-optimization#idempotency#llm

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Model nhỏ cho Classification, Escalate khi tin cậy thấp

Thay vì gọi LLM lớn cho mọi bước phân loại–routing–trích xuất, hệ thống dùng model nhỏ/rẻ (hoặc classifier fine-tune) trước, chỉ escalate lên model lớn khi độ tin cậy dưới ngưỡng; cascade này đánh đổi một phần độ chính xác biên để giảm mạnh chi phí và độ trễ trung bình.

#model-cascade#classification#confidence-threshold#cost-optimization
AI/ML SystemsNâng cao

Checkpoint & Resume cho Agent Chạy Hàng Giờ

Một task agent chạy liên tục hàng giờ cần bền vững trước crash, hết context, hay khởi động lại: agent ghi checkpoint (todo list, danh sách file đã sửa, bước hiện tại) sau mỗi bước hoàn thành, và khi resume nó đọc lại checkpoint để tiếp tục đúng chỗ; mỗi bước phải idempotent để resume không vô tình làm lại hoặc làm hỏng việc đã xong.

#agent#checkpoint#resume#idempotency
AI/ML SystemsTrung bình

Parallel Tool Calls: chạy song song các lệnh gọi công cụ độc lập

Khi model phát ra nhiều tool call trong một turn, runtime thực thi song song các call ĐỘC LẬP và chỉ tuần tự hoá những call mà input phụ thuộc kết quả của call khác, rồi trả tất cả kết quả về cùng lúc — giảm một turn cần năm vòng round-trip xuống hai.

#tool-calling#parallel-execution#dependency-graph#agent-runtime