proto.lib

Parallel Tool Calls: chạy song song các lệnh gọi công cụ độc lập

Khi model phát ra nhiều tool call trong một turn, runtime thực thi song song các call ĐỘC LẬP và chỉ tuần tự hoá những call mà input phụ thuộc kết quả của call khác, rồi trả tất cả kết quả về cùng lúc — giảm một turn cần năm vòng round-trip xuống hai.

AI/ML SystemsTrung bình2026-08-25
Parallel Tool Calls: chạy song song các lệnh gọi công cụ độc lập

Tags

#tool-calling#parallel-execution#dependency-graph#agent-runtime#idempotency#fan-out

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization
AI/ML SystemsNâng cao

Checkpoint & Resume cho Agent Chạy Hàng Giờ

Một task agent chạy liên tục hàng giờ cần bền vững trước crash, hết context, hay khởi động lại: agent ghi checkpoint (todo list, danh sách file đã sửa, bước hiện tại) sau mỗi bước hoàn thành, và khi resume nó đọc lại checkpoint để tiếp tục đúng chỗ; mỗi bước phải idempotent để resume không vô tình làm lại hoặc làm hỏng việc đã xong.

#agent#checkpoint#resume#idempotency
AI/ML SystemsNâng cao

Đánh giá Agent qua Trajectory, không chỉ đáp án cuối

Chấm điểm một agent không thể chỉ nhìn câu trả lời cuối: cả quá trình chạy là một TRAJECTORY (agent gọi tool nào, với argument gì, theo thứ tự nào, tốn bao nhiêu bước và chi phí), nên evaluation phải kiểm cả kết quả VÀ đường đi bằng assertion theo từng bước trên một bộ scenario cố định.

#agent-evaluation#trajectory#tool-calling#llm-eval