proto.lib

Checkpoint & Resume cho Agent Chạy Hàng Giờ

Một task agent chạy liên tục hàng giờ cần bền vững trước crash, hết context, hay khởi động lại: agent ghi checkpoint (todo list, danh sách file đã sửa, bước hiện tại) sau mỗi bước hoàn thành, và khi resume nó đọc lại checkpoint để tiếp tục đúng chỗ; mỗi bước phải idempotent để resume không vô tình làm lại hoặc làm hỏng việc đã xong.

AI/ML SystemsNâng cao2026-08-27
Checkpoint & Resume cho Agent Chạy Hàng Giờ

Tags

#agent#checkpoint#resume#idempotency#long-running-task#state-persistence

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling
AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization
AI/ML SystemsTrung bình

Thiết kế Tool Schema cho Agent

Bộ tool của agent nên ít nhưng rõ vai trò: mỗi tool có mô tả đủ để model chọn đúng, tham số bắt buộc/tuỳ chọn tách bạch, và error message phải dạy model tự sửa lần gọi kế tiếp thay vì chỉ báo lỗi suông.

#agent#tool-use#function-calling#schema-design