proto.lib

Truncation & Pagination cho Tool Result quá lớn

Khi một tool call trả về hàng trăm nghìn token (log dài, file lớn, kết quả query), agent runtime không thể nhồi thẳng vào context; nó phải cắt bớt (head+tail), phân trang qua offset/limit, và trả kèm metadata cho model biết còn bao nhiêu để gọi tiếp.

AI/ML SystemsTrung bình2026-08-27
Truncation & Pagination cho Tool Result quá lớn

Tags

#agent#tool-use#context-window#truncation#pagination#token-budget

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling
AI/ML SystemsTrung bình

Thiết kế Tool Schema cho Agent

Bộ tool của agent nên ít nhưng rõ vai trò: mỗi tool có mô tả đủ để model chọn đúng, tham số bắt buộc/tuỳ chọn tách bạch, và error message phải dạy model tự sửa lần gọi kế tiếp thay vì chỉ báo lỗi suông.

#agent#tool-use#function-calling#schema-design
AI/ML SystemsTrung bình

Agent Sửa Code Bằng Patch Search/Replace

Thay vì ghi lại toàn bộ file, agent sửa code bằng đoạn patch tìm-và-thay: đoạn tìm phải khớp duy nhất và nhạy cảm khoảng trắng/indent, thất bại ngay khi không khớp, và agent đọc lại file sau khi sửa để tránh thao tác trên nội dung đã cũ.

#agent#code-editing#diff#patch