proto.lib

Quản lý Context Window

Khi lịch sử hội thoại vượt quá giới hạn ngữ cảnh, hệ thống phải cắt bớt hoặc tóm tắt để vừa với context window của LLM.

AI/ML SystemsTrung bình2026-07-14
Quản lý Context Window

Tags

#llm#context-window#truncation#summarization#tokens

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Truncation & Pagination cho Tool Result quá lớn

Khi một tool call trả về hàng trăm nghìn token (log dài, file lớn, kết quả query), agent runtime không thể nhồi thẳng vào context; nó phải cắt bớt (head+tail), phân trang qua offset/limit, và trả kèm metadata cho model biết còn bao nhiêu để gọi tiếp.

#agent#tool-use#context-window#truncation
AI/ML SystemsTrung bình

Agent Memory: Short-term & Long-term

Agent kết hợp bộ nhớ ngắn hạn (context window) và bộ nhớ dài hạn (vector store) để duy trì ngữ cảnh xuyên suốt nhiều phiên hội thoại.

#agent-memory#context-window#vector-store#long-term-memory
AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization