proto.lib

Agent Memory: Short-term & Long-term

Agent kết hợp bộ nhớ ngắn hạn (context window) và bộ nhớ dài hạn (vector store) để duy trì ngữ cảnh xuyên suốt nhiều phiên hội thoại.

AI/ML SystemsTrung bình2026-07-15
Agent Memory: Short-term & Long-term

Tags

#agent-memory#context-window#vector-store#long-term-memory#llm

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Quản lý Context Window

Khi lịch sử hội thoại vượt quá giới hạn ngữ cảnh, hệ thống phải cắt bớt hoặc tóm tắt để vừa với context window của LLM.

#llm#context-window#truncation#summarization
AI/ML SystemsTrung bình

RAG - Retrieval-Augmented Generation

RAG embed câu hỏi, truy xuất các đoạn văn liên quan từ vector store, nhét vào prompt làm ngữ cảnh, rồi LLM sinh câu trả lời có căn cứ kèm trích dẫn.

#rag#retrieval#vector-store#llm
AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization