proto.lib

LLMLingua - Nén prompt để giảm token

Dùng một mô hình nhỏ để chấm điểm mức độ quan trọng của từng token trong prompt rồi loại bỏ các token dư thừa, giữ nguyên ý nghĩa nhưng giảm đáng kể chi phí và độ trễ.

AI/ML SystemsTrung bình2026-07-17
LLMLingua - Nén prompt để giảm token

Tags

#prompt-compression#llmlingua#token-cost#context-window#efficiency

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Truncation & Pagination cho Tool Result quá lớn

Khi một tool call trả về hàng trăm nghìn token (log dài, file lớn, kết quả query), agent runtime không thể nhồi thẳng vào context; nó phải cắt bớt (head+tail), phân trang qua offset/limit, và trả kèm metadata cho model biết còn bao nhiêu để gọi tiếp.

#agent#tool-use#context-window#truncation
AI/ML SystemsTrung bình

Suy giảm Retrieval khi Context quá dài

Cửa sổ ngữ cảnh lớn hơn không đồng nghĩa mô hình 'nhớ' tốt hơn: khi nhồi hàng trăm chunk, độ chú ý (attention) tới thông tin nằm ở GIỮA ngữ cảnh suy giảm, các đoạn gây nhiễu (distractor) cạnh tranh với đoạn đúng, còn chi phí và độ trễ tăng tuyến tính theo số token.

#long-context#retrieval#attention#context-window
AI/ML SystemsNâng cao

KV Cache Eviction: khi bộ nhớ đệm đầy trước khi hội thoại kết thúc

KV cache lớn dần theo từng token sinh ra; khi vượt ngân sách bộ nhớ, hệ thống phải bỏ token nào đó — giữ vài token đầu và một cửa sổ gần đây rồi xoá phần giữa, hoặc chấm điểm token theo attention tích luỹ và xoá token ít được chú ý nhất.

#kv-cache#eviction#attention-score#memory-budget