proto.lib

Quantized KV Cache (INT8/FP8)

KV cache được lượng tử hóa xuống INT8 hoặc FP8 để giảm dung lượng bộ nhớ, cho phép batch lớn hơn và ngữ cảnh dài hơn với sai số chấp nhận được.

AI/ML SystemsTrung bình2026-07-15
Quantized KV Cache (INT8/FP8)

Tags

#kv-cache#quantization#fp8#memory-optimization#llm-inference

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Sliding Window Attention khi Inference

Mỗi token chỉ attend tới một cửa sổ token gần nhất cố định, giúp giới hạn kích thước KV cache và chi phí attention khi ngữ cảnh dài.

#sliding-window#attention#kv-cache#long-context
AI/ML SystemsNâng cao

KV Cache Eviction: khi bộ nhớ đệm đầy trước khi hội thoại kết thúc

KV cache lớn dần theo từng token sinh ra; khi vượt ngân sách bộ nhớ, hệ thống phải bỏ token nào đó — giữ vài token đầu và một cửa sổ gần đây rồi xoá phần giữa, hoặc chấm điểm token theo attention tích luỹ và xoá token ít được chú ý nhất.

#kv-cache#eviction#attention-score#memory-budget
AI/ML SystemsNâng cao

MLA - Multi-Head Latent Attention

MLA nén key/value thành một vector latent chung có chiều thấp trước khi lưu KV cache, giảm mạnh dung lượng bộ nhớ so với multi-head attention chuẩn.

#mla#attention#kv-cache#compression