proto.lib

Sliding Window Attention khi Inference

Mỗi token chỉ attend tới một cửa sổ token gần nhất cố định, giúp giới hạn kích thước KV cache và chi phí attention khi ngữ cảnh dài.

AI/ML SystemsTrung bình2026-07-15
Sliding Window Attention khi Inference

Tags

#sliding-window#attention#kv-cache#long-context#llm-inference

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Suy giảm Retrieval khi Context quá dài

Cửa sổ ngữ cảnh lớn hơn không đồng nghĩa mô hình 'nhớ' tốt hơn: khi nhồi hàng trăm chunk, độ chú ý (attention) tới thông tin nằm ở GIỮA ngữ cảnh suy giảm, các đoạn gây nhiễu (distractor) cạnh tranh với đoạn đúng, còn chi phí và độ trễ tăng tuyến tính theo số token.

#long-context#retrieval#attention#context-window
AI/ML SystemsNâng cao

MLA - Multi-Head Latent Attention

MLA nén key/value thành một vector latent chung có chiều thấp trước khi lưu KV cache, giảm mạnh dung lượng bộ nhớ so với multi-head attention chuẩn.

#mla#attention#kv-cache#compression
AI/ML SystemsTrung bình

Quantized KV Cache (INT8/FP8)

KV cache được lượng tử hóa xuống INT8 hoặc FP8 để giảm dung lượng bộ nhớ, cho phép batch lớn hơn và ngữ cảnh dài hơn với sai số chấp nhận được.

#kv-cache#quantization#fp8#memory-optimization