proto.lib

MLA - Multi-Head Latent Attention

MLA nén key/value thành một vector latent chung có chiều thấp trước khi lưu KV cache, giảm mạnh dung lượng bộ nhớ so với multi-head attention chuẩn.

AI/ML SystemsNâng cao2026-07-17
MLA - Multi-Head Latent Attention

Tags

#mla#attention#kv-cache#compression#deepseek

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Sliding Window Attention khi Inference

Mỗi token chỉ attend tới một cửa sổ token gần nhất cố định, giúp giới hạn kích thước KV cache và chi phí attention khi ngữ cảnh dài.

#sliding-window#attention#kv-cache#long-context
AI/ML SystemsNâng cao

KV Cache trong Attention

KV cache lưu lại key/value của các token trước đó nên mỗi bước decode chỉ cần tính attention cho token mới, thay vì tính lại toàn bộ chuỗi.

#kv-cache#attention#transformer#memory
AI/ML SystemsTrung bình

Suy giảm Retrieval khi Context quá dài

Cửa sổ ngữ cảnh lớn hơn không đồng nghĩa mô hình 'nhớ' tốt hơn: khi nhồi hàng trăm chunk, độ chú ý (attention) tới thông tin nằm ở GIỮA ngữ cảnh suy giảm, các đoạn gây nhiễu (distractor) cạnh tranh với đoạn đúng, còn chi phí và độ trễ tăng tuyến tính theo số token.

#long-context#retrieval#attention#context-window