proto.lib

KV Cache trong Attention

KV cache lưu lại key/value của các token trước đó nên mỗi bước decode chỉ cần tính attention cho token mới, thay vì tính lại toàn bộ chuỗi.

AI/ML SystemsNâng cao2026-07-10
KV Cache trong Attention

Tags

#kv-cache#attention#transformer#memory#llm

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

MLA - Multi-Head Latent Attention

MLA nén key/value thành một vector latent chung có chiều thấp trước khi lưu KV cache, giảm mạnh dung lượng bộ nhớ so với multi-head attention chuẩn.

#mla#attention#kv-cache#compression
AI/ML SystemsTrung bình

ALiBi - Attention Linear Bias

Thay vì cộng embedding vị trí, ALiBi trừ trực tiếp một độ lệch tuyến tính tỉ lệ với khoảng cách vào điểm attention, giúp ngoại suy tốt sang chuỗi dài hơn.

#alibi#positional-bias#attention#extrapolation
AI/ML SystemsTrung bình

Sliding Window Attention khi Inference

Mỗi token chỉ attend tới một cửa sổ token gần nhất cố định, giúp giới hạn kích thước KV cache và chi phí attention khi ngữ cảnh dài.

#sliding-window#attention#kv-cache#long-context