proto.lib

Grouped-Query Attention (GQA)

GQA cho nhiều đầu Query chia sẻ chung một nhóm đầu Key/Value, giảm mạnh kích thước KV cache so với multi-head attention mà chất lượng gần như không đổi.

AI/ML SystemsTrung bình2026-07-13
Grouped-Query Attention (GQA)

Tags

#gqa#mqa#kv-cache#multi-head-attention#inference

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

KV Cache Eviction: khi bộ nhớ đệm đầy trước khi hội thoại kết thúc

KV cache lớn dần theo từng token sinh ra; khi vượt ngân sách bộ nhớ, hệ thống phải bỏ token nào đó — giữ vài token đầu và một cửa sổ gần đây rồi xoá phần giữa, hoặc chấm điểm token theo attention tích luỹ và xoá token ít được chú ý nhất.

#kv-cache#eviction#attention-score#memory-budget
AI/ML SystemsTrung bình

Tối ưu đồ thị ONNX: constant folding & fusion

Sau khi export model sang đồ thị portable (ONNX), runtime duyệt lại đồ thị: gộp hằng số đã tính trước (constant folding), hợp nhất chuỗi Conv+BN+ReLU hoặc MatMul+Add+GELU thành một kernel để giảm round-trip bộ nhớ, rồi chọn execution provider phù hợp cho từng node trước khi ship.

#onnx#graph-optimization#operator-fusion#constant-folding
AI/ML SystemsNâng cao

MLA - Multi-Head Latent Attention

MLA nén key/value thành một vector latent chung có chiều thấp trước khi lưu KV cache, giảm mạnh dung lượng bộ nhớ so với multi-head attention chuẩn.

#mla#attention#kv-cache#compression