proto.lib

FlashAttention - Attention IO-Aware theo Tile

FlashAttention chia ma trận attention thành các tile nhỏ, tính toán trong SRAM tốc độ cao và tránh phải ghi toàn bộ ma trận N×N ra HBM chậm.

AI/ML SystemsNâng cao2026-07-13
FlashAttention - Attention IO-Aware theo Tile

Tags

#flash-attention#transformer#gpu-memory#attention#io-aware

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

ALiBi - Attention Linear Bias

Thay vì cộng embedding vị trí, ALiBi trừ trực tiếp một độ lệch tuyến tính tỉ lệ với khoảng cách vào điểm attention, giúp ngoại suy tốt sang chuỗi dài hơn.

#alibi#positional-bias#attention#extrapolation
AI/ML SystemsNâng cao

KV Cache trong Attention

KV cache lưu lại key/value của các token trước đó nên mỗi bước decode chỉ cần tính attention cho token mới, thay vì tính lại toàn bộ chuỗi.

#kv-cache#attention#transformer#memory
AI/ML SystemsTrung bình

Suy giảm Retrieval khi Context quá dài

Cửa sổ ngữ cảnh lớn hơn không đồng nghĩa mô hình 'nhớ' tốt hơn: khi nhồi hàng trăm chunk, độ chú ý (attention) tới thông tin nằm ở GIỮA ngữ cảnh suy giảm, các đoạn gây nhiễu (distractor) cạnh tranh với đoạn đúng, còn chi phí và độ trễ tăng tuyến tính theo số token.

#long-context#retrieval#attention#context-window