proto.lib

Attention Sink - StreamingLLM

Giữ lại vài token đầu tiên (attention sink) cùng cửa sổ trượt gần nhất giúp mô hình chạy ổn định trên luồng vô hạn mà không tràn KV cache.

AI/ML SystemsNâng cao2026-07-15
Attention Sink - StreamingLLM

Tags

#attention-sink#streaming-llm#kv-cache#long-context#stability

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Sliding Window Attention khi Inference

Mỗi token chỉ attend tới một cửa sổ token gần nhất cố định, giúp giới hạn kích thước KV cache và chi phí attention khi ngữ cảnh dài.

#sliding-window#attention#kv-cache#long-context
AI/ML SystemsTrung bình

Suy giảm Retrieval khi Context quá dài

Cửa sổ ngữ cảnh lớn hơn không đồng nghĩa mô hình 'nhớ' tốt hơn: khi nhồi hàng trăm chunk, độ chú ý (attention) tới thông tin nằm ở GIỮA ngữ cảnh suy giảm, các đoạn gây nhiễu (distractor) cạnh tranh với đoạn đúng, còn chi phí và độ trễ tăng tuyến tính theo số token.

#long-context#retrieval#attention#context-window
AI/ML SystemsNâng cao

KV Cache Eviction: khi bộ nhớ đệm đầy trước khi hội thoại kết thúc

KV cache lớn dần theo từng token sinh ra; khi vượt ngân sách bộ nhớ, hệ thống phải bỏ token nào đó — giữ vài token đầu và một cửa sổ gần đây rồi xoá phần giữa, hoặc chấm điểm token theo attention tích luỹ và xoá token ít được chú ý nhất.

#kv-cache#eviction#attention-score#memory-budget