KV Cache Eviction: khi bộ nhớ đệm đầy trước khi hội thoại kết thúc

KV cache lớn dần theo từng token sinh ra; khi vượt ngân sách bộ nhớ, hệ thống phải bỏ token nào đó — giữ vài token đầu và một cửa sổ gần đây rồi xoá phần giữa, hoặc chấm điểm token theo attention tích luỹ và xoá token ít được chú ý nhất.