Quantized KV Cache (INT8/FP8)
Lượng tử hóa KV cache xuống FP8 để tăng batch size
0.6×
1×
1.6×
2.4×
Phím tắt: ←/→ từng bước · Space tự chạy/tạm dừng