Continuous Batching cho LLM
Scheduler ghép request động ở từng bước decode
0.6×
1×
1.6×
2.4×
Phím tắt: ←/→ từng bước · Space tự chạy/tạm dừng