proto.lib

Sequence Packing - Batching không padding

Sequence packing ghép nhiều câu ngắn vào một chuỗi cố định độ dài, gần như loại bỏ token đệm lãng phí so với padding truyền thống.

AI/ML SystemsTrung bình2026-07-15
Sequence Packing - Batching không padding

Tags

#sequence-packing#padding-free#bin-packing#varlen-attention#throughput

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

SLO-aware Inference Scheduling

Bộ lập lịch inference ưu tiên request theo deadline TTFT/TPOT, sắp xếp lại hàng đợi để tối đa số request đạt SLO thay vì chỉ tối đa throughput.

#scheduling#slo#ttft#throughput
AI/ML SystemsNâng cao

Continuous Batching cho LLM

Continuous batching cho phép scheduler thêm request mới và loại request đã xong ngay trong từng bước decode, thay vì đợi cả batch tĩnh hoàn tất, giúp GPU luôn bận.

#batching#scheduler#gpu#throughput
AI/ML SystemsTrung bình

Batch Inference vs Online Serving

Batch (offline) inference tối đa hoá throughput trên cả tập dữ liệu không có ràng buộc độ trễ, trong khi online serving tối ưu độ trễ từng request với batching và autoscaling khác nhau.

#batch-inference#online-serving#throughput#latency