proto.lib

Cold start GPU: nạp model & warm-up trước khi nhận traffic

Request đầu tiên sau khi scale-up một pod GPU chậm tới vài giây: kéo image/weights nhiều GB, load lên RAM, copy sang VRAM, rồi lần suy luận đầu phải trả giá khởi tạo CUDA context và JIT/autotune kernel; giải pháp là cache weights sẵn, warm pool và readiness gate bằng inference giả lập.

AI/ML SystemsTrung bình2026-08-20
Cold start GPU: nạp model & warm-up trước khi nhận traffic

Tags

#gpu#cold-start#model-warmup#cuda-context#readiness-probe#warm-pool#autoscaling

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Cold Start: gợi ý bằng nội dung khi chưa có tương tác

Một item mới không có tín hiệu collaborative (chưa ai click/mua) nên được biểu diễn bằng CONTENT của nó — text, category, embedding ảnh — để đặt gần các item tương tự; một user mới được phục vụ theo popularity trong context, kèm ngân sách exploration bắt buộc để item mới có impression.

#cold-start#content-based#recommender#exploration
AI/ML SystemsNâng cao

Chia sẻ GPU: MIG và Time-Slicing

Chia sẻ một GPU cho nhiều workload suy luận qua MIG (phân vùng phần cứng với bộ nhớ cách ly) hoặc time-slicing (chuyển ngữ cảnh), đánh đổi giữa cách ly và mức độ sử dụng.

#gpu#mig#time-slicing#scheduling
AI/ML SystemsNâng cao

Continuous Batching cho LLM

Continuous batching cho phép scheduler thêm request mới và loại request đã xong ngay trong từng bước decode, thay vì đợi cả batch tĩnh hoàn tất, giúp GPU luôn bận.

#batching#scheduler#gpu#throughput