proto.lib

GPU MPS: chia sẻ phân đoạn (fractional sharing) nhiều tiến trình trên một GPU

Với NVIDIA Multi-Process Service (MPS), kernel của nhiều tiến trình chạy ĐỒNG THỜI trên cùng GPU, chia sẻ SM thay vì context-switch time-slicing — giúp một lô model nhỏ, utilization thấp giữ GPU luôn bận, nhưng đổi lại không có cách ly cứng về bộ nhớ hay fault giữa các tiến trình.

AI/ML SystemsNâng cao2026-08-25
GPU MPS: chia sẻ phân đoạn (fractional sharing) nhiều tiến trình trên một GPU

Tags

#gpu-mps#fractional-sharing#concurrent-kernels#sm-sharing#isolation-tradeoff#multi-tenant-gpu

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling
AI/ML SystemsTrung bình

Đưa Ảnh/Trang PDF Vào Model Đa Phương Thức

Khi đưa ảnh hoặc trang PDF vào model đa phương thức, cần resize hoặc tách trang để giảm chi phí token vốn tính theo kích thước ảnh, kết hợp text layer sẵn có nếu tài liệu có, và kiểm chứng số liệu trích ra bằng cách chỉ lại đúng vùng nguồn trên ảnh gốc.

#multimodal#vision#document-ai#pdf
AI/ML SystemsNâng cao

Eval Regression Gate trong CI

Bộ eval vàng chạy như test trong CI: mỗi lần đổi prompt hoặc model, hệ thống chạy lại toàn bộ eval, so điểm với baseline đã lưu, và chặn merge nếu điểm tụt quá ngưỡng; để chống nhiễu, cần chạy nhiều lần và so theo khoảng tin cậy thay vì so từng điểm đơn lẻ.

#eval#ci-cd#regression-testing#llm-eval