proto.lib

Ngân sách VRAM & batch size: vì sao OOM ở request thứ 40

VRAM chứa weights cố định cộng activation tỉ lệ với batch size nhân sequence length; một batch vừa vặn ở input ngắn có thể nổ VRAM ở input dài, và một CUDA OOM thường giết chết cả process (mọi request đang chạy dở), nên cần tính ngân sách trước và chặn bằng admission limit thay vì để crash.

AI/ML SystemsNâng cao2026-08-20
Ngân sách VRAM & batch size: vì sao OOM ở request thứ 40

Tags

#gpu-memory#vram-budget#batch-size#cuda-oom#admission-control#activation-memory#capacity-planning

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsCơ bản

Gradient Accumulation - Mô phỏng batch lớn

Gradient accumulation cộng dồn gradient qua nhiều micro-batch trước khi gọi optimizer.step(), mô phỏng batch size lớn trên GPU bộ nhớ hạn chế.

#gradient-accumulation#micro-batch#batch-size#memory-efficiency
AI/ML SystemsNâng cao

FlashAttention - Attention IO-Aware theo Tile

FlashAttention chia ma trận attention thành các tile nhỏ, tính toán trong SRAM tốc độ cao và tránh phải ghi toàn bộ ma trận N×N ra HBM chậm.

#flash-attention#transformer#gpu-memory#attention
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling