proto.lib

GPU Stream Concurrency: chồng lấp copy và compute

GPU chỉ thực sự bận nếu được cấp việc liên tục: công việc nộp vào các stream chạy độc lập nên copy trên stream này có thể chồng lấp compute trên stream khác, thay vì mô hình tuần tự copy→compute→copy khiến GPU rảnh; event diễn tả phụ thuộc thật giữa các stream, còn đồng bộ toàn thiết bị là công cụ thô bạo phá vỡ sự chồng lấp.

ConcurrencyNâng cao2026-08-24
GPU Stream Concurrency: chồng lấp copy và compute

Tags

#gpu#cuda-stream#async-copy#overlap#pinned-memory#device-sync

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ConcurrencyNâng cao

GPU Warp Divergence: cái giá của một câu if

Các luồng trong một warp thực thi lockstep theo cùng một lệnh; khi một nhánh if khiến một phần luồng đi một đường, phần cứng phải chạy tuần tự CẢ HAI nhánh với các lane không tham gia bị mask off, khiến throughput giảm một nửa hoặc hơn dù mọi luồng cuối cùng đều làm việc có ích.

#gpu#warp#simd-lockstep#branch-divergence
ConcurrencyTrung bình

Writer Starvation trong RWLock: writer chờ vô hạn

Một readers-writer lock ưu tiên reader (reader-preferring) cho phép luồng đọc mới liên tục chen vào miễn còn ít nhất một reader đang giữ khoá, khiến writer chờ vô hạn; chính sách write-preferring hoặc phase-fair chặn reader mới khi có writer đang đợi để writer được vào sau khi các reader hiện tại kết thúc.

#rwlock#writer-starvation#fairness#phase-fair
ConcurrencyTrung bình

Cache dùng Weak Reference — không giữ object sống mãi

Cache giữ entry qua weak reference để bộ quản lý bộ nhớ có thể thu hồi object khi cần, và bản thân map phải tự dọn các entry đã chết (qua reference queue hoặc quét định kỳ) — nếu không sẽ tích tụ vô số holder trống không bao giờ được giải phóng.

#weak-reference#cache#gc#memory-reclamation