proto.lib

Giám sát GPU Training bằng DCGM: Utilisation không nói lên tất cả

Chỉ số 'GPU utilisation 100%' chỉ cho biết một kernel đang resident trên GPU, không cho biết SM có thực sự bận hay không; cần theo dõi thêm achieved occupancy/SM efficiency, memory bandwidth, nhiệt độ/power throttling và traffic interconnect, cùng breakdown thời gian mỗi step (compute vs collective vs data loading).

ObservabilityNâng cao2026-08-24
Giám sát GPU Training bằng DCGM: Utilisation không nói lên tất cả

Tags

#gpu#dcgm#training#sm-efficiency#throttling#data-loader#monitoring

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ObservabilityTrung bình

Observability cho Serverless Function (không có host để log vào)

Trong FaaS, không có sidecar hay agent thường trú vì platform tự lo scaling; toàn bộ spans/metrics phải được emit in-band trong request và flush trước khi invocation bị freeze, nếu không dữ liệu mất vĩnh viễn. Cold start và init duration phải tính riêng khỏi thời gian xử lý request.

#serverless#faas#cold-start#in-band-telemetry
ObservabilityTrung bình

Canary giao dịch thật trong production (Transaction Canary)

Health check chỉ đọc trạng thái sẵn có nên không thể phát hiện đường ghi (write path) bị hỏng; canary giao dịch là một kịch bản end-to-end chạy liên tục trên hạ tầng thật — tạo đơn hàng, xác nhận nó xuất hiện, rồi dọn dẹp — để phát hiện lỗi write trước khi khách hàng gặp phải.

#canary#synthetic-transaction#production-testing#write-path
ObservabilityTrung bình

Phân tích Network Flow Log (NetFlow/VPC Flow Logs)

Với traffic không ai chủ động instrument, flow record (5-tuple, số byte/gói, action, timestamp) được sampler tổng hợp theo từng kết nối, cho phép trả lời 'ai đã nói chuyện với host đó', tìm kết nối bị reject sau khi đổi policy, phát hiện service âm thầm vượt ranh giới zone/region, và thấy điểm đến egress bất thường.

#network-flow#vpc-flow-logs#netflow#5-tuple