proto.lib

Tối ưu đồ thị ONNX: constant folding & fusion

Sau khi export model sang đồ thị portable (ONNX), runtime duyệt lại đồ thị: gộp hằng số đã tính trước (constant folding), hợp nhất chuỗi Conv+BN+ReLU hoặc MatMul+Add+GELU thành một kernel để giảm round-trip bộ nhớ, rồi chọn execution provider phù hợp cho từng node trước khi ship.

AI/ML SystemsTrung bình2026-08-20
Tối ưu đồ thị ONNX: constant folding & fusion

Tags

#onnx#graph-optimization#operator-fusion#constant-folding#model-export#execution-provider#inference

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Quantization-Aware Training (QAT)

Mô phỏng phép lượng tử hóa ngay trong quá trình huấn luyện để mô hình thích nghi với sai số rời rạc hóa, giữ độ chính xác cao hơn so với lượng tử hóa sau huấn luyện.

#quantization#qat#int8#model-compression
AI/ML SystemsTrung bình

Grouped-Query Attention (GQA)

GQA cho nhiều đầu Query chia sẻ chung một nhóm đầu Key/Value, giảm mạnh kích thước KV cache so với multi-head attention mà chất lượng gần như không đổi.

#gqa#mqa#kv-cache#multi-head-attention
AI/ML SystemsTrung bình

Lượng tử hóa mô hình INT8

Post-training quantization ánh xạ trọng số fp16 sang int8/int4 bằng scale và zero-point, giúp giảm bộ nhớ và tăng tốc suy luận với chi phí độ chính xác nhỏ.

#quantization#int8#model-compression#inference