proto.lib

Lượng tử hóa mô hình INT8

Post-training quantization ánh xạ trọng số fp16 sang int8/int4 bằng scale và zero-point, giúp giảm bộ nhớ và tăng tốc suy luận với chi phí độ chính xác nhỏ.

AI/ML SystemsTrung bình2026-07-10
Lượng tử hóa mô hình INT8

Tags

#quantization#int8#model-compression#inference#fp16

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Quantization-Aware Training (QAT)

Mô phỏng phép lượng tử hóa ngay trong quá trình huấn luyện để mô hình thích nghi với sai số rời rạc hóa, giữ độ chính xác cao hơn so với lượng tử hóa sau huấn luyện.

#quantization#qat#int8#model-compression
AI/ML SystemsTrung bình

Tối ưu đồ thị ONNX: constant folding & fusion

Sau khi export model sang đồ thị portable (ONNX), runtime duyệt lại đồ thị: gộp hằng số đã tính trước (constant folding), hợp nhất chuỗi Conv+BN+ReLU hoặc MatMul+Add+GELU thành một kernel để giảm round-trip bộ nhớ, rồi chọn execution provider phù hợp cho từng node trước khi ship.

#onnx#graph-optimization#operator-fusion#constant-folding
AI/ML SystemsNâng cao

ScaNN - Anisotropic Vector Quantization

ScaNN dùng anisotropic vector quantization để ưu tiên giữ độ chính xác cho các vector có similarity cao với truy vấn thật, tăng tốc ANN search quy mô lớn.

#scann#quantization#ann#vector-search