proto.lib

Mixed Precision Training - bf16/fp8

Trọng số master giữ ở fp32, tính toán chạy ở bf16/fp8 tốc độ cao, kèm loss scaling để tránh underflow gradient.

AI/ML SystemsTrung bình2026-07-15
Mixed Precision Training - bf16/fp8

Tags

#mixed-precision#bf16#fp8#loss-scaling#training

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Loss Spike và Gradient Clipping

Một batch xấu hoặc một bước cập nhật không may có thể tạo gradient rất lớn phá hỏng trọng số; norm của gradient được clip trước khi optimizer step, đồng thời run giám sát NaN/Inf do tràn số ở độ chính xác thấp để có thể skip batch hoặc rollback về checkpoint trước với learning rate giảm.

#gradient-clipping#loss-spike#training-stability#nan-inf
AI/ML SystemsTrung bình

Quantized KV Cache (INT8/FP8)

KV cache được lượng tử hóa xuống INT8 hoặc FP8 để giảm dung lượng bộ nhớ, cho phép batch lớn hơn và ngữ cảnh dài hơn với sai số chấp nhận được.

#kv-cache#quantization#fp8#memory-optimization
AI/ML SystemsCơ bản

Learning Rate Warmup và Cosine Decay

Learning rate tăng dần tuyến tính trong giai đoạn warmup, rồi suy giảm theo hàm cosine về gần 0 tới cuối training.

#learning-rate#warmup#cosine-decay#lr-schedule