proto.lib

LLM Inference - Prefill và Decode

Suy luận LLM chia làm hai pha: prefill xử lý song song toàn bộ prompt (compute-bound), sau đó decode sinh từng token một cách tuần tự (memory-bound).

AI/ML SystemsTrung bình2026-07-10
LLM Inference - Prefill và Decode

Tags

#llm#inference#prefill#decode#autoregressive

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization
AI/ML SystemsTrung bình

Fine-tune hay RAG: Chọn đúng công cụ sửa lỗi

Retrieval bổ sung SỰ KIỆN thay đổi thường xuyên và cần trích dẫn được, còn fine-tuning định hình HÀNH VI (format, văn phong, quy ước ngầm của một domain, việc từ chối đúng thứ cần từ chối) và không theo kịp dữ liệu thay đổi; mặc định trung thực là prompt + retrieval trước, fine-tune khi lỗi mang tính văn phong/cấu trúc, và kết hợp cả hai cho tác vụ hẹp nhưng khối lượng lớn.

#rag#fine-tuning#llm#architecture-decision
AI/ML SystemsTrung bình

Tối ưu đồ thị ONNX: constant folding & fusion

Sau khi export model sang đồ thị portable (ONNX), runtime duyệt lại đồ thị: gộp hằng số đã tính trước (constant folding), hợp nhất chuỗi Conv+BN+ReLU hoặc MatMul+Add+GELU thành một kernel để giảm round-trip bộ nhớ, rồi chọn execution provider phù hợp cho từng node trước khi ship.

#onnx#graph-optimization#operator-fusion#constant-folding