proto.lib

Speculative Decoding

Một mô hình draft nhỏ đề xuất nhiều token, mô hình target lớn xác minh song song trong một lượt forward, chấp nhận tiền tố đúng dài nhất, giảm số bước của mô hình lớn mà vẫn giữ nguyên phân phối đầu ra.

AI/ML SystemsNâng cao2026-07-10
Speculative Decoding

Tags

#speculative-decoding#draft-model#llm-inference#latency#verification

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Model nhỏ cho Classification, Escalate khi tin cậy thấp

Thay vì gọi LLM lớn cho mọi bước phân loại–routing–trích xuất, hệ thống dùng model nhỏ/rẻ (hoặc classifier fine-tune) trước, chỉ escalate lên model lớn khi độ tin cậy dưới ngưỡng; cascade này đánh đổi một phần độ chính xác biên để giảm mạnh chi phí và độ trễ trung bình.

#model-cascade#classification#confidence-threshold#cost-optimization
AI/ML SystemsTrung bình

Suy giảm Retrieval khi Context quá dài

Cửa sổ ngữ cảnh lớn hơn không đồng nghĩa mô hình 'nhớ' tốt hơn: khi nhồi hàng trăm chunk, độ chú ý (attention) tới thông tin nằm ở GIỮA ngữ cảnh suy giảm, các đoạn gây nhiễu (distractor) cạnh tranh với đoạn đúng, còn chi phí và độ trễ tăng tuyến tính theo số token.

#long-context#retrieval#attention#context-window
AI/ML SystemsNâng cao

Medusa/EAGLE - Speculative Decoding bằng head phụ

Thay vì dùng mô hình draft riêng, Medusa và EAGLE gắn thêm các head dự đoán token tương lai ngay trên mô hình chính để tăng tốc sinh token mà không cần mô hình thứ hai.

#speculative-decoding#medusa#eagle#draft-heads