proto.lib

Medusa/EAGLE - Speculative Decoding bằng head phụ

Thay vì dùng mô hình draft riêng, Medusa và EAGLE gắn thêm các head dự đoán token tương lai ngay trên mô hình chính để tăng tốc sinh token mà không cần mô hình thứ hai.

AI/ML SystemsNâng cao2026-07-17
Medusa/EAGLE - Speculative Decoding bằng head phụ

Tags

#speculative-decoding#medusa#eagle#draft-heads#inference-speedup

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Lookahead Decoding

Sinh và xác minh song song nhiều n-gram ứng viên bằng phép lặp Jacobi, cho phép giảm số bước decode tuần tự mà không cần mô hình draft hay huấn luyện thêm.

#lookahead-decoding#jacobi-iteration#parallel-decoding#inference-speedup
AI/ML SystemsNâng cao

Speculative Decoding

Một mô hình draft nhỏ đề xuất nhiều token, mô hình target lớn xác minh song song trong một lượt forward, chấp nhận tiền tố đúng dài nhất, giảm số bước của mô hình lớn mà vẫn giữ nguyên phân phối đầu ra.

#speculative-decoding#draft-model#llm-inference#latency
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling