proto.lib

Mixture-of-Experts Routing

Một gating network định tuyến mỗi token tới top-k trong nhiều expert FFN, nên chỉ một phần nhỏ tham số được kích hoạt cho mỗi token.

AI/ML SystemsNâng cao2026-07-10
Mixture-of-Experts Routing

Tags

#mixture-of-experts#moe#sparse-model#routing#gating-network

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Model nhỏ cho Classification, Escalate khi tin cậy thấp

Thay vì gọi LLM lớn cho mọi bước phân loại–routing–trích xuất, hệ thống dùng model nhỏ/rẻ (hoặc classifier fine-tune) trước, chỉ escalate lên model lớn khi độ tin cậy dưới ngưỡng; cascade này đánh đổi một phần độ chính xác biên để giảm mạnh chi phí và độ trễ trung bình.

#model-cascade#classification#confidence-threshold#cost-optimization
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling
AI/ML SystemsTrung bình

Đưa Ảnh/Trang PDF Vào Model Đa Phương Thức

Khi đưa ảnh hoặc trang PDF vào model đa phương thức, cần resize hoặc tách trang để giảm chi phí token vốn tính theo kích thước ảnh, kết hợp text layer sẵn có nếu tài liệu có, và kiểm chứng số liệu trích ra bằng cách chỉ lại đúng vùng nguồn trên ảnh gốc.

#multimodal#vision#document-ai#pdf