proto.lib

On-Device Inference trên di động: đổi hiệu năng lấy privacy

Chạy model trên điện thoại đòi hỏi weight đã quantize và compile cho accelerator của máy, app phải xử lý lần tải model đầu tiên và kiểm tra khả năng thiết bị, còn inference thì cạnh tranh bộ nhớ và nhiệt với UI — đổi lại là latency mạng bằng 0, hoạt động offline và dữ liệu không rời thiết bị.

AI/ML SystemsTrung bình2026-08-25
On-Device Inference trên di động: đổi hiệu năng lấy privacy

Tags

#on-device-inference#mobile-ml#model-quantization#thermal-throttling#offline-inference#edge-ai

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling
AI/ML SystemsTrung bình

Đưa Ảnh/Trang PDF Vào Model Đa Phương Thức

Khi đưa ảnh hoặc trang PDF vào model đa phương thức, cần resize hoặc tách trang để giảm chi phí token vốn tính theo kích thước ảnh, kết hợp text layer sẵn có nếu tài liệu có, và kiểm chứng số liệu trích ra bằng cách chỉ lại đúng vùng nguồn trên ảnh gốc.

#multimodal#vision#document-ai#pdf