proto.lib

Frame Sampling cho VLM: nén 40 phút video vào token budget

Vision-language model chỉ xử lý ảnh tĩnh, nên video dài được rút gọn bằng frame sampling (uniform hoặc theo scene-change/keyframe) tới một token budget cố định, tuỳ chọn caption từng frame thành text để retrieval, và transcript audio được mang kèm song song vì gửi mọi frame là bất khả thi.

AI/ML SystemsTrung bình2026-08-25
Frame Sampling cho VLM: nén 40 phút video vào token budget

Tags

#video-understanding#frame-sampling#vlm#keyframe-detection#multimodal#token-budget

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

VLM Image Tiling: Đọc Ảnh Độ Phân Giải Cao

Một vision-language model với input cố định 336px không đọc được chữ nhỏ trong screenshot dày đặc; ảnh được chia thành các tile ở độ phân giải gốc cộng một global view thu nhỏ, mỗi tile được encode riêng rồi nối token lại — chữ trở nên rõ nét nhưng số token tăng theo diện tích ảnh, đó là lý do một screenshot cả trang tốn token hơn một tấm ảnh chụp thường.

#vision-language-model#image-tiling#high-resolution#multimodal
AI/ML SystemsTrung bình

Đưa Ảnh/Trang PDF Vào Model Đa Phương Thức

Khi đưa ảnh hoặc trang PDF vào model đa phương thức, cần resize hoặc tách trang để giảm chi phí token vốn tính theo kích thước ảnh, kết hợp text layer sẵn có nếu tài liệu có, và kiểm chứng số liệu trích ra bằng cách chỉ lại đúng vùng nguồn trên ảnh gốc.

#multimodal#vision#document-ai#pdf
AI/ML SystemsTrung bình

Truncation & Pagination cho Tool Result quá lớn

Khi một tool call trả về hàng trăm nghìn token (log dài, file lớn, kết quả query), agent runtime không thể nhồi thẳng vào context; nó phải cắt bớt (head+tail), phân trang qua offset/limit, và trả kèm metadata cho model biết còn bao nhiêu để gọi tiếp.

#agent#tool-use#context-window#truncation