proto.lib

Đưa Ảnh/Trang PDF Vào Model Đa Phương Thức

Khi đưa ảnh hoặc trang PDF vào model đa phương thức, cần resize hoặc tách trang để giảm chi phí token vốn tính theo kích thước ảnh, kết hợp text layer sẵn có nếu tài liệu có, và kiểm chứng số liệu trích ra bằng cách chỉ lại đúng vùng nguồn trên ảnh gốc.

AI/ML SystemsTrung bình2026-08-28
Đưa Ảnh/Trang PDF Vào Model Đa Phương Thức

Tags

#multimodal#vision#document-ai#pdf#ocr#grounding

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

OCR & Layout Extraction cho tài liệu PDF

Trang PDF được render thành ảnh, văn bản được lấy từ layer text sẵn có của PDF hoặc OCR từ ảnh, sau đó phân tích LAYOUT để tái tạo thứ tự đọc và cấu trúc (tiêu đề, cột, bảng, hình) — vì đổ nội dung trái-sang-phải một cách ngây thơ trên trang hai cột sẽ trộn lẫn câu chữ vô nghĩa.

#ocr#layout-analysis#document-parsing#pdf
AI/ML SystemsTrung bình

VLM Image Tiling: Đọc Ảnh Độ Phân Giải Cao

Một vision-language model với input cố định 336px không đọc được chữ nhỏ trong screenshot dày đặc; ảnh được chia thành các tile ở độ phân giải gốc cộng một global view thu nhỏ, mỗi tile được encode riêng rồi nối token lại — chữ trở nên rõ nét nhưng số token tăng theo diện tích ảnh, đó là lý do một screenshot cả trang tốn token hơn một tấm ảnh chụp thường.

#vision-language-model#image-tiling#high-resolution#multimodal
AI/ML SystemsTrung bình

Frame Sampling cho VLM: nén 40 phút video vào token budget

Vision-language model chỉ xử lý ảnh tĩnh, nên video dài được rút gọn bằng frame sampling (uniform hoặc theo scene-change/keyframe) tới một token budget cố định, tuỳ chọn caption từng frame thành text để retrieval, và transcript audio được mang kèm song song vì gửi mọi frame là bất khả thi.

#video-understanding#frame-sampling#vlm#keyframe-detection