proto.lib

CLIP - Embedding chung cho ảnh và văn bản

CLIP huấn luyện contrastive để ảnh và caption mô tả đúng nằm gần nhau trong cùng không gian embedding, cho phép tìm ảnh bằng văn bản và ngược lại.

AI/ML SystemsTrung bình2026-07-17
CLIP - Embedding chung cho ảnh và văn bản

Tags

#clip#multimodal#embeddings#contrastive-learning#image-text-retrieval

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Fine-tune Embedding bằng Contrastive Learning

Huấn luyện lại mô hình embedding bằng các cặp positive/negative để kéo gần vector liên quan và đẩy xa vector không liên quan.

#embeddings#contrastive-learning#fine-tuning#triplet-loss
AI/ML SystemsTrung bình

Đưa Ảnh/Trang PDF Vào Model Đa Phương Thức

Khi đưa ảnh hoặc trang PDF vào model đa phương thức, cần resize hoặc tách trang để giảm chi phí token vốn tính theo kích thước ảnh, kết hợp text layer sẵn có nếu tài liệu có, và kiểm chứng số liệu trích ra bằng cách chỉ lại đúng vùng nguồn trên ảnh gốc.

#multimodal#vision#document-ai#pdf
AI/ML SystemsTrung bình

VLM Image Tiling: Đọc Ảnh Độ Phân Giải Cao

Một vision-language model với input cố định 336px không đọc được chữ nhỏ trong screenshot dày đặc; ảnh được chia thành các tile ở độ phân giải gốc cộng một global view thu nhỏ, mỗi tile được encode riêng rồi nối token lại — chữ trở nên rõ nét nhưng số token tăng theo diện tích ảnh, đó là lý do một screenshot cả trang tốn token hơn một tấm ảnh chụp thường.

#vision-language-model#image-tiling#high-resolution#multimodal