proto.lib

Model Collapse khi huấn luyện trên dữ liệu tự sinh

Dữ liệu tổng hợp (synthetic) rẻ và hữu ích cho distillation hay bù lớp hiếm, nhưng một vòng lặp đưa thẳng output model chưa lọc trở lại làm dữ liệu huấn luyện sẽ làm phân phối co hẹp dần — phần đuôi (tail) biến mất, độ đa dạng sụp đổ, và mỗi thế hệ model trở nên nhàm và tự tin hơn.

AI/ML SystemsNâng cao2026-08-25
Model Collapse khi huấn luyện trên dữ liệu tự sinh

Tags

#synthetic-data#model-collapse#data-provenance#distillation#quality-filtering

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Model Distillation - Chưng cất mô hình

Huấn luyện một mô hình học sinh nhỏ để bắt chước đầu ra của mô hình giáo viên lớn, giữ phần lớn độ chính xác với chi phí suy luận thấp hơn.

#distillation#teacher-student#model-compression#soft-labels
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling
AI/ML SystemsTrung bình

Đưa Ảnh/Trang PDF Vào Model Đa Phương Thức

Khi đưa ảnh hoặc trang PDF vào model đa phương thức, cần resize hoặc tách trang để giảm chi phí token vốn tính theo kích thước ảnh, kết hợp text layer sẵn có nếu tài liệu có, và kiểm chứng số liệu trích ra bằng cách chỉ lại đúng vùng nguồn trên ảnh gốc.

#multimodal#vision#document-ai#pdf