proto.lib

Chọn mẫu để gán nhãn bằng Active Learning

Thay vì gán nhãn ngẫu nhiên, pipeline chọn những mẫu model đang KHÔNG CHẮC nhất (hoặc hai model bất đồng, hoặc xa mọi mẫu đã có nhãn) để gửi cho annotator, rồi retrain và lặp lại — đạt độ chính xác tương đương với chi phí gán nhãn thấp hơn nhiều so với random sampling.

AI/ML SystemsNâng cao2026-08-25
Chọn mẫu để gán nhãn bằng Active Learning

Tags

#active-learning#data-labeling#annotation#uncertainty-sampling#training-data#mlops

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsCơ bản

Experiment Tracking: dựng lại được mô hình đã huấn luyện

Mỗi lần chạy huấn luyện cần ghi lại commit code, phiên bản dữ liệu, toàn bộ config, phiên bản môi trường/thư viện, random seed, và metrics/artifact kết quả — để một kết quả có thể được tái tạo, so sánh công bằng với một run song song, và truy vết ngược từ model đã deploy về đúng cách nó được tạo ra.

#experiment-tracking#reproducibility#mlops#random-seed
AI/ML SystemsTrung bình

Độ đồng thuận Annotator và Chất lượng Nhãn Eval

Chất lượng của một bộ evaluation phụ thuộc vào chất lượng nhãn: nhiều annotator chấm cùng một item, độ đồng thuận (inter-annotator agreement) được đo, đồng thuận thấp là dấu hiệu RUBRIC mơ hồ chứ không phải annotator kém, tranh chấp được phân xử (adjudicate), và bộ gold set kết quả trở thành chuẩn để calibrate một LLM-judge tự động.

#evaluation#annotation#inter-annotator-agreement#gold-set
AI/ML SystemsTrung bình

Dataset Versioning & Lineage

Content-hash toàn bộ dataset để mỗi thực nghiệm ghi lại chính xác phiên bản dữ liệu đã huấn luyện; file lớn lưu bằng con trỏ (metadata nhỏ trong git + object storage), và lineage theo dõi dòng chảy raw → cleaned → features → training snapshot — thiếu những thứ này thì câu hỏi 'retrain xong số liệu đổi khác, tại sao?' không thể trả lời được.

#dataset-versioning#data-lineage#reproducibility#content-hashing