proto.lib

Dataset Versioning & Lineage

Content-hash toàn bộ dataset để mỗi thực nghiệm ghi lại chính xác phiên bản dữ liệu đã huấn luyện; file lớn lưu bằng con trỏ (metadata nhỏ trong git + object storage), và lineage theo dõi dòng chảy raw → cleaned → features → training snapshot — thiếu những thứ này thì câu hỏi 'retrain xong số liệu đổi khác, tại sao?' không thể trả lời được.

AI/ML SystemsTrung bình2026-08-20
Dataset Versioning & Lineage

Tags

#dataset-versioning#data-lineage#reproducibility#content-hashing#object-storage#mlops

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsCơ bản

Experiment Tracking: dựng lại được mô hình đã huấn luyện

Mỗi lần chạy huấn luyện cần ghi lại commit code, phiên bản dữ liệu, toàn bộ config, phiên bản môi trường/thư viện, random seed, và metrics/artifact kết quả — để một kết quả có thể được tái tạo, so sánh công bằng với một run song song, và truy vết ngược từ model đã deploy về đúng cách nó được tạo ra.

#experiment-tracking#reproducibility#mlops#random-seed
AI/ML SystemsTrung bình

Model Registry & Versioning

Quản lý vòng đời mô hình ML qua các giai đoạn staging/production, gắn version và metadata để truy vết, rollback khi cần.

#model-registry#mlops#versioning#lifecycle
AI/ML SystemsNâng cao

Chọn mẫu để gán nhãn bằng Active Learning

Thay vì gán nhãn ngẫu nhiên, pipeline chọn những mẫu model đang KHÔNG CHẮC nhất (hoặc hai model bất đồng, hoặc xa mọi mẫu đã có nhãn) để gửi cho annotator, rồi retrain và lặp lại — đạt độ chính xác tương đương với chi phí gán nhãn thấp hơn nhiều so với random sampling.

#active-learning#data-labeling#annotation#uncertainty-sampling