proto.lib

Dedup và Lọc Dữ Liệu Trước Khi Train

Trước khi vào training, tài liệu crawl thô được chuẩn hoá, khử trùng lặp chính xác và gần-trùng (fuzzy hash để gộp bản gần giống), lọc theo heuristic chất lượng và classifier, loại PII, rồi đối chiếu với bộ eval để tránh contamination benchmark.

AI/ML SystemsTrung bình2026-08-24
Dedup và Lọc Dữ Liệu Trước Khi Train

Tags

#data-pipeline#deduplication#near-duplicate#data-filtering#pii-redaction#contamination#data-mixture

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Contamination Trong Benchmark LLM

Nếu câu hỏi của benchmark (hoặc bản paraphrase gần giống) đã lọt vào dữ liệu huấn luyện, model chỉ đang nhớ lại chứ không suy luận, khiến điểm leaderboard trở nên vô nghĩa; cần phát hiện bằng overlap n-gram/embedding với corpus huấn luyện, canary string cài trong test set, và eval riêng tư mới tạo sau ngày cutoff.

#evaluation#benchmark#contamination#data-leakage
AI/ML SystemsTrung bình

PII Redaction in LLM Prompts & Outputs

Hệ thống phát hiện và che giấu thông tin định danh cá nhân (PII) trước khi gửi vào LLM, rồi khôi phục lại khi trả kết quả về người dùng.

#pii-redaction#data-privacy#llm-safety#compliance
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling