proto.lib

Catastrophic Forgetting khi Fine-tune Liên Tục

Fine-tune trên một tác vụ hẹp dịch chuyển trọng số và làm suy giảm năng lực chung của model; để giảm quên, người ta trộn lại dữ liệu gốc (replay), dùng learning rate thấp với ít epoch, hoặc đóng băng base model và đặt năng lực mới vào adapter, đồng thời luôn chạy lại bộ eval tổng quát chứ không chỉ tác vụ vừa tune.

AI/ML SystemsNâng cao2026-08-24
Catastrophic Forgetting khi Fine-tune Liên Tục

Tags

#catastrophic-forgetting#continual-learning#fine-tuning#replay-buffer#adapter#regression-testing#lora

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Serving nhiều LoRA Adapter

LoRA đóng băng trọng số gốc và chỉ train các ma trận low-rank nhỏ; khi serving có thể hoán đổi hoặc ghép nhiều adapter trên cùng một base model.

#lora#peft#fine-tuning#adapter
AI/ML SystemsTrung bình

QLoRA - Fine-tune 4-bit với LoRA

QLoRA lượng tử hóa base model về 4-bit và đóng băng, chỉ huấn luyện một adapter LoRA nhỏ ở độ chính xác cao hơn.

#qlora#lora#quantization#fine-tuning
AI/ML SystemsNâng cao

Eval Regression Gate trong CI

Bộ eval vàng chạy như test trong CI: mỗi lần đổi prompt hoặc model, hệ thống chạy lại toàn bộ eval, so điểm với baseline đã lưu, và chặn merge nếu điểm tụt quá ngưỡng; để chống nhiễu, cần chạy nhiều lần và so theo khoảng tin cậy thay vì so từng điểm đơn lẻ.

#eval#ci-cd#regression-testing#llm-eval