proto.lib

DPO - Direct Preference Optimization

DPO huấn luyện trực tiếp từ cặp phản hồi chosen/rejected bằng cách so sánh log-probability với reference model, không cần reward model riêng.

AI/ML SystemsNâng cao2026-07-15
DPO - Direct Preference Optimization

Tags

#dpo#preference-optimization#alignment#rlhf-alternative#fine-tuning

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Fine-tune hay RAG: Chọn đúng công cụ sửa lỗi

Retrieval bổ sung SỰ KIỆN thay đổi thường xuyên và cần trích dẫn được, còn fine-tuning định hình HÀNH VI (format, văn phong, quy ước ngầm của một domain, việc từ chối đúng thứ cần từ chối) và không theo kịp dữ liệu thay đổi; mặc định trung thực là prompt + retrieval trước, fine-tune khi lỗi mang tính văn phong/cấu trúc, và kết hợp cả hai cho tác vụ hẹp nhưng khối lượng lớn.

#rag#fine-tuning#llm#architecture-decision
AI/ML SystemsNâng cao

Catastrophic Forgetting khi Fine-tune Liên Tục

Fine-tune trên một tác vụ hẹp dịch chuyển trọng số và làm suy giảm năng lực chung của model; để giảm quên, người ta trộn lại dữ liệu gốc (replay), dùng learning rate thấp với ít epoch, hoặc đóng băng base model và đặt năng lực mới vào adapter, đồng thời luôn chạy lại bộ eval tổng quát chứ không chỉ tác vụ vừa tune.

#catastrophic-forgetting#continual-learning#fine-tuning#replay-buffer
AI/ML SystemsTrung bình

QLoRA - Fine-tune 4-bit với LoRA

QLoRA lượng tử hóa base model về 4-bit và đóng băng, chỉ huấn luyện một adapter LoRA nhỏ ở độ chính xác cao hơn.

#qlora#lora#quantization#fine-tuning