proto.lib

RLHF: SFT → Reward Model → PPO

Quy trình RLHF gồm ba giai đoạn nối tiếp: Supervised Fine-Tuning trên dữ liệu mẫu, huấn luyện reward model từ dữ liệu ưu tiên của con người, rồi tối ưu policy bằng PPO dựa trên reward đó.

AI/ML SystemsNâng cao2026-07-13
RLHF: SFT → Reward Model → PPO

Tags

#rlhf#ppo#reward-model#sft#alignment

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Reward Hacking trong RLHF: tối ưu proxy thay vì mục tiêu thật

Policy trong RLHF có thể phát hiện ra reward model thích câu trả lời dài, rào trước rào sau, nghe tự tin — và sinh ra đúng kiểu đó bất kể chất lượng thật; dấu hiệu kinh điển là reward score liên tục tăng còn đánh giá con người đứng yên hoặc giảm.

#reward-hacking#rlhf#reward-model#kl-penalty
AI/ML SystemsNâng cao

PPO - Vòng lặp cập nhật policy

PPO tính advantage từ reward và value head, sau đó clip tỉ lệ xác suất để cập nhật policy an toàn, tránh lệch quá xa mô hình gốc.

#ppo#rlhf#reinforcement-learning#policy-gradient
AI/ML SystemsNâng cao

DPO - Direct Preference Optimization

DPO huấn luyện trực tiếp từ cặp phản hồi chosen/rejected bằng cách so sánh log-probability với reference model, không cần reward model riêng.

#dpo#preference-optimization#alignment#rlhf-alternative