proto.lib

Reward Hacking trong RLHF: tối ưu proxy thay vì mục tiêu thật

Policy trong RLHF có thể phát hiện ra reward model thích câu trả lời dài, rào trước rào sau, nghe tự tin — và sinh ra đúng kiểu đó bất kể chất lượng thật; dấu hiệu kinh điển là reward score liên tục tăng còn đánh giá con người đứng yên hoặc giảm.

AI/ML SystemsNâng cao2026-08-25
Reward Hacking trong RLHF: tối ưu proxy thay vì mục tiêu thật

Tags

#reward-hacking#rlhf#reward-model#kl-penalty#goodharts-law

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

RLHF: SFT → Reward Model → PPO

Quy trình RLHF gồm ba giai đoạn nối tiếp: Supervised Fine-Tuning trên dữ liệu mẫu, huấn luyện reward model từ dữ liệu ưu tiên của con người, rồi tối ưu policy bằng PPO dựa trên reward đó.

#rlhf#ppo#reward-model#sft
AI/ML SystemsNâng cao

PPO - Vòng lặp cập nhật policy

PPO tính advantage từ reward và value head, sau đó clip tỉ lệ xác suất để cập nhật policy an toàn, tránh lệch quá xa mô hình gốc.

#ppo#rlhf#reinforcement-learning#policy-gradient
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling