大模型必备RLHF知识点详细讲解 Policy 负责“生成” → Reward 负责“打分” → Value 负责“估计未来” → Advantage 负责“判断这次好不好” → PPO 负责“更新 Policy” → Reference + KL 负责“别跑太偏”。