观察结果 ≠ 客观事实，而是「观察方式」的产物。

强化学习-原理

1. BASIC 【鱼书】深度学习入门-强化学习 课件及笔记
2. DRL 【王树森】深度强化学习 课件及笔记
3. Hands-on-RL 【愈勇等】动手学强化学习++
4. OPEN AI 强化学习手册 官网地址
5. 李宏毅-强化学习-PPO 【视频地址 】
6. 李宏毅-强化学习-2025【视频地址】
7. 人人都能看懂的PPO原理与源码解读
8. easy-rl 在线地址
9. Mathematical-RL [【赵世钰】强化学习的数学原理](https://www.bilibili.com/video/BV1sd4y167NS/?）
10. RLHF-huggingface

强化学习-代码实现

• cleanrl 原地址
• joyrl 入门强化学习的代码生态
• easy-rl 在线地址
• notes-on-reinforcement-learning 在线阅读地址
• 强化学习算法实现 DRL-code-pytorch
• 复现deepseek-r1

强化学习算法 github地址

• DAPO-github
• ASPO-github

强化学习框架

• trl trl
• veRL veRL

RLHF

• deepspeed-chat deepspeed-chat

强化学习论文

• TODO全面综述：RL在现实世界落地的未来方向:Statistical Reinforcement Learning in the Real World: A Survey of Challenges and Future Directions

PPO

• PPO（通过裁剪重要性权重，实现稳定策略更新）

• [复旦]PPO-Max:Secrets of RLHF in Large Language Models Part I- PPO [复旦]PPO-Max:github地址

• [分析了普通 IS 与加权 IS（WIS）在 off-policy TD 中的方差特性，证明 WIS 更稳定]Weighted importance sampling for off-policy learningwith linear function approximation

DeepSeek及clip

• DeepSeek-GRPO

• DeepSeek-R1

• [推荐]重新思考下 PPO-Clip

• DAPO-字节

• ASPO-非对称重要性采样策略优化

• Soft Clip 机制：CISPO-MiniMax-M1- Scaling Test-Time Compute Efficiently with Lightning Attention

• DPO-直接偏好优化

• Understanding R1-Zero-Like Training: A Critical Perspective

• 多奖励+先归一化后加:GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization

GRPO在机器领域的应用（TODO）

• Extending Group Relative Policy Optimization to ContinuousControl: A Theoretical Framework for Robotic Reinforcement Learning

(显示/隐式)KL散度

• k3估计器：Approximating KL Divergence
• [推荐]为何在线强化学习能有效缓解灾难性遗忘？Why Online Reinforcement Learning Forgets Less
• [for LLM]RL当你的 KL 散度正则化在“裸奔”On a few pitfalls in KL divergence gradient estimation for
• 分析了两种主流 KL 估计器（K1 和 K3）在两种放置位置（Reward 和 Loss）下的梯度特性A Comedy of Estimators On KL Regularization in RL Training of LLMs

熵（探索）

• [熵]1-关注的是宏观的、全局的“策略熵”The Entropy Mechanism of Reinforcement Learning for Reasoning Language Model

• [熵]2-关注的是微观的、局部的“Token 级熵”Beyond the 80,20 Rule- High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning

• TODO动态平衡探索与利用（在难题上探索、在简单题上利用）-DACE

• 利用不确定性面向长序列LLM智能体的熵调制策略梯度Harnessing Uncertainty Entropy Modulated Policy Gradients for Long-Horizon LLM Agents

• TODO探索不应是盲目和全局的，而应是有选择性的Rethinking Entropy Regularization in Large Reasoning model

是否一定要控制熵

• deepseek-math-V1

幻觉

• 用行为校准 RL 抑制模型幻觉:Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning
• TODO为什么大模型出现幻觉？Why Language Models Hallucinate

奖励模型的设计

• 通用奖励模型的推理时扩展Inference-Time Scaling for Generalist Reward Modeling

阿里：“目标”（序列级）和“手段”（token级）之间的不匹配

• 一阶近似Stabilizing Reinforcement Learning with LLMs: Formulation and Practices
• 【对整个 response 进行裁剪】GSPO-组序列策略优化

RL是否真能超越base model？

• 强化学习是否真的在Llms中激发了超出基础模型的推理能力? Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
• 预训练（Pre-Training）、中期训练（Mid-Training）和基于强化学习的后训练（RL Post-Training）On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models

RL 能让模型学会全新的推理模式，实现 "能力扩展"

• RL Grokking Recipe: How Does RL Unlock and Transfer New Algorithms in LLMs?

mid-training 中训练：领域指数的重要性

• 爬坡似的接触特定的领域数据：基础领域知识-》专业领域知识OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling

RL 与 SFT

• [推荐]为何在线强化学习能有效缓解灾难性遗忘？Why Online Reinforcement Learning Forgets Less
• RLVR微调的本质是“非主成分学习”！SFT微调的是“主成分”：The Path Not Taken: RLVR Provably Learns Off the Principals
• TODO主权重：LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning

RL训练(Scaling Laws)

• RL 的 scaling 到底有没有规律可循？:The Art of Scaling Reinforcement Learning Compute for LLMs
• 工具综合推理：ToolRL: Reward is All Tool Learning Needs

Awesome-ML-SYS-Tutorial（RLHF System 开发笔记）

• RLHF System 开发笔记
• 浅析以 OpenRLHF 为代表的 post-training 系统的计算流程
• RL 系统深思：深入理解权重更新机制

神经网络

• http://udlbook.github.io/udlbook 深度学习中的算法背后的原理
• https://github.com/changyeyu/LLM-RL-Visualized 图解大模型算法
• https://www.rethink.fun 大模型核心技术和应用

分布式

• Ray-利用Ray进行大模型的数据处理、训练、推理和部署 Ray rllib github地址
• 图解OpenRLHF中基于Ray的分布式训练流程

《动手学大模型》 系列编程实践教程

• 上海交大