Module 07: Reinforcement Learning

Module 07: Reinforcement Learning

强化学习是机器学习的重要分支，用于解决决策和控制问题。本模块从基础的 MDP 到前沿的深度强化学习算法。

---

Overview

Topic	Description	Status
MDP Basics	马尔可夫决策过程	✅
Q-Learning	值函数方法	✅
Deep Q-Learning	深度 Q 网络	✅
Policy Gradient	策略梯度方法	✅

---

Learning Path

1. MDP Fundamentals

核心概念：

• 状态、动作、奖励
• 转移概率
• 折扣因子

关键公式：

MDP = (S, A, P, R, γ)

2. Value-Based Methods

Q-Learning：

Q(s,a) ← Q(s,a) + α[r + γ max_a' Q(s',a') - Q(s,a)]

Deep Q-Network (DQN)：

• 经验回放
• 目标网络
• ε-贪心策略

3. Policy-Based Methods

REINFORCE：

∇J(θ) = E[∇ log π_θ(a|s) Q(s,a)]

PPO (Proximal Policy Optimization)：

• 裁剪目标函数
• 优势函数估计
• 稳定训练

4. Actor-Critic Methods

A3C (Asynchronous Advantage Actor-Critic)：

• 并行采样
• 共享参数
• 异步更新

---

Environments

• CartPole: 经典控制
• MountainCar: 稀疏奖励
• Atari: 视觉控制
• Robotics: 连续控制

---

Key Algorithms

Algorithm	Type	Complexity	Performance
Q-Learning	Value	O(	S
DQN	Value	O(n)	中
PPO	Policy	O(n)	高
SAC	Actor-Critic	O(n)	高

---

References

• Sutton & Barto, "Reinforcement Learning: An Introduction" (2nd ed., 2018)
• Mnih et al., "Playing Atari with Deep Reinforcement Learning" (NIPS 2013)
• Schulman et al., "Proximal Policy Optimization Algorithms" (2017)

---

⬆ Back to Top