强化学习核心算法与实践指南：从MDP到深度Q网络

1. 强化学习基础概念与核心理论强化学习作为机器学习的重要分支其核心思想是通过智能体与环境的交互学习最优策略。与监督学习不同强化学习不需要预先标注的训练数据而是通过试错机制获得经验。1.1 马尔可夫决策过程MDPMDP是强化学习的数学基础框架由五元组(S, A, P, R, γ)构成S状态空间A动作空间P状态转移概率R奖励函数γ折扣因子在实际应用中我们常用Bellman方程来描述状态价值函数 V(s) Σ_a π(a|s)Σ_s P(s|s,a)[R(s,a,s) γV(s)]注意当状态空间较大时直接求解Bellman方程会面临维度灾难问题这时需要考虑近似方法。1.2 动态规划方法动态规划是解决MDP问题的经典方法主要包括策略评估迭代计算给定策略下的状态价值函数策略改进基于当前价值函数改进策略策略迭代交替进行策略评估和改进价值迭代直接寻找最优价值函数# 价值迭代算法伪代码 def value_iteration(env, theta0.0001, discount_factor1.0): V np.zeros(env.nS) while True: delta 0 for s in range(env.nS): v V[s] V[s] max([sum([p*(r discount_factor*V[s_]) for p, s_, r, _ in env.P[s][a]]) for a in range(env.nA)]) delta max(delta, abs(v - V[s])) if delta theta: break policy np.zeros([env.nS, env.nA]) for s in range(env.nS): best_action np.argmax([sum([p*(r discount_factor*V[s_]) for p, s_, r, _ in env.P[s][a]]) for a in range(env.nA)]) policy[s, best_action] 1.0 return policy, V2. 不基于模型的强化学习算法当环境模型未知时我们需要采用不基于模型的方法直接从与环境的交互中学习。2.1 蒙特卡洛方法蒙特卡洛方法通过完整的经验轨迹来估计价值函数首次访问MC只考虑状态在轨迹中第一次出现时的回报每次访问MC考虑状态在轨迹中所有出现时的回报def mc_prediction(policy, env, num_episodes, discount_factor1.0): V defaultdict(float) returns defaultdict(list) for i_episode in range(1, num_episodes1): episode [] state env.reset() for t in range(100): action policy(state) next_state, reward, done, _ env.step(action) episode.append((state, action, reward)) if done: break state next_state states_in_episode set([x[0] for x in episode]) for state in states_in_episode: first_occurence_idx next(i for i,x in enumerate(episode) if x[0] state) G sum([x[2]*(discount_factor**i) for i,x in enumerate(episode[first_occurence_idx:])]) returns[state].append(G) V[state] np.mean(returns[state]) return V2.2 时序差分学习TD方法结合了蒙特卡洛和动态规划的思想TD(0)V(S_t) ← V(S_t) α[R_t1 γV(S_t1) - V(S_t)]SARSA在策略的TD控制算法Q-learning离策略的TD控制算法实际应用中发现Q-learning通常比SARSA学习速度更快但SARSA在安全性要求高的场景表现更稳定。3. 深度强化学习算法实现当状态空间很大时传统的表格型方法不再适用需要引入函数近似。3.1 DQN及其变种深度Q网络(DQN)通过神经网络近似Q函数并引入两个关键技术经验回放打破数据相关性目标网络提高稳定性class DQNAgent: def __init__(self, state_size, action_size): self.state_size state_size self.action_size action_size self.memory deque(maxlen2000) self.gamma 0.95 # discount rate self.epsilon 1.0 # exploration rate self.epsilon_min 0.01 self.epsilon_decay 0.995 self.learning_rate 0.001 self.model self._build_model() self.target_model self._build_model() self.update_target_model() def _build_model(self): model Sequential() model.add(Dense(24, input_dimself.state_size, activationrelu)) model.add(Dense(24, activationrelu)) model.add(Dense(self.action_size, activationlinear)) model.compile(lossmse, optimizerAdam(lrself.learning_rate)) return model def update_target_model(self): self.target_model.set_weights(self.model.get_weights()) def remember(self, state, action, reward, next_state, done): self.memory.append((state, action, reward, next_state, done)) def act(self, state): if np.random.rand() self.epsilon: return random.randrange(self.action_size) act_values self.model.predict(state) return np.argmax(act_values[0]) def replay(self, batch_size): minibatch random.sample(self.memory, batch_size) for state, action, reward, next_state, done in minibatch: target self.model.predict(state) if done: target[0][action] reward else: t self.target_model.predict(next_state)[0] target[0][action] reward self.gamma * np.amax(t) self.model.fit(state, target, epochs1, verbose0) if self.epsilon self.epsilon_min: self.epsilon * self.epsilon_decay3.2 策略梯度方法与基于价值的方法不同策略梯度直接优化策略REINFORCE蒙特卡洛策略梯度Actor-Critic结合价值函数和策略梯度class PolicyGradientAgent: def __init__(self, state_size, action_size): self.state_size state_size self.action_size action_size self.gamma 0.99 self.learning_rate 0.001 self.states [] self.actions [] self.rewards [] self.model self._build_model() def _build_model(self): model Sequential() model.add(Dense(24, input_dimself.state_size, activationrelu)) model.add(Dense(24, activationrelu)) model.add(Dense(self.action_size, activationsoftmax)) model.compile(losscategorical_crossentropy, optimizerAdam(lrself.learning_rate)) return model def remember(self, state, action, reward): self.states.append(state) self.actions.append(action) self.rewards.append(reward) def act(self, state): state np.reshape(state, [1, self.state_size]) prob self.model.predict(state)[0] return np.random.choice(self.action_size, pprob) def discount_rewards(self, rewards): discounted_rewards np.zeros_like(rewards) running_add 0 for t in reversed(range(len(rewards))): running_add running_add * self.gamma rewards[t] discounted_rewards[t] running_add return discounted_rewards def train(self): states np.vstack(self.states) actions np.array(self.actions) rewards self.discount_rewards(self.rewards) # Normalize rewards rewards - np.mean(rewards) rewards / np.std(rewards) # One-hot encode actions actions_onehot np.zeros([len(actions), self.action_size]) actions_onehot[np.arange(len(actions)), actions] 1 self.model.train_on_batch(states, actions_onehot * rewards[:, None]) self.states, self.actions, self.rewards [], [], []4. 多智能体强化学习与前沿方向4.1 多智能体系统(MARL)在多智能体环境中需要考虑非平稳性问题信用分配问题通信与协调机制常用算法包括Independent Q-learningMADDPGCOMA实际应用中发现在竞争性环境中MADDPG表现优于独立学习在协作性环境中COMA的信用分配机制更有效。4.2 分层强化学习通过引入层次结构解决长时程依赖问题Option框架MAXQ值分解HIRO算法4.3 模仿学习与逆强化学习当奖励函数难以设计时行为克隆直接模仿专家行为逆强化学习从专家行为推断奖励函数GAIL结合生成对抗网络和模仿学习5. 强化学习实践中的关键问题5.1 超参数调优经验根据实际项目经验关键参数调优建议参数典型范围影响调整策略学习率1e-5到1e-3影响收敛速度和稳定性从较大值开始观察loss变化折扣因子γ0.9到0.99平衡即时和长期回报任务持续时间越长γ应越大探索率ε1.0到0.01平衡探索与利用线性或指数衰减批次大小32到256影响训练稳定性根据内存容量选择5.2 常见问题排查智能体不学习检查奖励函数设计是否合理确认梯度是否正常更新验证状态表示是否包含足够信息训练不稳定尝试减小学习率增加目标网络更新频率调整经验回放缓冲区大小过拟合问题在神经网络中添加Dropout层使用早停策略增加环境随机性5.3 性能优化技巧使用优先级经验回放重点关注重要经验实现n-step returns平衡偏差和方差分布式训练使用Ape-X等框架加速训练混合精度训练减少显存占用在机器人控制项目中通过结合优先级经验回放和n-step returns我们将训练时间缩短了40%同时保持了策略质量。具体实现时需要注意优先级采样会引入偏差需要通过重要性采样权重进行校正n-step returns需要调整折扣因子γ的值分布式训练时要注意参数同步频率