简介这份资源是《Deep-Reinforcement-Learning-Hands-On》配套的深度强化学习实践资料面向已具备机器学习基础、希望从理论走向代码落地的开发者与研究者帮助解决高维状态空间下传统Q表难以存储更新、算法实现细节模糊等痛点。压缩包为zip格式整体约32.83MB文件总数暂未提供明细内容围绕DQN、DDQN、A3C、DDPG、TD3、PPO、SAC等主流DRL算法的实现展开并涉及OpenAI Gym环境模拟与超参数调优。已有378人学习下载说明其在强化学习入门与进阶群体中具备一定参考价值。读者可借助代码理解经验回放、固定Q目标、双重Q学习、异步并行探索、确定性策略梯度及熵最大化探索等机制掌握从价值函数近似到策略优化的完整脉络为游戏控制、机器人控制、资源调度等复杂决策任务打下实践基础。1. 从一份 Deep Reinforcement Learning Hands-On 的目录说起为什么多数人卡在“能跑但不会改”如果你手里已经有一份 Deep-Reinforcement-Learning-Hands-On 的代码目录或者正准备照着它入门深度强化学习大概率会遇到同一个尴尬CartPole 能跑出曲线换到自己的环境就不知道从哪下手。这不是你笨而是这类 hands-on 项目天然把“算法实现”和“工程决策”揉在一起前者能抄后者抄不了。这份标题对应的内容本质是一套以 PyTorch 为主线、从交叉熵到 DQN、从策略梯度到分布式 A2C/PPO 的深度强化学习实操集合。它解决的不是“强化学习是什么”而是“给定一个环境我该选哪个算法、网络怎么搭、超参怎么设、训练不收敛时先看哪”。适合两类人一类是刚学完 Q-learning 和贝尔曼方程、想把它落到代码上的新手另一类是做过监督学习、想切到强化学习但被样本效率和奖励稀疏劝退的工程师。下面按“先立住理论、再动手复现、最后讲坑”的顺序拆开讲中间会穿插 deepreinforcement 这类关键词对应的常见实现套路。2. 先分清三类算法值函数、策略梯度、以及它们的混合体2.1 值函数方法DQN 及其变体到底在拟合什么值函数方法的核心是学一个 Q(s,a)然后用 argmax 选动作。DQN 用神经网络替代 Q 表靠经验回放打散样本相关性靠目标网络稳住自举目标。很多人第一次看 DQN 代码会觉得“不就是监督学习吗”确实像但区别在于标签是自己算出来的而且会随训练漂移。一个最小可跑的 DQN 结构通常包含三块在线网络、目标网络、回放缓冲区。在线网络每步更新目标网络每隔 N 步同步一次。回放缓冲区存 (s, a, r, s, done)采样时随机抽 batch。这里最容易翻车的是 done 的处理如果 s 是终止状态目标值只取 r不能加 gamma * max Q(s)否则会把终止后的“虚无”当成零奖励继续传播。import torch import torch.nn as nn import random from collections import deque class QNet(nn.Module): def __init__(self, obs_dim, act_dim): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, 128), nn.ReLU(), nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, act_dim) ) def forward(self, x): return self.net(x) class ReplayBuffer: def __init__(self, capacity100000): self.buf deque(maxlencapacity) def push(self, s, a, r, s_next, done): self.buf.append((s, a, r, s_next, done)) def sample(self, batch_size): batch random.sample(self.buf, batch_size) s, a, r, s_next, done zip(*batch) return (torch.tensor(s, dtypetorch.float32), torch.tensor(a, dtypetorch.long), torch.tensor(r, dtypetorch.float32), torch.tensor(s_next, dtypetorch.float32), torch.tensor(done, dtypetorch.float32)) def dqn_loss(q_net, target_net, batch, gamma0.99): s, a, r, s_next, done batch q_values q_net(s).gather(1, a.unsqueeze(1)).squeeze(1) with torch.no_grad(): next_q target_net(s_next).max(1)[0] # done1 时只保留即时奖励避免自举到终止后的状态 target r gamma * next_q * (1 - done) return nn.MSELoss()(q_values, target)上面这段代码里capacity决定回放池大小太小会导致样本重复、过拟合近期经验gamma是折扣因子0.99 适合回合较长的任务0.9 适合短回合。target_net的同步频率一般取 100 到 1000 步太频繁等于没有目标网络太慢会导致目标滞后。注意done必须是 float否则乘法会广播出错。2.2 策略梯度方法REINFORCE 到 PPO 的演进逻辑策略梯度直接参数化策略 π(a|s)用回报的梯度更新。REINFORCE 是最朴素的版本用整条轨迹的回报乘以 log 概率但方差极大。后面加基线、加优势函数、加重要性采样才有了 A2C、TRPO、PPO。PPO 之所以成为默认选择是因为它用裁剪把策略更新限制在一个信任域内既不像 TRPO 那样要算二阶又比 A2C 稳。PPO 的关键参数是 clip 系数通常 0.1 到 0.3。太小更新慢太大等于没裁剪。另一个关键是 GAE 的 lambda控制偏差和方差的权衡0.95 是常见起点。很多人 PPO 跑不起来不是算法错而是优势归一化和学习率没调好。优势归一化能显著稳住训练学习率 3e-4 是安全起点超过 1e-3 很容易崩。def ppo_loss(logp_new, logp_old, advantages, clip0.2): ratio torch.exp(logp_new - logp_old) surr1 ratio * advantages surr2 torch.clamp(ratio, 1 - clip, 1 clip) * advantages return -torch.min(surr1, surr2).mean()这段损失函数里logp_old是采样时的旧策略对数概率必须 detach否则梯度会回传到旧策略。advantages建议做标准化减均值除标准差。clip控制每次更新的幅度0.2 是论文默认值实际任务里 0.1 到 0.3 都有人用。2.3 混合与离线为什么 IQL 和基于模型的强化学习开始流行纯在线方法样本效率低于是有了离线强化学习和基于模型的强化学习。离线强化学习比如 IQL从固定数据集里学策略不与环境交互适合机器人、医疗这类采样昂贵的场景。基于模型的强化学习先学一个环境动力学模型再在模型里规划或训练策略样本效率高但模型误差会累积。这两类方法在 Deep-Reinforcement-Learning-Hands-On 这类项目里通常作为进阶章节出现入门阶段先把在线方法跑通再碰。选型上有个简单判断环境便宜、能无限采样用 PPO 或 DQN环境贵、只能离线数据看 IQL 或 CQL环境可微分、状态连续可以试基于模型的路径。不要一上来就追最新算法先把一个基线跑稳再谈改进。3. 把算法落到代码环境封装、训练循环与超参设置3.1 环境封装Gym 接口的五个必须实现点无论用 Gym 还是自定义环境接口必须一致reset 返回初始观测step 返回 (obs, reward, done, info)动作空间和观测空间要有明确的 shape 和 dtype。很多人自己写环境时忘了设 seed导致结果不可复现或者 done 和 truncated 不分导致自举目标算错。Gym 新版本把 terminated 和 truncated 分开terminated 表示真正终止truncated 表示时间上限截断后者仍然要自举。import gym env gym.make(CartPole-v1) obs, info env.reset(seed42) done False while not done: action env.action_space.sample() obs, reward, terminated, truncated, info env.step(action) done terminated or truncated # terminated 才需要屏蔽自举truncated 仍可自举这段代码里seed42保证可复现terminated和truncated分开处理是新手最容易忽略的点。如果你的算法在时间上限附近表现异常先检查这里。3.2 训练循环采样、更新、日志三件事的节奏一个稳定的训练循环应该把采样和更新分开采样多少步更新多少次要有比例。比如 PPO 常见做法是采 2048 步然后做 10 个 epoch 的小批量更新。DQN 则是每步都更新但用回放池打散。日志至少记录回合回报、回合长度、损失值、熵。熵是策略探索程度的指标熵骤降往往意味着策略过早收敛到次优。for episode in range(num_episodes): obs, _ env.reset() episode_reward 0 while True: action policy.act(obs) next_obs, reward, terminated, truncated, _ env.step(action) buffer.push(obs, action, reward, next_obs, terminated) obs next_obs episode_reward reward if len(buffer) batch_size: batch buffer.sample(batch_size) loss dqn_loss(q_net, target_net, batch) optimizer.zero_grad() loss.backward() optimizer.step() if terminated or truncated: break # 每回合结束记录回报观察趋势而不是单点 writer.add_scalar(reward, episode_reward, episode)这里batch_size一般 32 到 256太小梯度噪声大太大更新慢。target_net的同步可以放在 episode 循环里也可以按步数。日志用 TensorBoard 或 wandb 都行关键是看趋势不要因为某一回合高就以为调对了。3.3 超参设置学习率、折扣因子、熵系数的取值边界学习率是强化学习里最敏感的参数。DQN 常用 1e-4 到 1e-3PPO 常用 3e-4A2C 可以到 7e-4。折扣因子 gamma 在连续控制里常取 0.99在回合很短的任务里可以取 0.9。熵系数在 PPO 里常取 0.01用来维持探索太大策略会一直随机太小会过早收敛。参数常见范围作用调错的表现学习率1e-4 ~ 1e-3控制更新步长太大震荡太小不收敛gamma0.9 ~ 0.99折扣未来奖励太小短视太大方差高熵系数0.001 ~ 0.05维持探索太大不收敛太小早熟clip0.1 ~ 0.3PPO 更新幅度太大等于没裁太小更新慢batch size32 ~ 256梯度估计质量太小噪声大太大更新慢这张表不是让你照抄而是给你一个排查方向。训练不收敛时先固定其他参数只动学习率通常能解决一半问题。4. 避坑与排查训练不收敛时先看这五件事4.1 奖励曲线震荡不上升现象回报在某个值附近来回跳没有上升趋势。原因通常是学习率太大或者回放池太小导致样本相关性高。解决把学习率降一个数量级回放池至少存 10 万条目标网络同步频率调低。如果还不行检查奖励是否做了归一化奖励尺度差异大会让梯度不稳定。4.2 策略过早收敛到次优现象熵快速下降回报停在较低水平。原因通常是熵系数太小或者探索噪声衰减太快。解决把熵系数调大DQN 里用 epsilon-greedy 时让 epsilon 衰减更慢PPO 里可以加动作噪声。注意不要为了探索把熵系数调到 0.1 以上那样策略会一直随机。4.3 损失变成 NaN现象训练几步后损失变成 NaN。原因通常是梯度爆炸或者奖励里有 inf。解决加梯度裁剪torch.nn.utils.clip_grad_norm_(params, 0.5)检查环境奖励是否做了 clip。另外如果观测没归一化输入值过大会让网络输出爆炸建议对观测做 running mean/std 归一化。4.4 评估和训练表现差距大现象训练回报很高评估回报很低。原因通常是训练时用了探索噪声评估时没关或者环境有随机性评估次数太少。解决评估时把策略设为确定性模式多跑几个回合取平均。如果环境本身随机评估回合数至少 10 次以上。4.5 换环境后完全跑不动现象在 CartPole 上好好的换到 LunarLander 或自定义环境就崩。原因通常是观测维度、动作空间、奖励尺度变了但超参没变。解决先跑随机策略看环境本身是否正常再检查观测是否归一化奖励是否缩放。动作空间从离散变连续时DQN 不能直接用要换 DDPG、TD3 或 PPO。5. 进阶技巧用向量化环境和课程学习把训练速度提上来当你把单环境跑通后下一步瓶颈通常是训练太慢。向量化环境是最直接的加速手段用gym.vector.make或SubprocVecEnv同时跑多个环境实例采样效率能提升几倍。注意向量化环境返回的观测是 batch 维度网络输入要相应调整done 的处理也要按子环境分别屏蔽自举。from stable_baselines3.common.vec_env import SubprocVecEnv def make_env(rank): def _init(): env gym.make(CartPole-v1) env.reset(seed42 rank) return env return _init vec_env SubprocVecEnv([make_env(i) for i in range(8)]) obs vec_env.reset() # shape: (8, obs_dim)这段代码里SubprocVecEnv用子进程并行适合 CPU 密集型环境如果环境本身很轻用DummyVecEnv反而更快。seed要按 rank 错开否则多个环境会同步随机。观测的 batch 维度意味着你的策略网络要能处理批量输入更新时也要按 batch 算优势。另一个技巧是课程学习先让环境简单再逐步增加难度。比如机械臂抓取先固定物体位置再随机化导航任务先短距离再长距离。课程学习能显著提升稀疏奖励任务的成功率但课程推进太快会让策略遗忘建议用成功率作为推进条件而不是固定步数。最后说一个我自己的习惯每次改完超参先跑三个 seed看均值和方差不要只看一条曲线。强化学习的随机性很大单次结果说明不了问题。希望帮到你。本文还有配套的精品资源点击获取
深度强化学习实战：从DQN到PPO的算法选型与调参避坑指南
简介这份资源是《Deep-Reinforcement-Learning-Hands-On》配套的深度强化学习实践资料面向已具备机器学习基础、希望从理论走向代码落地的开发者与研究者帮助解决高维状态空间下传统Q表难以存储更新、算法实现细节模糊等痛点。压缩包为zip格式整体约32.83MB文件总数暂未提供明细内容围绕DQN、DDQN、A3C、DDPG、TD3、PPO、SAC等主流DRL算法的实现展开并涉及OpenAI Gym环境模拟与超参数调优。已有378人学习下载说明其在强化学习入门与进阶群体中具备一定参考价值。读者可借助代码理解经验回放、固定Q目标、双重Q学习、异步并行探索、确定性策略梯度及熵最大化探索等机制掌握从价值函数近似到策略优化的完整脉络为游戏控制、机器人控制、资源调度等复杂决策任务打下实践基础。1. 从一份 Deep Reinforcement Learning Hands-On 的目录说起为什么多数人卡在“能跑但不会改”如果你手里已经有一份 Deep-Reinforcement-Learning-Hands-On 的代码目录或者正准备照着它入门深度强化学习大概率会遇到同一个尴尬CartPole 能跑出曲线换到自己的环境就不知道从哪下手。这不是你笨而是这类 hands-on 项目天然把“算法实现”和“工程决策”揉在一起前者能抄后者抄不了。这份标题对应的内容本质是一套以 PyTorch 为主线、从交叉熵到 DQN、从策略梯度到分布式 A2C/PPO 的深度强化学习实操集合。它解决的不是“强化学习是什么”而是“给定一个环境我该选哪个算法、网络怎么搭、超参怎么设、训练不收敛时先看哪”。适合两类人一类是刚学完 Q-learning 和贝尔曼方程、想把它落到代码上的新手另一类是做过监督学习、想切到强化学习但被样本效率和奖励稀疏劝退的工程师。下面按“先立住理论、再动手复现、最后讲坑”的顺序拆开讲中间会穿插 deepreinforcement 这类关键词对应的常见实现套路。2. 先分清三类算法值函数、策略梯度、以及它们的混合体2.1 值函数方法DQN 及其变体到底在拟合什么值函数方法的核心是学一个 Q(s,a)然后用 argmax 选动作。DQN 用神经网络替代 Q 表靠经验回放打散样本相关性靠目标网络稳住自举目标。很多人第一次看 DQN 代码会觉得“不就是监督学习吗”确实像但区别在于标签是自己算出来的而且会随训练漂移。一个最小可跑的 DQN 结构通常包含三块在线网络、目标网络、回放缓冲区。在线网络每步更新目标网络每隔 N 步同步一次。回放缓冲区存 (s, a, r, s, done)采样时随机抽 batch。这里最容易翻车的是 done 的处理如果 s 是终止状态目标值只取 r不能加 gamma * max Q(s)否则会把终止后的“虚无”当成零奖励继续传播。import torch import torch.nn as nn import random from collections import deque class QNet(nn.Module): def __init__(self, obs_dim, act_dim): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, 128), nn.ReLU(), nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, act_dim) ) def forward(self, x): return self.net(x) class ReplayBuffer: def __init__(self, capacity100000): self.buf deque(maxlencapacity) def push(self, s, a, r, s_next, done): self.buf.append((s, a, r, s_next, done)) def sample(self, batch_size): batch random.sample(self.buf, batch_size) s, a, r, s_next, done zip(*batch) return (torch.tensor(s, dtypetorch.float32), torch.tensor(a, dtypetorch.long), torch.tensor(r, dtypetorch.float32), torch.tensor(s_next, dtypetorch.float32), torch.tensor(done, dtypetorch.float32)) def dqn_loss(q_net, target_net, batch, gamma0.99): s, a, r, s_next, done batch q_values q_net(s).gather(1, a.unsqueeze(1)).squeeze(1) with torch.no_grad(): next_q target_net(s_next).max(1)[0] # done1 时只保留即时奖励避免自举到终止后的状态 target r gamma * next_q * (1 - done) return nn.MSELoss()(q_values, target)上面这段代码里capacity决定回放池大小太小会导致样本重复、过拟合近期经验gamma是折扣因子0.99 适合回合较长的任务0.9 适合短回合。target_net的同步频率一般取 100 到 1000 步太频繁等于没有目标网络太慢会导致目标滞后。注意done必须是 float否则乘法会广播出错。2.2 策略梯度方法REINFORCE 到 PPO 的演进逻辑策略梯度直接参数化策略 π(a|s)用回报的梯度更新。REINFORCE 是最朴素的版本用整条轨迹的回报乘以 log 概率但方差极大。后面加基线、加优势函数、加重要性采样才有了 A2C、TRPO、PPO。PPO 之所以成为默认选择是因为它用裁剪把策略更新限制在一个信任域内既不像 TRPO 那样要算二阶又比 A2C 稳。PPO 的关键参数是 clip 系数通常 0.1 到 0.3。太小更新慢太大等于没裁剪。另一个关键是 GAE 的 lambda控制偏差和方差的权衡0.95 是常见起点。很多人 PPO 跑不起来不是算法错而是优势归一化和学习率没调好。优势归一化能显著稳住训练学习率 3e-4 是安全起点超过 1e-3 很容易崩。def ppo_loss(logp_new, logp_old, advantages, clip0.2): ratio torch.exp(logp_new - logp_old) surr1 ratio * advantages surr2 torch.clamp(ratio, 1 - clip, 1 clip) * advantages return -torch.min(surr1, surr2).mean()这段损失函数里logp_old是采样时的旧策略对数概率必须 detach否则梯度会回传到旧策略。advantages建议做标准化减均值除标准差。clip控制每次更新的幅度0.2 是论文默认值实际任务里 0.1 到 0.3 都有人用。2.3 混合与离线为什么 IQL 和基于模型的强化学习开始流行纯在线方法样本效率低于是有了离线强化学习和基于模型的强化学习。离线强化学习比如 IQL从固定数据集里学策略不与环境交互适合机器人、医疗这类采样昂贵的场景。基于模型的强化学习先学一个环境动力学模型再在模型里规划或训练策略样本效率高但模型误差会累积。这两类方法在 Deep-Reinforcement-Learning-Hands-On 这类项目里通常作为进阶章节出现入门阶段先把在线方法跑通再碰。选型上有个简单判断环境便宜、能无限采样用 PPO 或 DQN环境贵、只能离线数据看 IQL 或 CQL环境可微分、状态连续可以试基于模型的路径。不要一上来就追最新算法先把一个基线跑稳再谈改进。3. 把算法落到代码环境封装、训练循环与超参设置3.1 环境封装Gym 接口的五个必须实现点无论用 Gym 还是自定义环境接口必须一致reset 返回初始观测step 返回 (obs, reward, done, info)动作空间和观测空间要有明确的 shape 和 dtype。很多人自己写环境时忘了设 seed导致结果不可复现或者 done 和 truncated 不分导致自举目标算错。Gym 新版本把 terminated 和 truncated 分开terminated 表示真正终止truncated 表示时间上限截断后者仍然要自举。import gym env gym.make(CartPole-v1) obs, info env.reset(seed42) done False while not done: action env.action_space.sample() obs, reward, terminated, truncated, info env.step(action) done terminated or truncated # terminated 才需要屏蔽自举truncated 仍可自举这段代码里seed42保证可复现terminated和truncated分开处理是新手最容易忽略的点。如果你的算法在时间上限附近表现异常先检查这里。3.2 训练循环采样、更新、日志三件事的节奏一个稳定的训练循环应该把采样和更新分开采样多少步更新多少次要有比例。比如 PPO 常见做法是采 2048 步然后做 10 个 epoch 的小批量更新。DQN 则是每步都更新但用回放池打散。日志至少记录回合回报、回合长度、损失值、熵。熵是策略探索程度的指标熵骤降往往意味着策略过早收敛到次优。for episode in range(num_episodes): obs, _ env.reset() episode_reward 0 while True: action policy.act(obs) next_obs, reward, terminated, truncated, _ env.step(action) buffer.push(obs, action, reward, next_obs, terminated) obs next_obs episode_reward reward if len(buffer) batch_size: batch buffer.sample(batch_size) loss dqn_loss(q_net, target_net, batch) optimizer.zero_grad() loss.backward() optimizer.step() if terminated or truncated: break # 每回合结束记录回报观察趋势而不是单点 writer.add_scalar(reward, episode_reward, episode)这里batch_size一般 32 到 256太小梯度噪声大太大更新慢。target_net的同步可以放在 episode 循环里也可以按步数。日志用 TensorBoard 或 wandb 都行关键是看趋势不要因为某一回合高就以为调对了。3.3 超参设置学习率、折扣因子、熵系数的取值边界学习率是强化学习里最敏感的参数。DQN 常用 1e-4 到 1e-3PPO 常用 3e-4A2C 可以到 7e-4。折扣因子 gamma 在连续控制里常取 0.99在回合很短的任务里可以取 0.9。熵系数在 PPO 里常取 0.01用来维持探索太大策略会一直随机太小会过早收敛。参数常见范围作用调错的表现学习率1e-4 ~ 1e-3控制更新步长太大震荡太小不收敛gamma0.9 ~ 0.99折扣未来奖励太小短视太大方差高熵系数0.001 ~ 0.05维持探索太大不收敛太小早熟clip0.1 ~ 0.3PPO 更新幅度太大等于没裁太小更新慢batch size32 ~ 256梯度估计质量太小噪声大太大更新慢这张表不是让你照抄而是给你一个排查方向。训练不收敛时先固定其他参数只动学习率通常能解决一半问题。4. 避坑与排查训练不收敛时先看这五件事4.1 奖励曲线震荡不上升现象回报在某个值附近来回跳没有上升趋势。原因通常是学习率太大或者回放池太小导致样本相关性高。解决把学习率降一个数量级回放池至少存 10 万条目标网络同步频率调低。如果还不行检查奖励是否做了归一化奖励尺度差异大会让梯度不稳定。4.2 策略过早收敛到次优现象熵快速下降回报停在较低水平。原因通常是熵系数太小或者探索噪声衰减太快。解决把熵系数调大DQN 里用 epsilon-greedy 时让 epsilon 衰减更慢PPO 里可以加动作噪声。注意不要为了探索把熵系数调到 0.1 以上那样策略会一直随机。4.3 损失变成 NaN现象训练几步后损失变成 NaN。原因通常是梯度爆炸或者奖励里有 inf。解决加梯度裁剪torch.nn.utils.clip_grad_norm_(params, 0.5)检查环境奖励是否做了 clip。另外如果观测没归一化输入值过大会让网络输出爆炸建议对观测做 running mean/std 归一化。4.4 评估和训练表现差距大现象训练回报很高评估回报很低。原因通常是训练时用了探索噪声评估时没关或者环境有随机性评估次数太少。解决评估时把策略设为确定性模式多跑几个回合取平均。如果环境本身随机评估回合数至少 10 次以上。4.5 换环境后完全跑不动现象在 CartPole 上好好的换到 LunarLander 或自定义环境就崩。原因通常是观测维度、动作空间、奖励尺度变了但超参没变。解决先跑随机策略看环境本身是否正常再检查观测是否归一化奖励是否缩放。动作空间从离散变连续时DQN 不能直接用要换 DDPG、TD3 或 PPO。5. 进阶技巧用向量化环境和课程学习把训练速度提上来当你把单环境跑通后下一步瓶颈通常是训练太慢。向量化环境是最直接的加速手段用gym.vector.make或SubprocVecEnv同时跑多个环境实例采样效率能提升几倍。注意向量化环境返回的观测是 batch 维度网络输入要相应调整done 的处理也要按子环境分别屏蔽自举。from stable_baselines3.common.vec_env import SubprocVecEnv def make_env(rank): def _init(): env gym.make(CartPole-v1) env.reset(seed42 rank) return env return _init vec_env SubprocVecEnv([make_env(i) for i in range(8)]) obs vec_env.reset() # shape: (8, obs_dim)这段代码里SubprocVecEnv用子进程并行适合 CPU 密集型环境如果环境本身很轻用DummyVecEnv反而更快。seed要按 rank 错开否则多个环境会同步随机。观测的 batch 维度意味着你的策略网络要能处理批量输入更新时也要按 batch 算优势。另一个技巧是课程学习先让环境简单再逐步增加难度。比如机械臂抓取先固定物体位置再随机化导航任务先短距离再长距离。课程学习能显著提升稀疏奖励任务的成功率但课程推进太快会让策略遗忘建议用成功率作为推进条件而不是固定步数。最后说一个我自己的习惯每次改完超参先跑三个 seed看均值和方差不要只看一条曲线。强化学习的随机性很大单次结果说明不了问题。希望帮到你。本文还有配套的精品资源点击获取
