hindsight这个词丢给我我第一反应不是算法而是英文里那句老话hindsight is 20/20——事后诸葛亮谁都会当。但你要是混机器人或者强化学习这个圈子看到 hindsight 大概率会想到另一个东西Hindsight Experience Replay事后经验回放。这是 2017 年 NeurIPS 上的一篇经典论文全称直白到不像论文标题说的就是一件事智能体没达到既定目标时别把这条轨迹当垃圾扔了把它改写成另一个目标下的成功经验再丢回经验池里去学。这个思路正面解决了强化学习里最让人头疼的稀疏奖励问题机械臂在只有成功/失败两种反馈的情况下也能把推箱子、抓东西这类任务学会。我这一篇就围绕 hindsight 展开先把 HER 的机制一层层拆开再给一份能落地复现的重标注实现和超参配置最后把我实际跑的时候踩过的坑全部列出来。适合正在做目标条件强化学习、机器人策略学习的同学以及任何被稀疏奖励折磨过的 RL 从业者。1. 先说清楚稀疏奖励到底难在哪1.1 只有成功/失败两个信号的时候梯度是空的目标条件强化学习里最典型的一种设定是这样给智能体一个目标 g让它学一个策略 π(a|s, g)。每次交互结束环境只告诉你一个二值信号——距离目标小于某个阈值就算成功否则就是失败。听起来挺合理但实际训练的时候你会遇到一个非常尴尬的局面随机策略探索半天一次成功都没发生过。拿 OpenAI 的 FetchPush 任务举例。机器人要把桌面上的一个方块推到指定目标点。目标点不是固定位置而是每次 episode 随机生成的一个位置。假设方块初始位置和目标点都是连续坐标随机策略成功推到的概率低到可以忽略。于是训练日志里满屏都是 -1 的奖励critic 网络学出来的 Q 值几乎是一条水平线策略网络得不到任何有意义的梯度信号。说白了不是算法笨是反馈太稀疏整个学习过程根本没有正面例子可以参考。很多人第一反应是换成稠密奖励比如直接用当前方块离目标点还有多远当惩罚。这么做确实能学但稠密奖励有个天然问题你得手工设计距离函数任务一复杂这个函数容易把人带偏。HER 的价值在于不动任务原本的稀疏奖励设定照样能从失败里挖出学习信号。1.2 事后视角目标是可以换的关键转变在于一个非常朴素的观察一个 episode 结束之后虽然智能体没到它原本的目标但它确实到达了某些状态。比如说机器人原本想把方块推到左上角结果方块最后停在右下角。站在左上角这个目标看这是一次失败站在右下角这个目标看这就是一次成功而且是整条轨迹的完美成功。如果我们把这次经历改写成目标是右下角、然后成功到达的样本喂给算法算法就能从中学会原来从当前初始状态出发到右下角这个状态是可行的动作序列也知道了。一次失败轨迹就这样变成了一条宝贵的成功演示。这就是事后经验的含义——用事后视角重新解释过去把失败变成可学习的数据。这个思路听起来简单但它打破了强化学习里一个默认框架目标在 episode 开始时就固定死了整条轨迹都围绕这个目标展开。HER 说不目标只是环境对轨迹的一种标注而这个标注在数据层面可以被重新书写。1.3 这套思路的适用范围边界先别急着激动HER 不是万能药。它有个前提目标空间是已知的而且你得能对任意一个重标注出来的新目标快速计算奖励。也就是说目标和状态之间最好有明确度量比如欧氏距离奖励函数得便宜不能在重标注的时候再开一个仿真器去算。它也解决不了探索本身的冷启动问题。如果随机策略从头到尾都在原地打转连一个有区分度的状态都没到达过那重标注也无从谈起。HER 擅长的是我已经碰过一些边缘状态但很少能碰到最终目标这种情况——它把这少量的探索成果放大成密集的学习信号。理解了这条边界你就知道什么时候该用 HER什么时候该先去做探索增强。2. HER 核心机制目标重标注到底怎么运作2.1 四种重标注策略以及为什么 future 最常用HER 论文里给出了四种给轨迹重标注新目标的方式用哪个直接关系到训练效果。策略新目标来源特点与适用场景final整条轨迹最后一个状态最简单轨迹末尾状态通常比中间状态更接近原目标学习信号稳定future当前时刻之后随机挑一个时刻的状态用那个时刻实际到达的状态做目标在大多数任务上效果最好保留时序结构等于构造一个从易到难的小课程episode从整条轨迹任意时刻的状态里随机挑数据利用率高但可能引入与当前动作无关的目标噪声偏大random从不相关轨迹或随机状态里挑基本不用方差太大学出来策略很飘我在复现时默认就选 futureK 取 4这是论文和开源实现里用得最多的组合。为什么 future 好因为它照顾到了因果关系你在时刻 t 做的动作 a_t影响的是未来的状态用未来某时刻实际到达的状态当目标属于这个动作序列真的做到过的事情指向性很强。而 final 策略虽然也常用但如果轨迹很长、后半段状态漂移严重目标可能和前半段动作关系不大学起来会慢。2.2 重标注之后奖励必须重新算记住一个容易忽略的细节替换目标之后原来的奖励值已经失效了。你不能再把原来的 -1 或 0 直接贴到重标注样本上必须用新目标和下一个状态的实际到达位置重新计算奖励。伪代码逻辑是这样对一条长度为 T 的 episode先原样保留原始 transition然后对每一条 transition 再生成 K 条重标注版本每条的重标注目标是从未来时刻实际到达的状态里随机抽样得到的奖励按新目标重算。最终这个 episode 变成原来的 5 倍数据量写进经验池。这里有一个非常关键的小点重标注计算奖励时用的是下一状态的 achieved goal也就是 s_{t1} 里包含的实际到达位置而不是当前状态 s_t 的。否则学出来的是一个原地站着就成功了的幻觉样本。我自己第一次写代码时就犯过这个错后面会详细说。2.3 为什么必须配 off-policy 算法从 DDPG 说起HER 的另一个硬性要求是它必须在 off-policy 算法上使用。原因很直接——重标注产生的样本来自旧策略甚至旧策略的旧策略想让它们参与训练算法必须能够复用历史经验。Q-learning 这条路DQN、DDPG、TD3、SAC 这些天然支持经验回放往 buffer 里塞多少条带重标注的样本都行但 PPO、TRPO、A2C 这类 on-policy 方法不行它们要求样本来自当前策略直接把重标注样本塞进去策略梯度估计会产生严重偏差。论文里用的主力算法是 DDPG。你还需要注意一个配套概念UVFA通用价值函数近似器。简单说就是把 Q(s, a) 扩展成 Q(s, a, g)把目标作为网络的输入一起参与前向计算。这样同一个价值网络就能处理一大堆不同的目标而不是每个目标单独训一个网络。HER 重标注出来的目标是五花八门的UVFA 这种目标参数化思路是让它真正能落地的前提。2.4 有效的直觉解释隐式课程最后用一个直觉收尾。HER 训练出来的策略本质上是一个给我任何目标我都试着去够到它的通用策略。训练初期重标注出来的目标都是智能体实际到达过的状态这些状态通常离初始状态不远、比较容易够到随着训练推进策略能到达更远的地方重标注目标也跟着变远。这就在训练过程中自动形成了一条从易到难的课程而且每一步的课程内容都是智能体自己生成的。这就是为什么 HER 能在稀疏奖励下还保持稳定学习——不是奖励变密了是成功样本在重标注之后变密了价值函数终于有东西可学了。3. 直接可以抄作业的 HER 实现与配置3.1 环境与算法选型建议第一次复现就从 OpenAI 的 Fetch 系列环境入手尤其是 FetchPush 和 FetchPickAndPlace。这两个环境的目标空间就是三维坐标位置结构清晰奖励函数便宜适合验证 HER 管线。算法主线用 DDPG 或者 SAC 都比较稳。如果你想快速跑通stable-baselines3 自带 HerReplayBuffer配合 SAC 的 dict observation 可以直接用但为了真正理解原理建议至少自己实现一遍重标注逻辑。3.2 核心代码重标注这一小段下面是整个 HER 最核心的一段代码我把它从完整工程里抽出来单独展示。它做的事就是输入一条 episode输出一条被放大、带重标注版本的 transition 列表。import random def relabel_episode(episode, k4, threshold0.05): episode: list of transitions. 每个 transition 是 (s, a, r, s_next, done, g, achieved_next) 其中 achieved_next 是执行 a 之后、到达状态 s_next 里包含的实际目标坐标。 返回: 原始 transition k 条重标注 transition 组成的新列表。 T len(episode) new_transitions [] for t, (s, a, r, s_next, done, g, achieved_next) in enumerate(episode): # 1. 原始 transition 一定要保留 new_transitions.append((s, a, r, s_next, done, g)) # 2. 生成 k 条 future 策略的重标注样本 for _ in range(k): if t 1 T: future_idx random.randint(t 1, T - 1) # 新目标 未来某时刻实际到达的坐标 g_new episode[future_idx][-1] else: # 最后一条 transition 没有未来状态退化为目标就是刚到达的状态 g_new achieved_next # 3. 用新目标重算奖励下一状态实际到达位置是否接近新目标 dist euclidean_distance(achieved_next, g_new) r_new 0.0 if dist threshold else -1.0 new_transitions.append((s, a, r_new, s_next, done, g_new)) return new_transitions我把代码刻意做了简化但核心逻辑一个不少原始样本保留、future 抽样、新目标重算奖励、done 标志不动。实际工程里你还需要把 (s, g) 拼接成网络的观察输入achieved_next 通常来自环境返回的 info 字典这些都属于常规操作填进你的 DDPG/SAC 框架即可。3.3 关键超参为什么是这些值直接给一份经过验证的超参配置表来自论文和 OpenAI baselines 的常用设置超参数建议值选择逻辑折扣因子 gamma0.98Fetch 类任务 episode 长度只有 50不需要 0.99 那么长视距0.98 够用经验池容量1_000_000尽量大HER 会把数据量放大池子太小容易把重标注样本冲掉batch size256对 DDPG 来说是稳定和速度的平衡点actor / critic 学习率1e-3baselines 默认值复现首选别一上来就调tau软更新系数0.05论文原版就是 0.05跟着走重标注数量 K4复现首选K 太大策略会偏向容易目标重标注策略future综合效果最好成功阈值0.05环境中设定的距离阈值不要轻易缩小总训练步数200 万 ~ 300 万FetchPush 大约 150~200 万步明显收敛PickAndPlace 要更多这里面我特别想强调两点。gamma 别照搬 DQN 的 0.99Fetch 每一步奖励都可能是 -1、episode 只有 50 步0.99 和 0.98 差别不大但 0.98 对短 horizon 任务更贴合。另一个是 K4论文里就是 4意味着数据量变成 5 倍。你要是为了增加数据量把 K 调到 16训练反而会变差原因是重标注目标太过集中在容易到达的状态附近策略会变成只会往一个方向走的懒鬼。3.4 训练流程与评估口径整个训练循环大概是这样的先用随机策略或带噪声的策略跑满一个 episode把每一步的 (s, a, r, s_next, done, g, achieved_next) 都存下来episode 结束后调用 relabel_episode把放大后的样本写进全局经验池然后从池子里采样 batch按 DDPG/SAC 的更新公式更新 actor 和 critic循环往复。评估的时候有一个重要口径重标注的目标只用于训练评估时必须用真实的目标也就是环境给你设定的那个目标 g。我建议每 10 万步拿固定的 10~50 个初始状态-目标组合去测成功率而不是在训练过程里看平均奖励。因为训练过程中 agent 在跟重标注出来的目标打交道平均奖励只能反映它多擅长到达自己经历过的地方不能反映它真正完成了多少原始任务。两个指标混在一起看特别容易自我欺骗。4. 实战复盘复现和改造 HER 踩过的坑4.1 高频问题速查表我把实际跑训练时最常遇到的问题整理成一张表每一条都对应着实际踩过的情况现象可能原因排查与解决训练很久 success rate 始终为 0成功阈值过严、观测没归一化、随机探索覆盖不到目标先跑 FetchReach 验证管线检查阈值是否 0.05对观测做归一化换到 PPO 加 HER 完全学不动on-policy 算法不能直接复用重标注样本换 DDPG / SAC / TD3 / Q-learning 系K 调大后策略退化只往一个方向走重标注目标全挤在易到达区域把 K 调回 4~8保证原始 transition 一定保留训练曲线剧烈震荡种子差异、并行环境太少、critic 学习率过高多跑几个 seed 取中位数用 8~16 个并行环境lr 先固定 1e-3评估成功率不错但实际部署失败评估时用了训练时见过的同分布初始-目标组合更换初始状态、目标分布重新采样检查策略对分布外目标的泛化成功后又掉下来遗忘经验池被新数据冲掉或 buffer 里原始目标样本占比下降加大 buffer 容量降低 K对原始目标样本做重要性保护4.2 两个印象最深的翻车现场第一个翻车是奖励阈值。我一开始为了追求高精度把 FetchPush 的成功阈值从环境默认的 0.05 改成 0.01。结果 HER 完全学不动80 万步了成功率还是零。排查后发现不是算法问题是阈值定得比策略能达到的精度还高智能体偶尔接近目标也拿不到正反馈重标注出来的成功也全变成失败。把阈值改回 0.05 之后训练立刻走上正轨。教训是HER 只能放大已有的学习信号不能创造超出物理控制精度的信号阈值必须和任务的物理可达到精度对齐。第二个翻车是我自作聪明给 HER 加数据增强把 K 调到 16还把原始 transition 丢了。结果策略崩溃式退化训练日志里所有重标注目标都聚集在初始状态附近因为那些目标最容易到达价值函数只学会了给近处目标高价值远处原始目标反而被忽略。后来我恢复原始 transition 保留、K 拉回 4问题立刻消失。这事给我的印象特别深重标注的本质是补充样本不是替代原始样本丢了原始目标信息等于把任务本身给忘了。4.3 改造 HER 的几条实用建议如果你要把 HER 用到自己的任务上给你三条基于实操的建议。第一一定要把平均距离这类稠密指标作为训练过程的辅助监控。虽然训练时用的是稀疏奖励但每次评估顺手算一下实际到达位置和真实目标之间的平均欧氏距离你能得到一条比成功率平滑得多的诊断曲线。成功率一直零不代表没在学距离在下降就是好消息。第二重标注目标的空间范围要精心设计。目标空间太窄生成的重标注目标多样性不够太宽策略网络要拟合的函数太复杂。最好的做法是让重标注目标服从实际状态分布而不是均匀采样整个空间——这也是为什么 future 策略比 random 策略好用的深层原因。第三HER 可以和稠密奖励做混搭。比如训练初期用一点点稠密 reward shaping 把探索引导到目标区域附近等 agent 能稳定碰到目标附近后再切回纯稀疏。这个做法在不少机器人任务上比单独用 HER 收敛得快代价是多调一个 shaping 系数适合你把纯 HER 跑通之后再优化。5. hindsight 思想的延展与边界5.1 从 HER 到自生成指令HER 的影响远远超出给机器人任务加数据这个层面。它实际上确立了一个范式在目标条件学习里数据本身可以被重新解释目标不是固定不变的标签。随后几年出现的一批方法都沿着这个思路在做。像 GCSLGoal-Conditioned Supervised Learning就是把 HER 的 relabel 思想简化成监督学习用重标注后的当前状态到未来状态作为监督信号来学目标条件策略。在语言条件机器人学习里也有 Hindsight Instruction Relabeling 这类做法一条没按人类指令执行的轨迹可以重新标注成它实际完成的动作对应的指令用来扩充训练数据。本质上都是用事后视角给数据换一种解读让原本没有正反馈的数据变成正反馈。5.2 别忘了 HER 的两条边界第一奖励函数必须能对新目标即时重算。如果你的目标空间是高维图像或者奖励计算需要开仿真器重标注的成本会高到不划算。第二探索冷启动问题依然存在。HER 是放大器不是探照灯——它能把少量探索成果放大但不能凭空让 agent 探索它从未触碰过的状态空间。所以如果你发现随机策略连靠近目标区域都做不到先解决探索再谈重标注。我自己实际用下来的体会是HER 最舒服的用法是把它当成目标条件 RL 管线里的标配底座而不是什么银弹。先跑通稀疏奖励基线再在它上面叠加探索增强和课程学习。留一个小技巧调试 HER 的时候如果训练曲线长期不动先别折腾网络结构把成功阈值、K 值和 future 抽样这几个数据层面的旋钮逐个试一遍往往比调学习率管用。hindsight 这个想法教会我一件事——数据标注不是不可变的任务学不动的时候先别急着改奖励函数回头看看数据本身是不是还有另一种解读方式。
HER事后经验回放：用目标重标注破解强化学习稀疏奖励难题
hindsight这个词丢给我我第一反应不是算法而是英文里那句老话hindsight is 20/20——事后诸葛亮谁都会当。但你要是混机器人或者强化学习这个圈子看到 hindsight 大概率会想到另一个东西Hindsight Experience Replay事后经验回放。这是 2017 年 NeurIPS 上的一篇经典论文全称直白到不像论文标题说的就是一件事智能体没达到既定目标时别把这条轨迹当垃圾扔了把它改写成另一个目标下的成功经验再丢回经验池里去学。这个思路正面解决了强化学习里最让人头疼的稀疏奖励问题机械臂在只有成功/失败两种反馈的情况下也能把推箱子、抓东西这类任务学会。我这一篇就围绕 hindsight 展开先把 HER 的机制一层层拆开再给一份能落地复现的重标注实现和超参配置最后把我实际跑的时候踩过的坑全部列出来。适合正在做目标条件强化学习、机器人策略学习的同学以及任何被稀疏奖励折磨过的 RL 从业者。1. 先说清楚稀疏奖励到底难在哪1.1 只有成功/失败两个信号的时候梯度是空的目标条件强化学习里最典型的一种设定是这样给智能体一个目标 g让它学一个策略 π(a|s, g)。每次交互结束环境只告诉你一个二值信号——距离目标小于某个阈值就算成功否则就是失败。听起来挺合理但实际训练的时候你会遇到一个非常尴尬的局面随机策略探索半天一次成功都没发生过。拿 OpenAI 的 FetchPush 任务举例。机器人要把桌面上的一个方块推到指定目标点。目标点不是固定位置而是每次 episode 随机生成的一个位置。假设方块初始位置和目标点都是连续坐标随机策略成功推到的概率低到可以忽略。于是训练日志里满屏都是 -1 的奖励critic 网络学出来的 Q 值几乎是一条水平线策略网络得不到任何有意义的梯度信号。说白了不是算法笨是反馈太稀疏整个学习过程根本没有正面例子可以参考。很多人第一反应是换成稠密奖励比如直接用当前方块离目标点还有多远当惩罚。这么做确实能学但稠密奖励有个天然问题你得手工设计距离函数任务一复杂这个函数容易把人带偏。HER 的价值在于不动任务原本的稀疏奖励设定照样能从失败里挖出学习信号。1.2 事后视角目标是可以换的关键转变在于一个非常朴素的观察一个 episode 结束之后虽然智能体没到它原本的目标但它确实到达了某些状态。比如说机器人原本想把方块推到左上角结果方块最后停在右下角。站在左上角这个目标看这是一次失败站在右下角这个目标看这就是一次成功而且是整条轨迹的完美成功。如果我们把这次经历改写成目标是右下角、然后成功到达的样本喂给算法算法就能从中学会原来从当前初始状态出发到右下角这个状态是可行的动作序列也知道了。一次失败轨迹就这样变成了一条宝贵的成功演示。这就是事后经验的含义——用事后视角重新解释过去把失败变成可学习的数据。这个思路听起来简单但它打破了强化学习里一个默认框架目标在 episode 开始时就固定死了整条轨迹都围绕这个目标展开。HER 说不目标只是环境对轨迹的一种标注而这个标注在数据层面可以被重新书写。1.3 这套思路的适用范围边界先别急着激动HER 不是万能药。它有个前提目标空间是已知的而且你得能对任意一个重标注出来的新目标快速计算奖励。也就是说目标和状态之间最好有明确度量比如欧氏距离奖励函数得便宜不能在重标注的时候再开一个仿真器去算。它也解决不了探索本身的冷启动问题。如果随机策略从头到尾都在原地打转连一个有区分度的状态都没到达过那重标注也无从谈起。HER 擅长的是我已经碰过一些边缘状态但很少能碰到最终目标这种情况——它把这少量的探索成果放大成密集的学习信号。理解了这条边界你就知道什么时候该用 HER什么时候该先去做探索增强。2. HER 核心机制目标重标注到底怎么运作2.1 四种重标注策略以及为什么 future 最常用HER 论文里给出了四种给轨迹重标注新目标的方式用哪个直接关系到训练效果。策略新目标来源特点与适用场景final整条轨迹最后一个状态最简单轨迹末尾状态通常比中间状态更接近原目标学习信号稳定future当前时刻之后随机挑一个时刻的状态用那个时刻实际到达的状态做目标在大多数任务上效果最好保留时序结构等于构造一个从易到难的小课程episode从整条轨迹任意时刻的状态里随机挑数据利用率高但可能引入与当前动作无关的目标噪声偏大random从不相关轨迹或随机状态里挑基本不用方差太大学出来策略很飘我在复现时默认就选 futureK 取 4这是论文和开源实现里用得最多的组合。为什么 future 好因为它照顾到了因果关系你在时刻 t 做的动作 a_t影响的是未来的状态用未来某时刻实际到达的状态当目标属于这个动作序列真的做到过的事情指向性很强。而 final 策略虽然也常用但如果轨迹很长、后半段状态漂移严重目标可能和前半段动作关系不大学起来会慢。2.2 重标注之后奖励必须重新算记住一个容易忽略的细节替换目标之后原来的奖励值已经失效了。你不能再把原来的 -1 或 0 直接贴到重标注样本上必须用新目标和下一个状态的实际到达位置重新计算奖励。伪代码逻辑是这样对一条长度为 T 的 episode先原样保留原始 transition然后对每一条 transition 再生成 K 条重标注版本每条的重标注目标是从未来时刻实际到达的状态里随机抽样得到的奖励按新目标重算。最终这个 episode 变成原来的 5 倍数据量写进经验池。这里有一个非常关键的小点重标注计算奖励时用的是下一状态的 achieved goal也就是 s_{t1} 里包含的实际到达位置而不是当前状态 s_t 的。否则学出来的是一个原地站着就成功了的幻觉样本。我自己第一次写代码时就犯过这个错后面会详细说。2.3 为什么必须配 off-policy 算法从 DDPG 说起HER 的另一个硬性要求是它必须在 off-policy 算法上使用。原因很直接——重标注产生的样本来自旧策略甚至旧策略的旧策略想让它们参与训练算法必须能够复用历史经验。Q-learning 这条路DQN、DDPG、TD3、SAC 这些天然支持经验回放往 buffer 里塞多少条带重标注的样本都行但 PPO、TRPO、A2C 这类 on-policy 方法不行它们要求样本来自当前策略直接把重标注样本塞进去策略梯度估计会产生严重偏差。论文里用的主力算法是 DDPG。你还需要注意一个配套概念UVFA通用价值函数近似器。简单说就是把 Q(s, a) 扩展成 Q(s, a, g)把目标作为网络的输入一起参与前向计算。这样同一个价值网络就能处理一大堆不同的目标而不是每个目标单独训一个网络。HER 重标注出来的目标是五花八门的UVFA 这种目标参数化思路是让它真正能落地的前提。2.4 有效的直觉解释隐式课程最后用一个直觉收尾。HER 训练出来的策略本质上是一个给我任何目标我都试着去够到它的通用策略。训练初期重标注出来的目标都是智能体实际到达过的状态这些状态通常离初始状态不远、比较容易够到随着训练推进策略能到达更远的地方重标注目标也跟着变远。这就在训练过程中自动形成了一条从易到难的课程而且每一步的课程内容都是智能体自己生成的。这就是为什么 HER 能在稀疏奖励下还保持稳定学习——不是奖励变密了是成功样本在重标注之后变密了价值函数终于有东西可学了。3. 直接可以抄作业的 HER 实现与配置3.1 环境与算法选型建议第一次复现就从 OpenAI 的 Fetch 系列环境入手尤其是 FetchPush 和 FetchPickAndPlace。这两个环境的目标空间就是三维坐标位置结构清晰奖励函数便宜适合验证 HER 管线。算法主线用 DDPG 或者 SAC 都比较稳。如果你想快速跑通stable-baselines3 自带 HerReplayBuffer配合 SAC 的 dict observation 可以直接用但为了真正理解原理建议至少自己实现一遍重标注逻辑。3.2 核心代码重标注这一小段下面是整个 HER 最核心的一段代码我把它从完整工程里抽出来单独展示。它做的事就是输入一条 episode输出一条被放大、带重标注版本的 transition 列表。import random def relabel_episode(episode, k4, threshold0.05): episode: list of transitions. 每个 transition 是 (s, a, r, s_next, done, g, achieved_next) 其中 achieved_next 是执行 a 之后、到达状态 s_next 里包含的实际目标坐标。 返回: 原始 transition k 条重标注 transition 组成的新列表。 T len(episode) new_transitions [] for t, (s, a, r, s_next, done, g, achieved_next) in enumerate(episode): # 1. 原始 transition 一定要保留 new_transitions.append((s, a, r, s_next, done, g)) # 2. 生成 k 条 future 策略的重标注样本 for _ in range(k): if t 1 T: future_idx random.randint(t 1, T - 1) # 新目标 未来某时刻实际到达的坐标 g_new episode[future_idx][-1] else: # 最后一条 transition 没有未来状态退化为目标就是刚到达的状态 g_new achieved_next # 3. 用新目标重算奖励下一状态实际到达位置是否接近新目标 dist euclidean_distance(achieved_next, g_new) r_new 0.0 if dist threshold else -1.0 new_transitions.append((s, a, r_new, s_next, done, g_new)) return new_transitions我把代码刻意做了简化但核心逻辑一个不少原始样本保留、future 抽样、新目标重算奖励、done 标志不动。实际工程里你还需要把 (s, g) 拼接成网络的观察输入achieved_next 通常来自环境返回的 info 字典这些都属于常规操作填进你的 DDPG/SAC 框架即可。3.3 关键超参为什么是这些值直接给一份经过验证的超参配置表来自论文和 OpenAI baselines 的常用设置超参数建议值选择逻辑折扣因子 gamma0.98Fetch 类任务 episode 长度只有 50不需要 0.99 那么长视距0.98 够用经验池容量1_000_000尽量大HER 会把数据量放大池子太小容易把重标注样本冲掉batch size256对 DDPG 来说是稳定和速度的平衡点actor / critic 学习率1e-3baselines 默认值复现首选别一上来就调tau软更新系数0.05论文原版就是 0.05跟着走重标注数量 K4复现首选K 太大策略会偏向容易目标重标注策略future综合效果最好成功阈值0.05环境中设定的距离阈值不要轻易缩小总训练步数200 万 ~ 300 万FetchPush 大约 150~200 万步明显收敛PickAndPlace 要更多这里面我特别想强调两点。gamma 别照搬 DQN 的 0.99Fetch 每一步奖励都可能是 -1、episode 只有 50 步0.99 和 0.98 差别不大但 0.98 对短 horizon 任务更贴合。另一个是 K4论文里就是 4意味着数据量变成 5 倍。你要是为了增加数据量把 K 调到 16训练反而会变差原因是重标注目标太过集中在容易到达的状态附近策略会变成只会往一个方向走的懒鬼。3.4 训练流程与评估口径整个训练循环大概是这样的先用随机策略或带噪声的策略跑满一个 episode把每一步的 (s, a, r, s_next, done, g, achieved_next) 都存下来episode 结束后调用 relabel_episode把放大后的样本写进全局经验池然后从池子里采样 batch按 DDPG/SAC 的更新公式更新 actor 和 critic循环往复。评估的时候有一个重要口径重标注的目标只用于训练评估时必须用真实的目标也就是环境给你设定的那个目标 g。我建议每 10 万步拿固定的 10~50 个初始状态-目标组合去测成功率而不是在训练过程里看平均奖励。因为训练过程中 agent 在跟重标注出来的目标打交道平均奖励只能反映它多擅长到达自己经历过的地方不能反映它真正完成了多少原始任务。两个指标混在一起看特别容易自我欺骗。4. 实战复盘复现和改造 HER 踩过的坑4.1 高频问题速查表我把实际跑训练时最常遇到的问题整理成一张表每一条都对应着实际踩过的情况现象可能原因排查与解决训练很久 success rate 始终为 0成功阈值过严、观测没归一化、随机探索覆盖不到目标先跑 FetchReach 验证管线检查阈值是否 0.05对观测做归一化换到 PPO 加 HER 完全学不动on-policy 算法不能直接复用重标注样本换 DDPG / SAC / TD3 / Q-learning 系K 调大后策略退化只往一个方向走重标注目标全挤在易到达区域把 K 调回 4~8保证原始 transition 一定保留训练曲线剧烈震荡种子差异、并行环境太少、critic 学习率过高多跑几个 seed 取中位数用 8~16 个并行环境lr 先固定 1e-3评估成功率不错但实际部署失败评估时用了训练时见过的同分布初始-目标组合更换初始状态、目标分布重新采样检查策略对分布外目标的泛化成功后又掉下来遗忘经验池被新数据冲掉或 buffer 里原始目标样本占比下降加大 buffer 容量降低 K对原始目标样本做重要性保护4.2 两个印象最深的翻车现场第一个翻车是奖励阈值。我一开始为了追求高精度把 FetchPush 的成功阈值从环境默认的 0.05 改成 0.01。结果 HER 完全学不动80 万步了成功率还是零。排查后发现不是算法问题是阈值定得比策略能达到的精度还高智能体偶尔接近目标也拿不到正反馈重标注出来的成功也全变成失败。把阈值改回 0.05 之后训练立刻走上正轨。教训是HER 只能放大已有的学习信号不能创造超出物理控制精度的信号阈值必须和任务的物理可达到精度对齐。第二个翻车是我自作聪明给 HER 加数据增强把 K 调到 16还把原始 transition 丢了。结果策略崩溃式退化训练日志里所有重标注目标都聚集在初始状态附近因为那些目标最容易到达价值函数只学会了给近处目标高价值远处原始目标反而被忽略。后来我恢复原始 transition 保留、K 拉回 4问题立刻消失。这事给我的印象特别深重标注的本质是补充样本不是替代原始样本丢了原始目标信息等于把任务本身给忘了。4.3 改造 HER 的几条实用建议如果你要把 HER 用到自己的任务上给你三条基于实操的建议。第一一定要把平均距离这类稠密指标作为训练过程的辅助监控。虽然训练时用的是稀疏奖励但每次评估顺手算一下实际到达位置和真实目标之间的平均欧氏距离你能得到一条比成功率平滑得多的诊断曲线。成功率一直零不代表没在学距离在下降就是好消息。第二重标注目标的空间范围要精心设计。目标空间太窄生成的重标注目标多样性不够太宽策略网络要拟合的函数太复杂。最好的做法是让重标注目标服从实际状态分布而不是均匀采样整个空间——这也是为什么 future 策略比 random 策略好用的深层原因。第三HER 可以和稠密奖励做混搭。比如训练初期用一点点稠密 reward shaping 把探索引导到目标区域附近等 agent 能稳定碰到目标附近后再切回纯稀疏。这个做法在不少机器人任务上比单独用 HER 收敛得快代价是多调一个 shaping 系数适合你把纯 HER 跑通之后再优化。5. hindsight 思想的延展与边界5.1 从 HER 到自生成指令HER 的影响远远超出给机器人任务加数据这个层面。它实际上确立了一个范式在目标条件学习里数据本身可以被重新解释目标不是固定不变的标签。随后几年出现的一批方法都沿着这个思路在做。像 GCSLGoal-Conditioned Supervised Learning就是把 HER 的 relabel 思想简化成监督学习用重标注后的当前状态到未来状态作为监督信号来学目标条件策略。在语言条件机器人学习里也有 Hindsight Instruction Relabeling 这类做法一条没按人类指令执行的轨迹可以重新标注成它实际完成的动作对应的指令用来扩充训练数据。本质上都是用事后视角给数据换一种解读让原本没有正反馈的数据变成正反馈。5.2 别忘了 HER 的两条边界第一奖励函数必须能对新目标即时重算。如果你的目标空间是高维图像或者奖励计算需要开仿真器重标注的成本会高到不划算。第二探索冷启动问题依然存在。HER 是放大器不是探照灯——它能把少量探索成果放大但不能凭空让 agent 探索它从未触碰过的状态空间。所以如果你发现随机策略连靠近目标区域都做不到先解决探索再谈重标注。我自己实际用下来的体会是HER 最舒服的用法是把它当成目标条件 RL 管线里的标配底座而不是什么银弹。先跑通稀疏奖励基线再在它上面叠加探索增强和课程学习。留一个小技巧调试 HER 的时候如果训练曲线长期不动先别折腾网络结构把成功阈值、K 值和 future 抽样这几个数据层面的旋钮逐个试一遍往往比调学习率管用。hindsight 这个想法教会我一件事——数据标注不是不可变的任务学不动的时候先别急着改奖励函数回头看看数据本身是不是还有另一种解读方式。
