如果你在算法仓库里翻到 hindsight 这个单词大概率会撞上 2017 年 OpenAI 那篇《Hindsight Experience Replay》——但如果你把它当成普通英文词它只是“后见之明”。我最初认真研究这个项目是因为一次让人想摔键盘的实验机械臂抓取训练跑了一百万步成功率是零可回放数据里明明有大量让 agent 离物体越来越近的轨迹这些经验全被稀疏奖励判成了废品。这篇文章会把我对 HER 的理解拆开讲——它怎么用“事后完成的目标”给失败样本续命、参数怎么设、事故发生现场长什么样最后还会聊一点把 hindsight 思维用在复盘工作里的心得。适合被稀疏奖励折磨的强化学习新手也适合想把“复盘”做出新意的朋友。1. hindsight 究竟指什么从英文热词到 Hindsight Experience Replay1.1 被“事后聪明”耽误的真实身份hindsight 直译成“后见之明”在心理学里更常叫“事后聪明偏向”说的是事情结束后人总觉得“我早就知道会这样”。这个语义放到强化学习里反而变成一种补救措施一个 episode 跑完了哪怕原始目标没达成你也知道它最终达成了什么。把这个“最终达成的状态”重新当成目标就能从失败中生成可学习的经验。2017 年 OpenAI 的研究者把它写成了 Hindsight Experience Replay也就是我们常说的 HER。为什么说它被“事后聪明”耽误了因为很多初学者看到这个名字以为是个复盘概念或心理学项目直接跳过。实际上它是 goal-conditioned reinforcement learning 里非常实用的一种样本效率优化手段。我见过不少人在解决机器人抓取、目标导航问题时不知道这个算法白白多跑几十万步。甚至有朋友在看到结果后问我是不是用了什么神级网络结构。其实不是HER 只是往经验回放里加了一点“事后修改目标”的魔法。1.2 稀疏奖励HER 要解决的那个麻烦要理解 HER 的价值先看一个最普通的 RL 训练场景机械臂的稀疏奖励抓取任务。每步只判断“物体到达目标位置了吗”没有就奖励 0到达了奖励 1。这样的环境下随机探索走一百步大概率一步奖励都没有。模型拿不到梯度信号只能像没头苍蝇一样更新成功率长期趴在地板上。传统思路是加 reward shaping用距离信息引导运动。但 shaping 设计起来极其看手感给大了agent 会钻奖励漏洞给小了引导基本无效。curiosity、多智能体课程学习这些手段也能用但都增加了额外复杂度。HER 的思路完全不同它不修改奖励函数而是修改经验回放里的“目标”。让 agent 从已经做过的事情学起而不是强求它凭空做到还没做过的事。这个思路说穿了就是既然任务目标是让物体到 A 点但这次 agent 把物体推到了 B 点那么 A 点没做成我们就先学怎么稳定地推到 B 点。B 点在轨迹里已经真实出现过是有据可查的“已达成目标”。把目标临时改成 B 点这条轨迹立刻变成正样本。之后再从 B 点附近尝试去 A 点就有了渐进学习的可能。2. HER 核心原理如何把失败样本重新标注成训练资源2.1 一次失败轨迹的目标重标注到底重标了什么假设一个 episode 长度为 T每一步观测里都有两个关键字段desired_goal 是 agent 想去的目标位置achieved_goal 是它当前实际到达的位置。机械臂推球任务里achieved_goal 就是球在桌面上的坐标。原始经验存进 buffer 时形式是 (s, a, r, s, desired_goal, done)其中 reward 只在 desired_goal 被达到时非零。HER 要做的事情是在 episode 结束之后再创造若干个“篡改版”经验。具体过程取轨迹中任意一步的 achieved_goal把它当作新的 desired_goal然后重新计算这一步以及它之前每一步的奖励和 done 信号。举个例子agent 本来目标是 (1.2, 0.5)结果球最终停在 (0.6, 0.9)。我们用 (0.6, 0.9) 重写目标那么轨迹中最后一次到达这个位置的那一步会被标记为成功它前面的过渡步骤也有了对应的渐近奖励。这些“篡改版”经验会和原始经验一起放入回放池。网络可以同时从“目标完成的成功路径”和“目标未完成的真实轨迹”中学习。你会发现原本全部是零奖励的 buffer变得有一定比例的正样本。这种比例哪怕只有 5%也能给策略一个明确的前进方向。注意重标注后并不是覆盖原经验而是追加。原始失败轨迹仍然保留目的是不让 agent 忘记真实的最终任务。如果只保留重标经验agent 会满足于学习各种已经达成的状态而忽略原始目标空间的分布。这个细节我在初期实现时漏掉过结果训练是“稳定地学偏”而不是“稳定地进步”。2.2 final、future、random 三种目标采样策略怎么选HER 论文里讨论了三种目标重标注策略。final 最简单整个 episode 跑完后只用最后一个 achieved_goal 作为新目标。适合轨迹比较短的场景但问题也很明显只给一个目标样本多样性较差。如果 episode 长度是 500 步大量中间状态都被浪费了。future 策略是在每个 transition 之后的时间步里随机选一个 achieved_goal 作为新目标。这是论文里效果最好、也是我默认使用的策略。它既有不同时间尺度的可达目标又不会引入“当前轨迹之外”的状态保证了目标与状态的相关性。论文里每个 transition 通常会额外采样 k 个 future 目标k 常见取 4。random 策略则从整个 replay buffer 中随机抽取一个已访问状态作为目标。它覆盖范围最广但可能产生一个当前轨迹和这个目标之间毫无关系的情况增加学习难度。实践下来我一般只在没有明显 temporal 结构的环境里尝试 random。三种策略的差异我用下面这个表来归纳策略目标来源多样性收敛速度经验适用场景final当前 episode 最终状态低慢短轨迹、简单任务future当前 episode 后续状态中快长轨迹、多阶段任务最常用random整个 buffer 中的状态高不稳定状态复用关系复杂时我自己的经验是future 配合 k4 是通用基线千万别一上来用 random。random 会让重标目标的空间膨胀得太快尤其是在连续控制任务里很多随机目标根本没法和当前轨迹的动作产生因果联系反而把价值函数搅成一团浆糊。2.3 一段 20 行的 HER 插入伪代码为了把机制说透我用伪代码展示最核心的部分。完整代码通常封装成 episode 结束后的回调函数。真正跑实验时你在每个 episode 完成后调用即可def her_repurpose(episode, strategyfuture, k4): for t, transition in enumerate(episode): # 原始经验一条都不能少 replay_buffer.add(transition) # 对每个 transition 额外生成 k 个重标目标 for _ in range(k): if strategy future: # 从 t1 到 T 之间随机找一个时刻 idx rng.randint(t 1, len(episode)) new_goal episode[idx].achieved_goal elif strategy final: new_goal episode[-1].achieved_goal else: new_goal replay_buffer.random_achieved_goal() # 用新目标重新计算 reward 和 done new_reward 1.0 if is_goal_reached( transition.achieved_goal, new_goal, threshold) else 0.0 done bool(new_reward) replay_buffer.add( transition.state, transition.action, new_reward, transition.next_state, new_goal, done, )这段代码的核心改动只有三块选新目标、按新目标算 reward、把 done 置为是否成功。剩下的更新流程和普通 off-policy RL 完全一样。因此 HER 不是一个全新的算法体系而是经验回放层面的一种数据增强手段可以叠加在 DDPG、TD3、SAC、TQC 这类 off-policy 模型上使用。3. 从零跑通 HER 训练关键参数和实操记录3.1 环境选择不是所有 RL 环境都支持 HER并不是把 HER 往任意 RL 环境里一插就有效。要满足一个前提观测中存在可以拆出来的 achieved_goal 和 desired_goal。传统 CartPole、HalfCheetah 没有目标定义HER 无从下手而 FetchReach、FetchPush、FetchPickAndPlace、FetchSlide 这类环境天然就是 goal-conditionedobservation 里有 desired_goal 和 achieved_goal 字段拿来做实验很顺手。如果你想快速复现建议从 FetchReach 开始。这个任务只有手臂移动几何意义清晰算是非常简单的目标到达任务。先把 HER 在同环境里跑通再换 FetchPush 这种带物体交互的任务。也可以自建 PyBullet 环境但那就得多写两步从观测中抽取 achieved_goal、写目标是否达成判定函数。环境越复杂HER 出现 bug 的概率越高。我当时的实验环境就是 FetchReach 加一个 DDPG 变体observation 是 25 维向量其中 desired_goal 和 achieved_goal 各占 3 维。确认环境支持后HER 的改动就只集中在 replay buffer。你可以把“环境是否支持目标抽取”当作准入条件不符合这个条件的任务不如先把功夫花在奖励设计上。3.2 参数配置n_sampled_goal、buffer_size、batch_size 如何影响收敛下面这组参数是我在 Gymnasium Robotics 加 PyTorch 实现里实测起来比较稳的起始配置参数推荐值说明n_sampled_goal4每个 transition 额外采 4 个 future 目标buffer_size1e6保证重标目标和原目标都有足够覆盖batch_size256太小时梯度抖动明显gamma0.95目标判断是近程的折扣系数不用太大actor_criticTQC / SAC连续控制场景下比 DDPG 更稳n_sampled_goal 是最直观的超参数。调大它buffer 中重标经验比例变高训练早期成功率上升会更快但也会稀释原始目标导致最终成功率上不去。调小了算法退化成普通 off-policy RL稀疏奖励的困境又回来了。4 是论文和多数开源实现验证过的数值你先固定它再考虑其他参数。buffer_size 要足够大。HER 的核心价值来自大量覆盖不同目标的失败轨迹如果 buffer 太短重标目标只会来自最近几集分布不够多样。我踩过一个坑用默认的 1e5 跑 FetchPush跑出来成功率不仅不升还来回震荡。后来查了代码才发现buffer 里根本存不下足够数量的失败样本老样本被新样本不断冲掉重标目标的空间一直没铺开。batch_size 也值得留意。稀疏奖励下的重标样本本身噪声偏大batch 太小会导致梯度剧烈抖动。我实测 256 比 128 稳非常多。如果你显存或内存不是瓶颈可以直接上 256。另一个容易被忽略的是策略更新频率。HER 增加了 replay buffer 中正样本的密度如果沿用默认的更新频率经验池会被高质量样本快速填充模型更新强度也要匹配得上。我在实验里把 actor 更新频率降为每 8 步更新一次稳定度反而更好。这个数值不是固定的但“更新强度匹配数据密度”这个原则是通用的。3.3 训练节奏成功率曲线才是硬指标HER 训练过程中不需要紧盯着 reward loss因为稀疏奖励下 loss 很难说明问题。我的建议是每训练 5000 步就跑 100 个 episode 的固定评估 rollout记录成功率。FetchReach 在正确配置下大概 5 万步就能见到成功率明显上升FetchPush 则需要几十万步。我自己训练 FetchPush 时成功率曲线并不是平滑上升的——前 10 万步几乎为 020 万步突然跳到 0.25之后又回落到 0.1最后慢慢爬到 0.6。这种尖刺型曲线很常见。原因是重标目标让网络先学会了几个局部技能比如把球推到某个角落然后再泛化到全桌面。千万别因为前几万步没有动静就放弃先看看 buffer 里有没有一定比例的重标正样本。训练脚本里我会每 10000 步保存一次 checkpoint并用“最高评估成功率”覆盖 best_model.pt。一次训练下来除了模型我还会把 buffer 中的成功样本比例一起保存方便事后复盘。很多问题光看曲线看不出来但把 buffer 样本分布打印出来原因一目了然。实操时有个小技巧训练初期用全随机策略跑几十个 episode 专门填充 buffer。不要直接让刚初始化的策略去探索因为初始策略可能一直在原地打转所有轨迹长得差不多HER 的 future 目标也没有多样性。这个预填充步骤只要几分钟却能让后续训练质量明显提升。4. 训练不收敛时怎么办HER 调优与踩坑实录4.1 我先踩过哪些坑第一个坑是我在做 FetchPickAndPlace 时直接把 FetchPush 的配置复制过去结果跑了 40 万步成功率只有 0.03。后来发现是目标阈值设得太严格。PickAndPlace 的物体坐标是三维空间里的位置坐标尺度比 Push 大同样用 0.05 的欧氏距离阈值判定成功率极低。把阈值放宽到 0.1 之后至少让网络先学到接近动作成功率才开始爬坡。第二个坑和 obs 字段有关。HER 重标目标是 achieved_goal但策略网络接收的观测往往是拼接向量。我在第一次自己实现时错误地把 achieved_goal 换成了 desired_goal 的位置等于用目标空间去预测目标空间实验直接原地起飞失败。检查方法很简单随机打印一条重标 transition看新 new_goal 是否和轨迹中某一步的 achieved_goal 相等不对就说明字段映射错了。第三个坑是 reward 判定的边界。环境自带的 reward 可能用的是稀疏判定一旦我们重标必须用同一套判定逻辑计算新 reward。如果环境内部还含有一个 shaping reward重标后容易叠加出虚假的正信号模型会沿着这个畸形信号走。这也是我反复强调的初始阶段先别用 reward shaping。4.2 HER 失效的三种场景第一种场景任务不包含 goal 维度。比如杆子平衡、赛车直线加速所谓目标是“保持平衡”或“跑得快”不能简单映射到某个状态向量HER 没有可以重写的对象。强行套用时只能自己先定义一个伪目标但这个目标往往和任务真实目标脱节。第二种场景目标几乎不可达或重标目标与原始任务分布脱节。比如机械臂任务里目标位置在天花板之上而 agent 的轨迹从未到达过接近区域重标出来的目标会对原始任务毫无帮助。这种情况要先调整环境或探索策略不能指望 HER 创造奇迹。第三种场景环境随机性过强。如果从同一状态执行同一动作下一状态是完全随机的位置那么“实际达到的状态”并不代表某个可解释的子技能重标学到的是噪声的皮毛。这时候更该做的是稳定环境、降低步长或者换一个物理仿真精度更高的方案。4.3 问题排查速查表现象可能原因解决办法成功率始终为 0buffer 太小 / 预填充不足增大 buffer 到 1e6先用随机策略跑 20 集早期冲高后回落n_sampled_goal 过高重标目标稀释原始目标降为 2或者提高原始经验的采样权重曲线尖刺明显目标阈值过严 / batch_size 过小放宽阈值batch_size 提到 256训练稳定但成功率不满目标分布覆盖不足用 future 策略把 k 增加到 6 再观察原目标被遗忘重标经验比例过高限制 HER 生成数量或对原目标经验加权采样排查顺序我一般从数据到环境先看轨迹和目标是否对齐再看阈值再看超参。用 TensorBoard 记录成功率、buffer 中重标比例、平均 episode 长度。平均 episode 长度也是一项很好的健康指标如果重标机制生效agent 早期的平均 episode 长度会逐渐增长因为它在尝试往更远的目标走。5. 把 hindsight 从算法搬到复盘会一种反事实工作流5.1 传统复盘与 HER 思维的差异说完了算法我想把 hindsight 这个视角带回日常工作。很多团队的复盘会都用 KPT 模板Keep、Problem、Try。这当然有用但它的默认视角是“发现问题归因给方案”。HER 提供的是另一个视角这件事做完之后不管有没有达成预期你都知道它客观上做成了什么。“客观做成了什么”本身就是一个很有价值的结果不该被当成失败的副产物。举个例子某次活动目标是提升注册转化率 20%最终只提升了 5%。传统复盘会聚焦于“为什么差了 15 个百分点”而 HER 视角会问“这次我们是不是证明了 5% 是可以在现有资源下稳定拿到的哪些渠道和素材支撑了这 5%”把“提升 5%”重构成一个已经验证过的目标然后下一阶段再去冲击 20%就比从头再来有方向得多。这不是把失败美化成成功。HER 里重标目标不会替换原始目标只是多了一种经验。工作复盘同样需要两条线并存原始目标要认客观结果要继承。把两者都放进“经验池”下一次迭代才有足够的信息密度。5.2 一次“目标重标注”复盘的具体操作我给自己定了一个三步复盘法脱胎于 HER。第一步写原始目标和实际结果不急着评价。第二步列出所有在过程中实际发生、且对后续有价值的状态比如跑通了某个流程、拿到了一批真实用户反馈、沉淀了一个脚本。第三步把这些状态重组成下一阶段可达成的子目标为每个子目标设置一个可验证的指标。具体操作时我会用一张白板分两栏左边是“这次原本要什么”右边是“这次实际做到了什么”。右边每一项都要能被一个证据支持比如一份日志、一个数据截图。然后从右边选出最多三个项目重标为下一个迭代的聚焦指标再加上一小段行动说明“当前状态到这里下一步怎么推进”。这个方法我用在很多项目里确实比干巴巴的待办清单容易执行。注意这里的“重标”不等于降低标准。HER 里面新目标是真实可达的不是伪造幻想复盘里新目标同样必须基于已经发生的客观事实。如果只是把没完成的目标改小数字那叫自欺欺人不叫后见之明。5.3 我的实际使用体会从我第一次跑通 HER 到现在已经过去好几年了最让我受用的其实不是那几行重标代码而是它改变了我看待失败的方式。过去遇到项目没达标我第一反应是沮丧和推诿现在我会习惯性问一句这件事实际完成到了哪个状态这个状态能不能成为下一步的起点当然也要泼一点冷水。HER 不是银弹代码层面它只适合 goal-conditioned 任务工作层面它也不能替代真正的原因分析。但我始终觉得这个算法提供了一个非常温柔又非常冷静的视角失败不是终点失败本身就是一条可用的经验轨迹。把这条轨迹记下来重标成下一步能走得动的目标你手里的牌就永远比看上去多一张。如果你也想试试建议从 FetchReach 环境加 50 行 HER 开始先把算法跑通再看它对你在其他领域的启示。希望这篇关于 hindsight 的拆解也能帮你把手里的废样本变成好教材。
HER强化学习详解：稀疏奖励下用目标重标注提升样本效率
如果你在算法仓库里翻到 hindsight 这个单词大概率会撞上 2017 年 OpenAI 那篇《Hindsight Experience Replay》——但如果你把它当成普通英文词它只是“后见之明”。我最初认真研究这个项目是因为一次让人想摔键盘的实验机械臂抓取训练跑了一百万步成功率是零可回放数据里明明有大量让 agent 离物体越来越近的轨迹这些经验全被稀疏奖励判成了废品。这篇文章会把我对 HER 的理解拆开讲——它怎么用“事后完成的目标”给失败样本续命、参数怎么设、事故发生现场长什么样最后还会聊一点把 hindsight 思维用在复盘工作里的心得。适合被稀疏奖励折磨的强化学习新手也适合想把“复盘”做出新意的朋友。1. hindsight 究竟指什么从英文热词到 Hindsight Experience Replay1.1 被“事后聪明”耽误的真实身份hindsight 直译成“后见之明”在心理学里更常叫“事后聪明偏向”说的是事情结束后人总觉得“我早就知道会这样”。这个语义放到强化学习里反而变成一种补救措施一个 episode 跑完了哪怕原始目标没达成你也知道它最终达成了什么。把这个“最终达成的状态”重新当成目标就能从失败中生成可学习的经验。2017 年 OpenAI 的研究者把它写成了 Hindsight Experience Replay也就是我们常说的 HER。为什么说它被“事后聪明”耽误了因为很多初学者看到这个名字以为是个复盘概念或心理学项目直接跳过。实际上它是 goal-conditioned reinforcement learning 里非常实用的一种样本效率优化手段。我见过不少人在解决机器人抓取、目标导航问题时不知道这个算法白白多跑几十万步。甚至有朋友在看到结果后问我是不是用了什么神级网络结构。其实不是HER 只是往经验回放里加了一点“事后修改目标”的魔法。1.2 稀疏奖励HER 要解决的那个麻烦要理解 HER 的价值先看一个最普通的 RL 训练场景机械臂的稀疏奖励抓取任务。每步只判断“物体到达目标位置了吗”没有就奖励 0到达了奖励 1。这样的环境下随机探索走一百步大概率一步奖励都没有。模型拿不到梯度信号只能像没头苍蝇一样更新成功率长期趴在地板上。传统思路是加 reward shaping用距离信息引导运动。但 shaping 设计起来极其看手感给大了agent 会钻奖励漏洞给小了引导基本无效。curiosity、多智能体课程学习这些手段也能用但都增加了额外复杂度。HER 的思路完全不同它不修改奖励函数而是修改经验回放里的“目标”。让 agent 从已经做过的事情学起而不是强求它凭空做到还没做过的事。这个思路说穿了就是既然任务目标是让物体到 A 点但这次 agent 把物体推到了 B 点那么 A 点没做成我们就先学怎么稳定地推到 B 点。B 点在轨迹里已经真实出现过是有据可查的“已达成目标”。把目标临时改成 B 点这条轨迹立刻变成正样本。之后再从 B 点附近尝试去 A 点就有了渐进学习的可能。2. HER 核心原理如何把失败样本重新标注成训练资源2.1 一次失败轨迹的目标重标注到底重标了什么假设一个 episode 长度为 T每一步观测里都有两个关键字段desired_goal 是 agent 想去的目标位置achieved_goal 是它当前实际到达的位置。机械臂推球任务里achieved_goal 就是球在桌面上的坐标。原始经验存进 buffer 时形式是 (s, a, r, s, desired_goal, done)其中 reward 只在 desired_goal 被达到时非零。HER 要做的事情是在 episode 结束之后再创造若干个“篡改版”经验。具体过程取轨迹中任意一步的 achieved_goal把它当作新的 desired_goal然后重新计算这一步以及它之前每一步的奖励和 done 信号。举个例子agent 本来目标是 (1.2, 0.5)结果球最终停在 (0.6, 0.9)。我们用 (0.6, 0.9) 重写目标那么轨迹中最后一次到达这个位置的那一步会被标记为成功它前面的过渡步骤也有了对应的渐近奖励。这些“篡改版”经验会和原始经验一起放入回放池。网络可以同时从“目标完成的成功路径”和“目标未完成的真实轨迹”中学习。你会发现原本全部是零奖励的 buffer变得有一定比例的正样本。这种比例哪怕只有 5%也能给策略一个明确的前进方向。注意重标注后并不是覆盖原经验而是追加。原始失败轨迹仍然保留目的是不让 agent 忘记真实的最终任务。如果只保留重标经验agent 会满足于学习各种已经达成的状态而忽略原始目标空间的分布。这个细节我在初期实现时漏掉过结果训练是“稳定地学偏”而不是“稳定地进步”。2.2 final、future、random 三种目标采样策略怎么选HER 论文里讨论了三种目标重标注策略。final 最简单整个 episode 跑完后只用最后一个 achieved_goal 作为新目标。适合轨迹比较短的场景但问题也很明显只给一个目标样本多样性较差。如果 episode 长度是 500 步大量中间状态都被浪费了。future 策略是在每个 transition 之后的时间步里随机选一个 achieved_goal 作为新目标。这是论文里效果最好、也是我默认使用的策略。它既有不同时间尺度的可达目标又不会引入“当前轨迹之外”的状态保证了目标与状态的相关性。论文里每个 transition 通常会额外采样 k 个 future 目标k 常见取 4。random 策略则从整个 replay buffer 中随机抽取一个已访问状态作为目标。它覆盖范围最广但可能产生一个当前轨迹和这个目标之间毫无关系的情况增加学习难度。实践下来我一般只在没有明显 temporal 结构的环境里尝试 random。三种策略的差异我用下面这个表来归纳策略目标来源多样性收敛速度经验适用场景final当前 episode 最终状态低慢短轨迹、简单任务future当前 episode 后续状态中快长轨迹、多阶段任务最常用random整个 buffer 中的状态高不稳定状态复用关系复杂时我自己的经验是future 配合 k4 是通用基线千万别一上来用 random。random 会让重标目标的空间膨胀得太快尤其是在连续控制任务里很多随机目标根本没法和当前轨迹的动作产生因果联系反而把价值函数搅成一团浆糊。2.3 一段 20 行的 HER 插入伪代码为了把机制说透我用伪代码展示最核心的部分。完整代码通常封装成 episode 结束后的回调函数。真正跑实验时你在每个 episode 完成后调用即可def her_repurpose(episode, strategyfuture, k4): for t, transition in enumerate(episode): # 原始经验一条都不能少 replay_buffer.add(transition) # 对每个 transition 额外生成 k 个重标目标 for _ in range(k): if strategy future: # 从 t1 到 T 之间随机找一个时刻 idx rng.randint(t 1, len(episode)) new_goal episode[idx].achieved_goal elif strategy final: new_goal episode[-1].achieved_goal else: new_goal replay_buffer.random_achieved_goal() # 用新目标重新计算 reward 和 done new_reward 1.0 if is_goal_reached( transition.achieved_goal, new_goal, threshold) else 0.0 done bool(new_reward) replay_buffer.add( transition.state, transition.action, new_reward, transition.next_state, new_goal, done, )这段代码的核心改动只有三块选新目标、按新目标算 reward、把 done 置为是否成功。剩下的更新流程和普通 off-policy RL 完全一样。因此 HER 不是一个全新的算法体系而是经验回放层面的一种数据增强手段可以叠加在 DDPG、TD3、SAC、TQC 这类 off-policy 模型上使用。3. 从零跑通 HER 训练关键参数和实操记录3.1 环境选择不是所有 RL 环境都支持 HER并不是把 HER 往任意 RL 环境里一插就有效。要满足一个前提观测中存在可以拆出来的 achieved_goal 和 desired_goal。传统 CartPole、HalfCheetah 没有目标定义HER 无从下手而 FetchReach、FetchPush、FetchPickAndPlace、FetchSlide 这类环境天然就是 goal-conditionedobservation 里有 desired_goal 和 achieved_goal 字段拿来做实验很顺手。如果你想快速复现建议从 FetchReach 开始。这个任务只有手臂移动几何意义清晰算是非常简单的目标到达任务。先把 HER 在同环境里跑通再换 FetchPush 这种带物体交互的任务。也可以自建 PyBullet 环境但那就得多写两步从观测中抽取 achieved_goal、写目标是否达成判定函数。环境越复杂HER 出现 bug 的概率越高。我当时的实验环境就是 FetchReach 加一个 DDPG 变体observation 是 25 维向量其中 desired_goal 和 achieved_goal 各占 3 维。确认环境支持后HER 的改动就只集中在 replay buffer。你可以把“环境是否支持目标抽取”当作准入条件不符合这个条件的任务不如先把功夫花在奖励设计上。3.2 参数配置n_sampled_goal、buffer_size、batch_size 如何影响收敛下面这组参数是我在 Gymnasium Robotics 加 PyTorch 实现里实测起来比较稳的起始配置参数推荐值说明n_sampled_goal4每个 transition 额外采 4 个 future 目标buffer_size1e6保证重标目标和原目标都有足够覆盖batch_size256太小时梯度抖动明显gamma0.95目标判断是近程的折扣系数不用太大actor_criticTQC / SAC连续控制场景下比 DDPG 更稳n_sampled_goal 是最直观的超参数。调大它buffer 中重标经验比例变高训练早期成功率上升会更快但也会稀释原始目标导致最终成功率上不去。调小了算法退化成普通 off-policy RL稀疏奖励的困境又回来了。4 是论文和多数开源实现验证过的数值你先固定它再考虑其他参数。buffer_size 要足够大。HER 的核心价值来自大量覆盖不同目标的失败轨迹如果 buffer 太短重标目标只会来自最近几集分布不够多样。我踩过一个坑用默认的 1e5 跑 FetchPush跑出来成功率不仅不升还来回震荡。后来查了代码才发现buffer 里根本存不下足够数量的失败样本老样本被新样本不断冲掉重标目标的空间一直没铺开。batch_size 也值得留意。稀疏奖励下的重标样本本身噪声偏大batch 太小会导致梯度剧烈抖动。我实测 256 比 128 稳非常多。如果你显存或内存不是瓶颈可以直接上 256。另一个容易被忽略的是策略更新频率。HER 增加了 replay buffer 中正样本的密度如果沿用默认的更新频率经验池会被高质量样本快速填充模型更新强度也要匹配得上。我在实验里把 actor 更新频率降为每 8 步更新一次稳定度反而更好。这个数值不是固定的但“更新强度匹配数据密度”这个原则是通用的。3.3 训练节奏成功率曲线才是硬指标HER 训练过程中不需要紧盯着 reward loss因为稀疏奖励下 loss 很难说明问题。我的建议是每训练 5000 步就跑 100 个 episode 的固定评估 rollout记录成功率。FetchReach 在正确配置下大概 5 万步就能见到成功率明显上升FetchPush 则需要几十万步。我自己训练 FetchPush 时成功率曲线并不是平滑上升的——前 10 万步几乎为 020 万步突然跳到 0.25之后又回落到 0.1最后慢慢爬到 0.6。这种尖刺型曲线很常见。原因是重标目标让网络先学会了几个局部技能比如把球推到某个角落然后再泛化到全桌面。千万别因为前几万步没有动静就放弃先看看 buffer 里有没有一定比例的重标正样本。训练脚本里我会每 10000 步保存一次 checkpoint并用“最高评估成功率”覆盖 best_model.pt。一次训练下来除了模型我还会把 buffer 中的成功样本比例一起保存方便事后复盘。很多问题光看曲线看不出来但把 buffer 样本分布打印出来原因一目了然。实操时有个小技巧训练初期用全随机策略跑几十个 episode 专门填充 buffer。不要直接让刚初始化的策略去探索因为初始策略可能一直在原地打转所有轨迹长得差不多HER 的 future 目标也没有多样性。这个预填充步骤只要几分钟却能让后续训练质量明显提升。4. 训练不收敛时怎么办HER 调优与踩坑实录4.1 我先踩过哪些坑第一个坑是我在做 FetchPickAndPlace 时直接把 FetchPush 的配置复制过去结果跑了 40 万步成功率只有 0.03。后来发现是目标阈值设得太严格。PickAndPlace 的物体坐标是三维空间里的位置坐标尺度比 Push 大同样用 0.05 的欧氏距离阈值判定成功率极低。把阈值放宽到 0.1 之后至少让网络先学到接近动作成功率才开始爬坡。第二个坑和 obs 字段有关。HER 重标目标是 achieved_goal但策略网络接收的观测往往是拼接向量。我在第一次自己实现时错误地把 achieved_goal 换成了 desired_goal 的位置等于用目标空间去预测目标空间实验直接原地起飞失败。检查方法很简单随机打印一条重标 transition看新 new_goal 是否和轨迹中某一步的 achieved_goal 相等不对就说明字段映射错了。第三个坑是 reward 判定的边界。环境自带的 reward 可能用的是稀疏判定一旦我们重标必须用同一套判定逻辑计算新 reward。如果环境内部还含有一个 shaping reward重标后容易叠加出虚假的正信号模型会沿着这个畸形信号走。这也是我反复强调的初始阶段先别用 reward shaping。4.2 HER 失效的三种场景第一种场景任务不包含 goal 维度。比如杆子平衡、赛车直线加速所谓目标是“保持平衡”或“跑得快”不能简单映射到某个状态向量HER 没有可以重写的对象。强行套用时只能自己先定义一个伪目标但这个目标往往和任务真实目标脱节。第二种场景目标几乎不可达或重标目标与原始任务分布脱节。比如机械臂任务里目标位置在天花板之上而 agent 的轨迹从未到达过接近区域重标出来的目标会对原始任务毫无帮助。这种情况要先调整环境或探索策略不能指望 HER 创造奇迹。第三种场景环境随机性过强。如果从同一状态执行同一动作下一状态是完全随机的位置那么“实际达到的状态”并不代表某个可解释的子技能重标学到的是噪声的皮毛。这时候更该做的是稳定环境、降低步长或者换一个物理仿真精度更高的方案。4.3 问题排查速查表现象可能原因解决办法成功率始终为 0buffer 太小 / 预填充不足增大 buffer 到 1e6先用随机策略跑 20 集早期冲高后回落n_sampled_goal 过高重标目标稀释原始目标降为 2或者提高原始经验的采样权重曲线尖刺明显目标阈值过严 / batch_size 过小放宽阈值batch_size 提到 256训练稳定但成功率不满目标分布覆盖不足用 future 策略把 k 增加到 6 再观察原目标被遗忘重标经验比例过高限制 HER 生成数量或对原目标经验加权采样排查顺序我一般从数据到环境先看轨迹和目标是否对齐再看阈值再看超参。用 TensorBoard 记录成功率、buffer 中重标比例、平均 episode 长度。平均 episode 长度也是一项很好的健康指标如果重标机制生效agent 早期的平均 episode 长度会逐渐增长因为它在尝试往更远的目标走。5. 把 hindsight 从算法搬到复盘会一种反事实工作流5.1 传统复盘与 HER 思维的差异说完了算法我想把 hindsight 这个视角带回日常工作。很多团队的复盘会都用 KPT 模板Keep、Problem、Try。这当然有用但它的默认视角是“发现问题归因给方案”。HER 提供的是另一个视角这件事做完之后不管有没有达成预期你都知道它客观上做成了什么。“客观做成了什么”本身就是一个很有价值的结果不该被当成失败的副产物。举个例子某次活动目标是提升注册转化率 20%最终只提升了 5%。传统复盘会聚焦于“为什么差了 15 个百分点”而 HER 视角会问“这次我们是不是证明了 5% 是可以在现有资源下稳定拿到的哪些渠道和素材支撑了这 5%”把“提升 5%”重构成一个已经验证过的目标然后下一阶段再去冲击 20%就比从头再来有方向得多。这不是把失败美化成成功。HER 里重标目标不会替换原始目标只是多了一种经验。工作复盘同样需要两条线并存原始目标要认客观结果要继承。把两者都放进“经验池”下一次迭代才有足够的信息密度。5.2 一次“目标重标注”复盘的具体操作我给自己定了一个三步复盘法脱胎于 HER。第一步写原始目标和实际结果不急着评价。第二步列出所有在过程中实际发生、且对后续有价值的状态比如跑通了某个流程、拿到了一批真实用户反馈、沉淀了一个脚本。第三步把这些状态重组成下一阶段可达成的子目标为每个子目标设置一个可验证的指标。具体操作时我会用一张白板分两栏左边是“这次原本要什么”右边是“这次实际做到了什么”。右边每一项都要能被一个证据支持比如一份日志、一个数据截图。然后从右边选出最多三个项目重标为下一个迭代的聚焦指标再加上一小段行动说明“当前状态到这里下一步怎么推进”。这个方法我用在很多项目里确实比干巴巴的待办清单容易执行。注意这里的“重标”不等于降低标准。HER 里面新目标是真实可达的不是伪造幻想复盘里新目标同样必须基于已经发生的客观事实。如果只是把没完成的目标改小数字那叫自欺欺人不叫后见之明。5.3 我的实际使用体会从我第一次跑通 HER 到现在已经过去好几年了最让我受用的其实不是那几行重标代码而是它改变了我看待失败的方式。过去遇到项目没达标我第一反应是沮丧和推诿现在我会习惯性问一句这件事实际完成到了哪个状态这个状态能不能成为下一步的起点当然也要泼一点冷水。HER 不是银弹代码层面它只适合 goal-conditioned 任务工作层面它也不能替代真正的原因分析。但我始终觉得这个算法提供了一个非常温柔又非常冷静的视角失败不是终点失败本身就是一条可用的经验轨迹。把这条轨迹记下来重标成下一步能走得动的目标你手里的牌就永远比看上去多一张。如果你也想试试建议从 FetchReach 环境加 50 行 HER 开始先把算法跑通再看它对你在其他领域的启示。希望这篇关于 hindsight 的拆解也能帮你把手里的废样本变成好教材。
