第一次看到Hindsight Experience ReplayHER这个名字我就觉得这篇论文把“hindsight后见之明”用得太妙了。在目标条件强化学习goal-conditioned RL里最折磨人的往往不是算法本身多复杂而是稀疏奖励机器人爪子伸了半天始终够不到目标奖励永远刷一个-1loss曲线比心电图还平训练跑一晚上等于白跑。HER的核心就是教会智能体学会“虽然这次没达成原定目标但换个角度看我确实做到了一些事情”并把这些经历作为有效经验存下来。这篇文章我会从原理开始讲到目标重标记策略、PyTorch最小实现再把我踩过的坑和调试经验一并交代清楚。适合被稀疏奖励搞到崩溃的强化学习新手也适合想在机器人任务里落地HER的工程同学。1. 后见之明怎么救强化学习稀疏奖励困境与HER的基本盘1.1 被奖励困住的智能体goal-conditioned RL的真实痛点先明确我们讨论的问题场景。目标条件强化学习指的是策略不仅依赖当前状态还额外接收一个“目标”作为输入。比如让机械臂把积木放到桌上某个圆圈里目标g就是圆圈的位置坐标让小车导航到地图上的某个点目标g就是那个点的坐标。策略要学的是π(a|s, g)目标是最大化累计奖励而奖励函数怎么设计直接决定了这个任务能不能学出来。很多教学demo喜欢用“密集奖励”比如每一步都返回当前位置与目标点的负距离距离越近奖励越大。这类奖励信号平滑、连续哪怕智能体一开始偏离目标很远也能从数值变化中感知到“靠近了”或“远离了”学习过程相对温和。但真实问题上密集奖励往往拿不到。机械臂上可能没有传感器能告诉你“现在还差0.31米”只有视觉判定“积木在圈内”还是“不在圈内”。于是奖励只能做成稀疏二值达到了给0没达到给-1。这种设定下智能体就像蒙着眼睛在操场上找一个足球。如果一开始离球太远无论怎么做都拿不到正向反馈策略梯度完全没有方向探索也退化成无效抖动。更麻烦的是连续动作空间里的随机噪声很难精准“撞”上目标而目标空间又往往是高维的。我见过太多人在仿真环境里复现某个算法在Pendulum这类简单控制任务上一切正常一换到FetchReach、FetchPush这类机械臂环境立刻原形毕露奖励全是-1Q值不动success rate永远挂零。这就是稀疏奖励问题的核心不是智能体“笨”而是它根本没有拿到任何“有用的教训”。失败轨迹确实产生了但这些轨迹里只包含“我失败了”这一个信息没有包含“如果我当时换个目标这些动作其实是对的”这种可学习信号。传统经验回放把这类轨迹当成废料丢掉HER恰恰就看中了这些废料。1.2 “事后诸葛亮”为什么不是坏事HER的核心思路一句话讲透HER的想法其实特别朴素一句话就能说清楚既然这条轨迹没有达成原来的目标g那不如把它重新标记成一个已经达成的目标g′然后当作一条“成功经验”存进经验池。机械臂没抓到A点但最终停在了B点。从“抓A点”这个目标看这一集彻底失败但如果把目标临时改成B点那这一整条轨迹就是一条教科书级的“成功轨迹”每一步都在朝着B点移动最终也确实到了B点。于是我们可以给这条路轨迹配上正奖励丢给Q网络学习。这个操作叫作目标重标记goal relabeling。为什么这样有效因为它踩中了一个关键事实环境的动力学通常和目标无关。不管目标是要把积木放到A点还是B点机械臂的物理规律完全一样关节转了10度末端就朝某个方向移动多少。那么“为了到达B点我该怎么做”这个经验对于“为了到达A点”的任务依然有很强的参考价值。它告诉了Q函数一个泛化结论沿着这条路线走至少能到达B点而B点与A点之间可能只差一个平移变换很多运动模式是共通的。形式化一点说标准经验回放存储的transition是(s, a, s′, r, g)。HER额外生成一个重标记目标g′通常是该轨迹中未来某个时刻的状态然后重新计算r′ reward(s′, g′)把(s, a, s′, r′, g′)也作为一条经验放入缓冲池。注意这里不是“修改原始经验”而是“额外补充一条新经验”。这个细节很多人第一次都会搞错后面我会单独拆开讲。用生活类比就是你带着地图找一家想去的餐馆结果走错了路误打误撞进了一家口碑不错的店。从“找到原定餐馆”这个目标看你彻底失败了但如果把目标重标记为“找到这家店”那你刚才的路线就是完全正确的路线值得保存下来下次还能用。HER把这个朴素的“复盘思维”量化成了算法让失败轨迹全部变成教材。2. 目标重标记策略final、future、random怎么选关键参数怎么定2.1 三种重标记策略对比直接换目标或采样未来状态知道了重标记的大方向接下来要解决的是重标记目标g′到底从哪来HER论文里给出了几种策略工程上最常用的是这三种策略g′的来源特点final轨迹最后一个状态s_T实现最简单同一轨迹内所有transition都重标记为同一个目标样本多样性有限future对轨迹里每个transition从它之后的未来状态中随机采样一个s_mm t最常用多样性好信息密度高random从环境中随机采样一个状态作为目标实现简单但目标可能物理不可达效果通常最差先说final策略。整条轨迹结束后把最后一个状态当作目标那么对这条轨迹里的每一个transition都判断“当前动作是否接近终点状态”。这个策略的好处是零成本、好理解坏处也很明显一条轨迹里所有重标记样本的目标完全一样Q函数接收到的都是“向同一个位置前进”的样本变化太少很容易过拟合到这条轨迹的特定走向。random策略听起来更“通用”实际很坑。因为你随机采样的目标大概率是环境中一个和当前轨迹毫无关系的状态可能物理上根本到不了。比如机械臂可达范围就那么一小块你随机从整个状态空间里采一个远在天边的点当目标重算出来的奖励几乎全是-1那和没做HER有什么区别所以实战中我基本不用random。future策略是目前的主流也是我唯一的推荐。做法是对于轨迹中的每个transition(s_t, a_t, s_{t1})从t之后的状态里随机采样一个s_m作为g′判断s_{t1}是否达到该目标。这里有个关键物理约束m必须大于t。因为你选的是“未来”的状态来当作“事后目标”如果选一个已经滑过去的历史状态当目标时序就混乱了重标记出来的奖励也基本全是-1毫无学习价值。future策略好在哪它对同一段轨迹的不同transition会采样出不同目标样本多样性大幅提升同时越是靠后的状态与当前transition的s_{t1}越接近重算后“达到目标”的概率越高正样本比例上去了学习信号自然更密集。2.2 k值、回放比例与奖励函数四个参数定生死把future策略写成代码只需要十几行但真正决定HER能不能出效果的是几个看起来不起眼的参数。我把它整理成一张速查表下面逐个解释参数推荐值说明k每条transition额外重标记数4原文推荐值太小样本不足太大原始经验被冲淡奖励函数稀疏二值达到0未达到-1密集距离奖励会让HER增益大幅缩水目标判定阈值ε视任务而定如Fetch环境0.05阈值决定“成功”的判定标准不宜过大回放比例原始样本保留额外再生成k条HER样本务必保留原始经验不能拿HER样本顶替全部先说k值。future策略里的k代表每条原始transition额外生成多少条重标记样本。比如一条transition原本是一条经验设置k4后它变成1条原始经验4条HER经验总计5条。k太小HER的经验扩充力度不够稀疏奖励问题依旧明显k太大经验池被HER样本淹没智能体会过度关注“重标记目标”反倒忘了真正的目标任务。我见过有人把k设成20结果智能体在重标记目标上“自嗨”原始目标却一直学不会。k4是经过大量实验验证的经验起点一般不用改。奖励函数这一点尤其重要。HER的增益建立在二值稀疏奖励上判断s′是否接近g′接近给0否则给-1。如果你原本的奖励函数是负距离-||s−g||这种密集形式那么重标记后虽然也能算出一个值但HER带来的边际收益很小。为什么因为密集奖励已经提供了一部分梯度信号重标记的“把失败轨迹变成成功轨迹”的优势体现不出来。更糟的是密集奖励的Q值尺度波动大训练稳定性和二值奖励差很多。所以你要用HER就老老实实把奖励函数改成二值判定。目标判定阈值ε也需要单独说。判断“是否达到目标”不能要求完全等于gt 1e-10要给一个容忍范围。Fetch系列环境通常取0.05米也就是末端执行器与目标点的欧氏距离小于5厘米就算成功。这个阈值不要拍脑袋设得太大否则会出现很多“假成功”的HER样本Q函数学到错误结论也不要设得太小否则正样本比例过低训练依然艰难。回放比例是新手最容易忽略的暗坑。很多人在实现HER时把batch里所有transition都替换成了HER版本结果原始目标信息完全消失。训练时智能体只见过“实际到达过的状态”当目标真正的任务目标g反而没有样本去学。正确的做法是原始transition一定保留额外的k个HER样本作为补充。我在代码里习惯让原始样本与HER样本各占一半也就是每条原始transition配1条HER样本或者按原文配4条HER样本但批量足够大时原始样本占比依然可观。这个比例是训练稳定性与对外解决问题能力之间的平衡点。3. 手写HER最小实现从回放缓冲区到训练循环3.1 重写ReplayBuffer把整条轨迹存下来是前提如果你之前写过标准DQN或DDPG肯定熟悉那种“单条transition存入循环队列”的回放缓冲区。但HER不能用那种结构因为future策略需要知道“当前transition之后的状态序列”。一条transition单独存在buffer里根本不知道它属于哪条episode更拿不到后续状态。所以第一步就是改造存储结构从“存单条transition”升级为“存完整episode”。from collections import deque import random class EpisodeBuffer: def __init__(self, capacity): self.buffer deque(maxlencapacity) def push(self, episode): # episode: list of (s, a, s_next, done, g_original) self.buffer.append(episode) def sample_episodes(self, batch_size): # 随机抽batch_size条完整轨迹 return random.sample(self.buffer, batch_size)这个结构本身很简单但有一个工程代价要提前说存整条episode比存单条transition占内存得多。在机器人仿真环境里一条episode可能有几百步每一步要存状态、动作、下一状态、奖励、目标、done标记如果状态是图像或高维向量内存压力会直线上升。我用过的容量配置是1e5条episode左右再大会吃紧。实际训练时可以把episode长度控制在一个合理上限或者在采样后立即释放不需要的中间变量。还有一个细节一条episode里每步transition的原始目标g在整条轨迹中通常是固定不变的目标条件任务里目标不会中途换。所以你不需要每一步都存一份完整的g可以在episode层面单独存一份采样时再广播。但这个优化比较次要新手可以先不做把逻辑写清楚最重要。3.2 重标记伪代码与关键实现future策略的采样逻辑接下来是最核心的部分对一条完整episode做future策略重标记。我建议写一个专门的重标记函数输入一条episode和对应的transition索引返回原始transition 额外生成的k个HER transition。import numpy as np def reward(s_next, goal, threshold0.05): # 二值奖励达到目标给0否则-1 dist np.linalg.norm(s_next - goal) return 0.0 if dist threshold else -1.0 def relabel_transition(episode, t, k4, threshold0.05): T len(episode) s, a, s_next, done, g_original episode[t] # 原始transition一定保留 original_transition (s, a, reward(s_next, g_original), s_next, done, g_original) # 额外生成k条HER transition extra_transitions [] for _ in range(k): # 从当前步之后的未来状态中采样目标 m random.randint(t 1, T - 1) g_prime episode[m][0] # 取未来状态作为目标 r_prime reward(s_next, g_prime, threshold) extra_transitions.append((s, a, r_prime, s_next, done, g_prime)) return [original_transition] extra_transitions这里有三个细节值得反复确认都是我调试时踩过坑的地方。第一m的采样范围必须是[t1, T)绝不能包含t。很多人一时手快写成了random.randint(t, T-1)导致目标就是当前轨迹里的当前状态重算出来的奖励几乎全为-1HER等于没做。我在代码里直接写t 1从物理逻辑上杜绝这个问题。第二g_prime取的是episode[m][0]也就是未来某个时间步的状态s_m而不是episode里那个时间步的目标g_m。有些同学把这两者搞混拿“未来的原始目标”来当重标记目标那就完全失去HER的语义了。HER的定义就是“用实际到达的状态作为新目标”不是“用未来的任务目标”。第三计算r_prime时比较的是当前transition的下一个状态s_next与g_prime的距离不是拿s_m和g_prime比。因为这条transition表达的是“在s_t做了动作a转移到了s_next”这个步骤是否成功只看s_next有没有达到目标。哪怕这条轨迹到最后确实接近了s_m那也是一个逐步累积的结果你只能在这一步的“即时距离”上给奖励。训练时的batch组装逻辑也很直接从EpisodeBuffer中随机抽batch_size条episode对每条episode的每个transition调用relabel_transition得到若干transition再统一打平组成一个batch喂给网络。如果担心内存可以限制每条episode最多保留的额外样本数或者对过长episode做截断采样。3.3 接入TD3的实操细节与超参推荐HER不是独立算法它必须叠加在某个基础的强化学习算法之上。离散动作空间可以接DQN系列连续动作空间我推荐TD3或SAC。这里以TD3为例讲几个接入时最容易出问题的细节。第一个是网络输入构造。TD3的Actor和Critic都需要同时接收状态s和目标g最简单的做法是直接拼接把state和goal在特征维度上concat成一个长向量作为网络的第一层输入。比如7维状态7维目标输入维度就是14。如果你的目标只是状态的一个子集比如机械臂任务里目标只有末端位置3维那就只拼接对应维度不要硬把整个状态都拼上去否则网络要自己学“哪些维度与目标相关”收敛会变慢。第二个是batch size分配。假设k4那你一条原始transition会变成5条样本。我一般设整体batch size为256其中原始样本约64条HER样本约192条。如果在采样器里直接按比例分配训练更稳定。不要让全batch都是HER样本否则原始目标会逐渐被“遗忘”。第三个是TD3自带的延迟更新、目标策略平滑噪声、双Q网络这些机制完全不需要因为HER而改动。HER只影响经验来源和奖励计算不碰策略更新公式。下面是一份我跑Fetch系列环境时验证过的配置表参数值备注基础算法TD3连续控制综合表现稳定学习率3e-4Actor和Critic统一使用batch size256原始64 HER 192k4future策略重标记数γ折扣因子0.98机器人任务常用略低有利于短期导向τ目标网络更新率0.005TD3默认policy delay2TD3默认探索噪声N(0, 0.1)动作加噪网络结构[256, 256]ReLU激活最后一点非常重要评估阶段不要使用HER重标记。HER只是训练阶段的“数据增广”在真正部署或评估时输入必须是当前状态和原始任务目标输出也必须是确定性策略不加探索噪声。我在跑对比实验时专门写了两个循环训练循环里用带噪声的动作和HER重标记样本评估循环里关闭噪声、关闭重标记只统计原始目标下的成功率。这样你看到的曲线才是真实的算法效果。4. 训不出效果常见问题与排障实录4.1 我踩过的五个坑从奖励重算到目标归一化我自己在复现HER时没少掉进坑里有些坑回头一看特别低级但当时真的能让人debug到怀疑人生。这里列五个最典型的给各位提前排雷。第一个坑奖励函数没重算。有人觉得HER就是“换一个目标存经验”于是直接把原始transition里的奖励r原封不动地塞进HER样本。这是致命的。对于重标记目标g′原始奖励r完全失去意义。必须用r′ reward(s_next, g′)重新计算。我一般把奖励计算写成一个独立函数任何地方都不能绕过它。第二个坑原始经验被全部丢弃。我前面反复强调要保留原始样本但真有人会在组装batch时图省事只保留HER样本。这样做的后果就是训练初期看起来Q值涨得飞快但成功率一动不动。因为智能体只会“做事后诸葛亮”它所学到的都是在已到达状态之间的路径一旦换回原始目标g就懵了。每一批数据里至少要混入20%50%的原始样本。第三个坑future采样范围写错。m的取值范围必须是(t1, T)如果取了t目标就是当前状态本身奖励几乎全为-1如果取了历史状态时序逻辑更混乱。我建议在代码里直接加上assert m t防止静默出错。第四个坑状态和目标没归一化。Fetch环境里目标坐标可能分布在[-1.5, 1.5]之间而关节角度量级可能在[-3, 3]如果直接拼接输入某些维度数值范围过大MLP的梯度更新会被大数值维度主导。我通常把状态和目标统一缩放到[-1, 1]区间量纲差异消除后训练稳定性和收敛速度都能明显改善。第五个坑目标空间过大时直接硬跑。如果你的任务目标是“整个状态空间里任意一点”而可达空间又很大HER重标记出来的目标也五花八门学习难度仍然很大。遇到这种情况先把目标限制在一个可达子集里比如机械臂末端附近的3D球体区域等baseline跑通后再逐步扩大。这相当于给HER做了一件“课程学习”的外衣效果常常比盲目全空间训练好得多。4.2 如何确认HER真的生效训练曲线的正确看法训练跑起来了怎么看它有没有真生效很多人只盯着loss曲线但loss下降不一定代表策略变好。我自己更相信成功率曲线。最标准的做法是同一个环境、同一个随机种子跑两个版本——纯TD3和TD3HER然后画累计训练步数与success rate的对比曲线。如果HER版本的成功率曲线明显更早抬升、峰值更高说明HER确实在起作用。如果两条曲线几乎一样那你的HER实现里大概率有bug重点检查奖励重算和future采样范围。除了成功率我还习惯观察Q值的走向。TD3有两个Critic网络可以分别记录它们的输出均值。在HER生效时Q值应当稳步上升因为越来越多的重标记“成功样本”在告诉网络“这条路径是有价值的”。如果Q值长期停在-1附近不涨说明重标记产生的正样本比例太低或者原始经验被HER样本淹没导致任务目标被遗忘。前者调大ε或调整奖励判定后者调低k、提高原始样本比例。还有一个常见的假象loss降了、Q值也涨了但success rate纹丝不动。这种时候要怀疑是不是HER样本太“容易”导致Q网络过度乐观——它学会了在重标记目标上获得正奖励却对真实目标判断无能为力。我的处理办法是把k从4降到2同时把原始样本比例提高到50%以上观察成功率是否回升。如果回升说明确实过拟合了HER样本如果仍然不涨再检查目标归一化和奖励阈值。4.3 提速技巧向量化奖励、批量重放、评估分离HER本身不复杂但工程实现如果太粗糙训练速度会慢到让人没耐心。分享几个我用下来的提速经验。奖励计算务必向量化。千万别在for循环里用Python逐条计算s_next与g′的距离尤其是batch size动辄几百、一条episode又有几百步时纯Python循环会拖慢训练数倍。正确做法是先把一批transition堆成numpy或torch tensor一次性计算距离矩阵再批量套阈值生成奖励。代码更短速度提升明显。组装batch时尽量走批量重放路线。从EpisodeBuffer抽到一批episode后不要每一条episode单独forward一次网络而是把所有重标记后的transition全部堆叠成一个大tensor一次forward完成前后向传播。现代GPU对大批量矩阵运算的加速非常可观。评估阶段必须独立成环。训练时为了探索需要加噪声为了HER需要重标记但评估时这两项都不能要。我习惯在训练循环里每n步跑一次评估关闭动作噪声actor输出确定性动作环境按原始目标计算成功率然后把结果写入日志。这样你随时能看到策略的真实水平而不是被训练曲线迷惑。另外如果环境支持多进程并行采样尽量用vectorized env或者subproc env。HER需要的是多样化的失败轨迹并行环境可以一次性带来好几条不同走向的episode采样效率比单环境高出一大截。我在FetchPickAndPlace上测试过8个并行环境能把数据采集时间压到原来的1/5左右。结尾我个人用过不少处理稀疏奖励的方案HER是第一个让我觉得“原来失败数据还能这么用”的算法。它不复杂核心代码加一起不到一百行但真正落地时细节决定成败——奖励重算、目标采样范围、原始样本比例、目标归一化每一步都踩过坑。如果你正在跟某个机器人任务的稀疏奖励死磕建议先把原理吃透再开一版带日志的对比实验看到success rate曲线抬头的那一下你会觉得之前所有的debug都是值得的。另一个小技巧HER之后还能搭配课程学习或自动目标生成但先把k4的baseline跑稳比什么都重要。
HER算法详解：用后见之明破解强化学习稀疏奖励难题
第一次看到Hindsight Experience ReplayHER这个名字我就觉得这篇论文把“hindsight后见之明”用得太妙了。在目标条件强化学习goal-conditioned RL里最折磨人的往往不是算法本身多复杂而是稀疏奖励机器人爪子伸了半天始终够不到目标奖励永远刷一个-1loss曲线比心电图还平训练跑一晚上等于白跑。HER的核心就是教会智能体学会“虽然这次没达成原定目标但换个角度看我确实做到了一些事情”并把这些经历作为有效经验存下来。这篇文章我会从原理开始讲到目标重标记策略、PyTorch最小实现再把我踩过的坑和调试经验一并交代清楚。适合被稀疏奖励搞到崩溃的强化学习新手也适合想在机器人任务里落地HER的工程同学。1. 后见之明怎么救强化学习稀疏奖励困境与HER的基本盘1.1 被奖励困住的智能体goal-conditioned RL的真实痛点先明确我们讨论的问题场景。目标条件强化学习指的是策略不仅依赖当前状态还额外接收一个“目标”作为输入。比如让机械臂把积木放到桌上某个圆圈里目标g就是圆圈的位置坐标让小车导航到地图上的某个点目标g就是那个点的坐标。策略要学的是π(a|s, g)目标是最大化累计奖励而奖励函数怎么设计直接决定了这个任务能不能学出来。很多教学demo喜欢用“密集奖励”比如每一步都返回当前位置与目标点的负距离距离越近奖励越大。这类奖励信号平滑、连续哪怕智能体一开始偏离目标很远也能从数值变化中感知到“靠近了”或“远离了”学习过程相对温和。但真实问题上密集奖励往往拿不到。机械臂上可能没有传感器能告诉你“现在还差0.31米”只有视觉判定“积木在圈内”还是“不在圈内”。于是奖励只能做成稀疏二值达到了给0没达到给-1。这种设定下智能体就像蒙着眼睛在操场上找一个足球。如果一开始离球太远无论怎么做都拿不到正向反馈策略梯度完全没有方向探索也退化成无效抖动。更麻烦的是连续动作空间里的随机噪声很难精准“撞”上目标而目标空间又往往是高维的。我见过太多人在仿真环境里复现某个算法在Pendulum这类简单控制任务上一切正常一换到FetchReach、FetchPush这类机械臂环境立刻原形毕露奖励全是-1Q值不动success rate永远挂零。这就是稀疏奖励问题的核心不是智能体“笨”而是它根本没有拿到任何“有用的教训”。失败轨迹确实产生了但这些轨迹里只包含“我失败了”这一个信息没有包含“如果我当时换个目标这些动作其实是对的”这种可学习信号。传统经验回放把这类轨迹当成废料丢掉HER恰恰就看中了这些废料。1.2 “事后诸葛亮”为什么不是坏事HER的核心思路一句话讲透HER的想法其实特别朴素一句话就能说清楚既然这条轨迹没有达成原来的目标g那不如把它重新标记成一个已经达成的目标g′然后当作一条“成功经验”存进经验池。机械臂没抓到A点但最终停在了B点。从“抓A点”这个目标看这一集彻底失败但如果把目标临时改成B点那这一整条轨迹就是一条教科书级的“成功轨迹”每一步都在朝着B点移动最终也确实到了B点。于是我们可以给这条路轨迹配上正奖励丢给Q网络学习。这个操作叫作目标重标记goal relabeling。为什么这样有效因为它踩中了一个关键事实环境的动力学通常和目标无关。不管目标是要把积木放到A点还是B点机械臂的物理规律完全一样关节转了10度末端就朝某个方向移动多少。那么“为了到达B点我该怎么做”这个经验对于“为了到达A点”的任务依然有很强的参考价值。它告诉了Q函数一个泛化结论沿着这条路线走至少能到达B点而B点与A点之间可能只差一个平移变换很多运动模式是共通的。形式化一点说标准经验回放存储的transition是(s, a, s′, r, g)。HER额外生成一个重标记目标g′通常是该轨迹中未来某个时刻的状态然后重新计算r′ reward(s′, g′)把(s, a, s′, r′, g′)也作为一条经验放入缓冲池。注意这里不是“修改原始经验”而是“额外补充一条新经验”。这个细节很多人第一次都会搞错后面我会单独拆开讲。用生活类比就是你带着地图找一家想去的餐馆结果走错了路误打误撞进了一家口碑不错的店。从“找到原定餐馆”这个目标看你彻底失败了但如果把目标重标记为“找到这家店”那你刚才的路线就是完全正确的路线值得保存下来下次还能用。HER把这个朴素的“复盘思维”量化成了算法让失败轨迹全部变成教材。2. 目标重标记策略final、future、random怎么选关键参数怎么定2.1 三种重标记策略对比直接换目标或采样未来状态知道了重标记的大方向接下来要解决的是重标记目标g′到底从哪来HER论文里给出了几种策略工程上最常用的是这三种策略g′的来源特点final轨迹最后一个状态s_T实现最简单同一轨迹内所有transition都重标记为同一个目标样本多样性有限future对轨迹里每个transition从它之后的未来状态中随机采样一个s_mm t最常用多样性好信息密度高random从环境中随机采样一个状态作为目标实现简单但目标可能物理不可达效果通常最差先说final策略。整条轨迹结束后把最后一个状态当作目标那么对这条轨迹里的每一个transition都判断“当前动作是否接近终点状态”。这个策略的好处是零成本、好理解坏处也很明显一条轨迹里所有重标记样本的目标完全一样Q函数接收到的都是“向同一个位置前进”的样本变化太少很容易过拟合到这条轨迹的特定走向。random策略听起来更“通用”实际很坑。因为你随机采样的目标大概率是环境中一个和当前轨迹毫无关系的状态可能物理上根本到不了。比如机械臂可达范围就那么一小块你随机从整个状态空间里采一个远在天边的点当目标重算出来的奖励几乎全是-1那和没做HER有什么区别所以实战中我基本不用random。future策略是目前的主流也是我唯一的推荐。做法是对于轨迹中的每个transition(s_t, a_t, s_{t1})从t之后的状态里随机采样一个s_m作为g′判断s_{t1}是否达到该目标。这里有个关键物理约束m必须大于t。因为你选的是“未来”的状态来当作“事后目标”如果选一个已经滑过去的历史状态当目标时序就混乱了重标记出来的奖励也基本全是-1毫无学习价值。future策略好在哪它对同一段轨迹的不同transition会采样出不同目标样本多样性大幅提升同时越是靠后的状态与当前transition的s_{t1}越接近重算后“达到目标”的概率越高正样本比例上去了学习信号自然更密集。2.2 k值、回放比例与奖励函数四个参数定生死把future策略写成代码只需要十几行但真正决定HER能不能出效果的是几个看起来不起眼的参数。我把它整理成一张速查表下面逐个解释参数推荐值说明k每条transition额外重标记数4原文推荐值太小样本不足太大原始经验被冲淡奖励函数稀疏二值达到0未达到-1密集距离奖励会让HER增益大幅缩水目标判定阈值ε视任务而定如Fetch环境0.05阈值决定“成功”的判定标准不宜过大回放比例原始样本保留额外再生成k条HER样本务必保留原始经验不能拿HER样本顶替全部先说k值。future策略里的k代表每条原始transition额外生成多少条重标记样本。比如一条transition原本是一条经验设置k4后它变成1条原始经验4条HER经验总计5条。k太小HER的经验扩充力度不够稀疏奖励问题依旧明显k太大经验池被HER样本淹没智能体会过度关注“重标记目标”反倒忘了真正的目标任务。我见过有人把k设成20结果智能体在重标记目标上“自嗨”原始目标却一直学不会。k4是经过大量实验验证的经验起点一般不用改。奖励函数这一点尤其重要。HER的增益建立在二值稀疏奖励上判断s′是否接近g′接近给0否则给-1。如果你原本的奖励函数是负距离-||s−g||这种密集形式那么重标记后虽然也能算出一个值但HER带来的边际收益很小。为什么因为密集奖励已经提供了一部分梯度信号重标记的“把失败轨迹变成成功轨迹”的优势体现不出来。更糟的是密集奖励的Q值尺度波动大训练稳定性和二值奖励差很多。所以你要用HER就老老实实把奖励函数改成二值判定。目标判定阈值ε也需要单独说。判断“是否达到目标”不能要求完全等于gt 1e-10要给一个容忍范围。Fetch系列环境通常取0.05米也就是末端执行器与目标点的欧氏距离小于5厘米就算成功。这个阈值不要拍脑袋设得太大否则会出现很多“假成功”的HER样本Q函数学到错误结论也不要设得太小否则正样本比例过低训练依然艰难。回放比例是新手最容易忽略的暗坑。很多人在实现HER时把batch里所有transition都替换成了HER版本结果原始目标信息完全消失。训练时智能体只见过“实际到达过的状态”当目标真正的任务目标g反而没有样本去学。正确的做法是原始transition一定保留额外的k个HER样本作为补充。我在代码里习惯让原始样本与HER样本各占一半也就是每条原始transition配1条HER样本或者按原文配4条HER样本但批量足够大时原始样本占比依然可观。这个比例是训练稳定性与对外解决问题能力之间的平衡点。3. 手写HER最小实现从回放缓冲区到训练循环3.1 重写ReplayBuffer把整条轨迹存下来是前提如果你之前写过标准DQN或DDPG肯定熟悉那种“单条transition存入循环队列”的回放缓冲区。但HER不能用那种结构因为future策略需要知道“当前transition之后的状态序列”。一条transition单独存在buffer里根本不知道它属于哪条episode更拿不到后续状态。所以第一步就是改造存储结构从“存单条transition”升级为“存完整episode”。from collections import deque import random class EpisodeBuffer: def __init__(self, capacity): self.buffer deque(maxlencapacity) def push(self, episode): # episode: list of (s, a, s_next, done, g_original) self.buffer.append(episode) def sample_episodes(self, batch_size): # 随机抽batch_size条完整轨迹 return random.sample(self.buffer, batch_size)这个结构本身很简单但有一个工程代价要提前说存整条episode比存单条transition占内存得多。在机器人仿真环境里一条episode可能有几百步每一步要存状态、动作、下一状态、奖励、目标、done标记如果状态是图像或高维向量内存压力会直线上升。我用过的容量配置是1e5条episode左右再大会吃紧。实际训练时可以把episode长度控制在一个合理上限或者在采样后立即释放不需要的中间变量。还有一个细节一条episode里每步transition的原始目标g在整条轨迹中通常是固定不变的目标条件任务里目标不会中途换。所以你不需要每一步都存一份完整的g可以在episode层面单独存一份采样时再广播。但这个优化比较次要新手可以先不做把逻辑写清楚最重要。3.2 重标记伪代码与关键实现future策略的采样逻辑接下来是最核心的部分对一条完整episode做future策略重标记。我建议写一个专门的重标记函数输入一条episode和对应的transition索引返回原始transition 额外生成的k个HER transition。import numpy as np def reward(s_next, goal, threshold0.05): # 二值奖励达到目标给0否则-1 dist np.linalg.norm(s_next - goal) return 0.0 if dist threshold else -1.0 def relabel_transition(episode, t, k4, threshold0.05): T len(episode) s, a, s_next, done, g_original episode[t] # 原始transition一定保留 original_transition (s, a, reward(s_next, g_original), s_next, done, g_original) # 额外生成k条HER transition extra_transitions [] for _ in range(k): # 从当前步之后的未来状态中采样目标 m random.randint(t 1, T - 1) g_prime episode[m][0] # 取未来状态作为目标 r_prime reward(s_next, g_prime, threshold) extra_transitions.append((s, a, r_prime, s_next, done, g_prime)) return [original_transition] extra_transitions这里有三个细节值得反复确认都是我调试时踩过坑的地方。第一m的采样范围必须是[t1, T)绝不能包含t。很多人一时手快写成了random.randint(t, T-1)导致目标就是当前轨迹里的当前状态重算出来的奖励几乎全为-1HER等于没做。我在代码里直接写t 1从物理逻辑上杜绝这个问题。第二g_prime取的是episode[m][0]也就是未来某个时间步的状态s_m而不是episode里那个时间步的目标g_m。有些同学把这两者搞混拿“未来的原始目标”来当重标记目标那就完全失去HER的语义了。HER的定义就是“用实际到达的状态作为新目标”不是“用未来的任务目标”。第三计算r_prime时比较的是当前transition的下一个状态s_next与g_prime的距离不是拿s_m和g_prime比。因为这条transition表达的是“在s_t做了动作a转移到了s_next”这个步骤是否成功只看s_next有没有达到目标。哪怕这条轨迹到最后确实接近了s_m那也是一个逐步累积的结果你只能在这一步的“即时距离”上给奖励。训练时的batch组装逻辑也很直接从EpisodeBuffer中随机抽batch_size条episode对每条episode的每个transition调用relabel_transition得到若干transition再统一打平组成一个batch喂给网络。如果担心内存可以限制每条episode最多保留的额外样本数或者对过长episode做截断采样。3.3 接入TD3的实操细节与超参推荐HER不是独立算法它必须叠加在某个基础的强化学习算法之上。离散动作空间可以接DQN系列连续动作空间我推荐TD3或SAC。这里以TD3为例讲几个接入时最容易出问题的细节。第一个是网络输入构造。TD3的Actor和Critic都需要同时接收状态s和目标g最简单的做法是直接拼接把state和goal在特征维度上concat成一个长向量作为网络的第一层输入。比如7维状态7维目标输入维度就是14。如果你的目标只是状态的一个子集比如机械臂任务里目标只有末端位置3维那就只拼接对应维度不要硬把整个状态都拼上去否则网络要自己学“哪些维度与目标相关”收敛会变慢。第二个是batch size分配。假设k4那你一条原始transition会变成5条样本。我一般设整体batch size为256其中原始样本约64条HER样本约192条。如果在采样器里直接按比例分配训练更稳定。不要让全batch都是HER样本否则原始目标会逐渐被“遗忘”。第三个是TD3自带的延迟更新、目标策略平滑噪声、双Q网络这些机制完全不需要因为HER而改动。HER只影响经验来源和奖励计算不碰策略更新公式。下面是一份我跑Fetch系列环境时验证过的配置表参数值备注基础算法TD3连续控制综合表现稳定学习率3e-4Actor和Critic统一使用batch size256原始64 HER 192k4future策略重标记数γ折扣因子0.98机器人任务常用略低有利于短期导向τ目标网络更新率0.005TD3默认policy delay2TD3默认探索噪声N(0, 0.1)动作加噪网络结构[256, 256]ReLU激活最后一点非常重要评估阶段不要使用HER重标记。HER只是训练阶段的“数据增广”在真正部署或评估时输入必须是当前状态和原始任务目标输出也必须是确定性策略不加探索噪声。我在跑对比实验时专门写了两个循环训练循环里用带噪声的动作和HER重标记样本评估循环里关闭噪声、关闭重标记只统计原始目标下的成功率。这样你看到的曲线才是真实的算法效果。4. 训不出效果常见问题与排障实录4.1 我踩过的五个坑从奖励重算到目标归一化我自己在复现HER时没少掉进坑里有些坑回头一看特别低级但当时真的能让人debug到怀疑人生。这里列五个最典型的给各位提前排雷。第一个坑奖励函数没重算。有人觉得HER就是“换一个目标存经验”于是直接把原始transition里的奖励r原封不动地塞进HER样本。这是致命的。对于重标记目标g′原始奖励r完全失去意义。必须用r′ reward(s_next, g′)重新计算。我一般把奖励计算写成一个独立函数任何地方都不能绕过它。第二个坑原始经验被全部丢弃。我前面反复强调要保留原始样本但真有人会在组装batch时图省事只保留HER样本。这样做的后果就是训练初期看起来Q值涨得飞快但成功率一动不动。因为智能体只会“做事后诸葛亮”它所学到的都是在已到达状态之间的路径一旦换回原始目标g就懵了。每一批数据里至少要混入20%50%的原始样本。第三个坑future采样范围写错。m的取值范围必须是(t1, T)如果取了t目标就是当前状态本身奖励几乎全为-1如果取了历史状态时序逻辑更混乱。我建议在代码里直接加上assert m t防止静默出错。第四个坑状态和目标没归一化。Fetch环境里目标坐标可能分布在[-1.5, 1.5]之间而关节角度量级可能在[-3, 3]如果直接拼接输入某些维度数值范围过大MLP的梯度更新会被大数值维度主导。我通常把状态和目标统一缩放到[-1, 1]区间量纲差异消除后训练稳定性和收敛速度都能明显改善。第五个坑目标空间过大时直接硬跑。如果你的任务目标是“整个状态空间里任意一点”而可达空间又很大HER重标记出来的目标也五花八门学习难度仍然很大。遇到这种情况先把目标限制在一个可达子集里比如机械臂末端附近的3D球体区域等baseline跑通后再逐步扩大。这相当于给HER做了一件“课程学习”的外衣效果常常比盲目全空间训练好得多。4.2 如何确认HER真的生效训练曲线的正确看法训练跑起来了怎么看它有没有真生效很多人只盯着loss曲线但loss下降不一定代表策略变好。我自己更相信成功率曲线。最标准的做法是同一个环境、同一个随机种子跑两个版本——纯TD3和TD3HER然后画累计训练步数与success rate的对比曲线。如果HER版本的成功率曲线明显更早抬升、峰值更高说明HER确实在起作用。如果两条曲线几乎一样那你的HER实现里大概率有bug重点检查奖励重算和future采样范围。除了成功率我还习惯观察Q值的走向。TD3有两个Critic网络可以分别记录它们的输出均值。在HER生效时Q值应当稳步上升因为越来越多的重标记“成功样本”在告诉网络“这条路径是有价值的”。如果Q值长期停在-1附近不涨说明重标记产生的正样本比例太低或者原始经验被HER样本淹没导致任务目标被遗忘。前者调大ε或调整奖励判定后者调低k、提高原始样本比例。还有一个常见的假象loss降了、Q值也涨了但success rate纹丝不动。这种时候要怀疑是不是HER样本太“容易”导致Q网络过度乐观——它学会了在重标记目标上获得正奖励却对真实目标判断无能为力。我的处理办法是把k从4降到2同时把原始样本比例提高到50%以上观察成功率是否回升。如果回升说明确实过拟合了HER样本如果仍然不涨再检查目标归一化和奖励阈值。4.3 提速技巧向量化奖励、批量重放、评估分离HER本身不复杂但工程实现如果太粗糙训练速度会慢到让人没耐心。分享几个我用下来的提速经验。奖励计算务必向量化。千万别在for循环里用Python逐条计算s_next与g′的距离尤其是batch size动辄几百、一条episode又有几百步时纯Python循环会拖慢训练数倍。正确做法是先把一批transition堆成numpy或torch tensor一次性计算距离矩阵再批量套阈值生成奖励。代码更短速度提升明显。组装batch时尽量走批量重放路线。从EpisodeBuffer抽到一批episode后不要每一条episode单独forward一次网络而是把所有重标记后的transition全部堆叠成一个大tensor一次forward完成前后向传播。现代GPU对大批量矩阵运算的加速非常可观。评估阶段必须独立成环。训练时为了探索需要加噪声为了HER需要重标记但评估时这两项都不能要。我习惯在训练循环里每n步跑一次评估关闭动作噪声actor输出确定性动作环境按原始目标计算成功率然后把结果写入日志。这样你随时能看到策略的真实水平而不是被训练曲线迷惑。另外如果环境支持多进程并行采样尽量用vectorized env或者subproc env。HER需要的是多样化的失败轨迹并行环境可以一次性带来好几条不同走向的episode采样效率比单环境高出一大截。我在FetchPickAndPlace上测试过8个并行环境能把数据采集时间压到原来的1/5左右。结尾我个人用过不少处理稀疏奖励的方案HER是第一个让我觉得“原来失败数据还能这么用”的算法。它不复杂核心代码加一起不到一百行但真正落地时细节决定成败——奖励重算、目标采样范围、原始样本比例、目标归一化每一步都踩过坑。如果你正在跟某个机器人任务的稀疏奖励死磕建议先把原理吃透再开一版带日志的对比实验看到success rate曲线抬头的那一下你会觉得之前所有的debug都是值得的。另一个小技巧HER之后还能搭配课程学习或自动目标生成但先把k4的baseline跑稳比什么都重要。
