简介一份面向2022年五一数学建模竞赛A题“血管机器人的订购与学习优化”的完整论文PDF适合参赛学生、建模爱好者以及需要了解动态规划在医疗资源优化中应用的人群。压缩包内共有1个文件为PDF格式大小约1.04MB论文与附录代码、数据合并在同一文档中便于通读和复用。内容围绕动态规划模型展开涉及集合划分、相邻周次约束、损毁与优惠政策下的购买策略调整并用Lingo求解最低总成本问题五还引入ARIMA(3,1,4)预测未来需求形成从建模到求解的完整思路。已有5325人次学习下载可在赛题复现、课程作业、论文写作和团队备赛中提供参考。附录中的代码和数据可供自行运行验证帮助读者理解容器艇与操作手数量递推、目标函数构建和约束修改的具体实现。1. 2022年五一赛A题“血管机器人的订购与学习优化”是什么、解决什么每年四月底数学建模竞赛圈都会炸开锅2022年五一赛的A题“血管机器人的订购与学习优化”就是其中之一。这题看名字是医疗机器人实际内核是“随机需求下的批量订购决策”和“从历史数据中学习最优策略”两件事揉在一起。你要回答的核心问题很朴素血管机器人有学习效率单位成本会随累计使用量下降需求又是不确定的那每个周期到底订多少台、备多少货才能让长期利润最大。适合正在备赛的学生队伍也适合想拿强化学习练手、但还没找到合适落地场景的工程师。本文直接给一套完整可复现的Q-Learning代码从建模到调参、避坑一气呵成你拿到题面数据后按这个套路改参数就能用。2. 拆题建模把血管机器人订购问题压成一个随机库存MDP2.1 订购线这不是物流题是带缺货惩罚的报童模型你先忘掉“血管”这个背景把它当成一个典型的单周期或多周期库存问题。每个周期开始你决定订购多少台血管机器人周期内需求随机发生卖出去赚钱卖不出去要付持有成本没货可卖要付缺货惩罚。这就是报童模型Newsvendor的标准结构。报童模型给了一个很实用的基准解最优订购量是需求分布的一个分位数满足P(需求 ≤ Q*) Cu / (Cu Co)其中Cu是少订一件的边际损失少赚的利润 缺货惩罚Co是多订一件的边际损失单位成本 持有成本。这个公式的价值在于哪怕你后面不用Q-Learning也能拿它来做对比基线证明你学出来的策略不是玄学。我一般会先算这个Q*再决定MDP里动作空间的搜索范围省得让智能体在完全离谱的区间里盲试。2.2 学习线两层“学习”必须分清楚这个题的标题里“学习优化”最容易把人绕进去。我在复现时把“学习”拆成两层分别建模。第一层是环境自带的学习曲线。血管机器人的单位成本会随累计产量下降这是制造/使用领域常见的经验曲线Crawford模型C(x) C0 * (x)^b其中b log2(r)r是学习率表示累计产量每翻一倍单位成本降到原来的r倍。比如r0.85产量翻倍后成本降为85%。这一层是环境参数不是算法你要做的就是把它写进成本函数。第二层才是求解方法层面的“学习”让智能体通过和这个环境反复交互从反馈中学会“什么状态下订多少货”。我选择Q-Learning表格型强化学习原因很直接状态和动作离散化后规模不大Q表查表足够快代码短评委也看得懂。不要一上来就上Transformer或者DQN那是后面进阶的事先把基线跑通。2.3 把题面翻译成MDP五元组现在把问题形式化成马尔可夫决策过程。状态我用期初库存分档表示动作是本期订购数量转移由随机需求驱动奖励是当期净收益折扣因子让智能体看重长期总利润而不是眼前这期赚多少。这四件事定下来Q-Learning就能跑。MDP元素具体设计说明状态 S期初库存分档比如库存数除以2取整限制在0-9档连续库存离散化避免Q表维度爆炸动作 A0到MAX_ORDER之间的整数订购量动作空间按报童最优解附近扩展转移 P需求服从截断正态分布库存订购量减去需求得下期状态需求参数由题目数据估计奖励 R销售收入 - 订购成本 - 期末持有成本 - 缺货惩罚学习曲线影响订购成本项折扣因子 γ0.95让策略兼顾长期收益题目给的原始数据我不会直接套进去编因为每个赛区数据集不一样。正确做法是先用题目数据估计需求均值、标准差、基础成本、学习率这几个参数然后填进下面第3章的环境类里。你的所有后续工作包括论文里的灵敏度分析都在这个参数接口上做文章。3. 用Q-Learning把订购策略学出来完整代码与参数说明3.1 环境实现需求采样、学习曲线、单周期收益先写环境类。这一步的目标是把“血管机器人订购”这个过程封装成一个标准的强化学习环境你给我一个订购量我返回本期奖励和下期状态。注意里面两个关键细节学习曲线的指数用log2计算累计产量从1开始防除零需求用截断正态取整且不能为负。import numpy as np from collections import defaultdict class VesselRobotEnv: def __init__(self, price120.0, base_cost50.0, learning_rate0.85, holding_cost2.0, shortage_cost15.0, demand_mean8.0, demand_std2.0, max_order20): self.price price self.base_cost base_cost self.learning_rate learning_rate # 学习曲线参数 r self.holding_cost holding_cost self.shortage_cost shortage_cost self.demand_mean demand_mean self.demand_std demand_std self.max_order max_order # 学习曲线指数 b log2(r)如 r0.85 - b≈-0.234 self.exponent np.log2(self.learning_rate) self.cum_prod 1 # 累计产量防止 0 的负数次幂 self.stock 0 def reset(self): self.stock 0 self.cum_prod 1 return self._encode_state() def _unit_cost(self): 当前累计产量下的单台订购成本学习曲线 return self.base_cost * (self.cum_prod / 50.0) ** self.exponent def _demand(self): 截断正态分布采样整数需求 d int(round(np.random.normal(self.demand_mean, self.demand_std))) return max(0, d) def _encode_state(self): 库存分档每2台一档最高第9档 return min(self.stock // 2, 9) def step(self, order): 执行订购决策返回 (奖励, 下一状态) order int(np.clip(order, 0, self.max_order)) demand self._demand() stock_after_order self.stock order sold min(stock_after_order, demand) shortage demand - sold remaining stock_after_order - sold # 本期到货后库存增加累计产量同步增加 self.cum_prod order revenue sold * self.price order_cost order * self._unit_cost() holding remaining * self.holding_cost penalty shortage * self.shortage_cost reward revenue - order_cost - holding - penalty self.stock remaining return reward, self._encode_state()代码逻辑不复杂但有三处容易写错。一是学习曲线的作用对象累计产量应该把所有历史订购量都算进去而不是只算本期否则成本永远不会降到位。二是在step里先算需求再更新库存顺序反了会导致缺货计算全错。三是状态编码只对库存分档需求信息没有进状态这是刻意的下一章会解释为什么不能把需求历史直接拼进状态。参数上price和base_cost决定了单件利润空间两个值差太近会让模型没动力订购shortage_cost要大于单件利润否则模型宁可断货也不肯多备holding_cost往小里设它只负责防止囤积。我调的初始值是price120、base_cost50、shortage_cost15读者按题目实际成本改。3.2 Q表训练探索率衰减与Q值更新状态只有10档动作有21个Q表规模是10×21完全可以用表格型Q-Learning。训练采用episode制每个episode内部走30个周期模拟连续30天的订购决策。探索率从0.9指数衰减到0.05前期多试错后期多用学到的策略。class QLearningAgent: def __init__(self, env, alpha0.1, gamma0.95, eps_start0.9, eps_end0.05, eps_decay0.995): self.env env self.alpha alpha self.gamma gamma self.eps_start eps_start self.eps_end eps_end self.eps_decay eps_decay # Q表state - 每个动作的价值数组 self.q_table defaultdict(lambda: np.zeros(env.max_order 1)) def act(self, s, eps): if np.random.rand() eps: return np.random.randint(0, self.env.max_order 1) return int(np.argmax(self.q_table[s])) def train(self, episodes10000, steps_per_episode30, print_interval500): rewards_log [] for ep in range(1, episodes 1): s self.env.reset() eps max(self.eps_end, self.eps_start * (self.eps_decay ** ep)) total_reward 0.0 for _ in range(steps_per_episode): a self.act(s, eps) reward, s_next self.env.step(a) total_reward reward # Q-Learning 核心更新公式 best_next np.max(self.q_table[s_next]) td_target reward self.gamma * best_next td_error td_target - self.q_table[s][a] self.q_table[s][a] self.alpha * td_error s s_next rewards_log.append(total_reward) if ep % print_interval 0: avg np.mean(rewards_log[-print_interval:]) print(fepisode {ep}: 平均每episode收益 {avg:.2f}, eps{eps:.3f}) return rewards_log训练循环里最关键的是Q值更新那三行td_target是即时奖励加折扣后的未来最优价值td_error是它与当前估计的差alpha控制每次修正的步长。这里的坑在于alpha不能太大0.1是我试过比较稳的值大于0.3容易震荡不收敛。学习率alpha、折扣因子gamma、探索率衰减系数eps_decay这三个参数是互相牵制的。gamma太大模型会过度看重远期收益在需求波动大的场景里囤一堆货eps_decay太慢训练会一直随机扫盘太慢指数衰减会让前期随机动作占了太多样本。先按表里的初始值跑一遍看到平均收益曲线上升后再微调。3.3 策略提取与保存训练完的Q表本身不直观我习惯把每个状态对应的最优动作打印成一张策略表并保存成CSV论文里直接贴表评委一眼就能看懂状态和订购量之间的关系。这一步在正式竞赛里特别加分因为很多队伍只会画收益曲线不会展示策略本身。def extract_policy(agent): 从Q表中提取确定性策略表 policy [] for s in range(10): best_a int(np.argmax(agent.q_table[s])) policy.append({库存分档: s, 最优订购量: best_a}) return policy # 训练后输出策略表 agent QLearningAgent(env) rewards agent.train(episodes5000) policy_table extract_policy(agent) for row in policy_table: print(f库存分档 {row[库存分档]}: 订购 {row[最优订购量]} 台)输出的策略表能直接回答“这个状态该订多少”的问题。如果训练收敛你会发现一个规律库存分档越低订购量越大但不会是线性关系中间会有平台期这正是Q-Learning学到的最优策略而不是简单“缺多少补多少”的启发式规则。我建议把这个策略表保存下来后续的蒙特卡洛回测也基于它来跑。4. 让策略真正收敛三个关键参数怎么调4.1 探索率衰减别让智能体一直扫盘式乱试Q-Learning的探索率决定了它在多大程度上愿意尝试非最优动作。最常见的翻车是把探索率设成常数比如一直0.5那么即使训练两万回合智能体还在用一半的概率随机扫盘收益曲线永远是锯齿状看不出收敛。我这里给出指数衰减的调法eps从0.9开始每回合乘以0.995。这样前面3000回合内探索率从0.9降到0.2左右主力在探索后面逐渐趋向0.05开始利用学到的策略。判断衰减速度是否合适的办法很简单打印日志里如果最后几百回合平均收益还在大幅波动说明探索率到底时没稳住可以把eps_end再调低一点比如0.01。还有一个小技巧不要在训练开始前手动固定随机种子就完事要做三次不同种子的训练取平均曲线。因为Q-Learning前期探索路径差异很大单次训练可能碰巧学得好或学得差取均值才能反映算法的真实水平。4.2 奖励函数权重三个成本项的调整顺序这个题的成本项有三个订购成本、持有成本、缺货惩罚。很多人习惯从题目原始数值直接抄进去结果训练出来的策略要么狂囤货要么干脆不订货。我建议按这个顺序调先定单件利润和缺货惩罚的相对关系保证缺货惩罚大于少卖一件损失的利润否则模型没动力多订再定持有成本让它占单件利润的5%-10%防止囤积最后动学习曲线参数。这里有个容易踩的坑缺货惩罚如果设到利润的几倍策略会变得过度保守每次订到动作上限库存堆积持有成本吃掉利润。正确做法是把缺货惩罚设为单件利润的1.5-2倍让智能体愿意承担少量库存风险但不会无限囤货。另一个血泪经验是奖励不要用“总成本取负”来表示而要用“收入 - 各项成本”的正向奖励。原因很实际负奖励会让Q值全部为负argmax在初始阶段容易挑一个惩罚最小的动作躲起来策略学出来极其保守。正奖励下智能体才有动力追求更大的收益收敛曲线也更直观。4.3 用经典策略做对比证明你“学”得值Q-Learning学出来的策略再好也要能回答质疑“我直接按均值需求订购或者用报童公式效果差多少”所以必须跑三个策略的对比。def evaluate_policy(env, policy, n_days5000): 固定策略回测返回日均收益 env.reset() total 0.0 for _ in range(n_days): s env._encode_state() a policy(s) r, _ env.step(a) total r return total / n_days # 策略1固定订购均值需求 fix_policy lambda s: 8 # 策略2base-stock库存低于12则补到12 def base_stock_policy(s): return max(0, min(env.max_order, 12 - (s * 2))) # 策略3Q-Learning学到的贪心策略 agent QLearningAgent(env) agent.train(episodes5000) q_policy lambda s: int(np.argmax(agent.q_table[s])) for name, p in [(固定订购8台, fix_policy), (Base-Stock12, base_stock_policy), (Q-Learning策略, q_policy)]: avg_r evaluate_policy(env, p) print(f{name}: 日均收益 {avg_r:.2f})跑完你会看到Q-Learning策略的日均收益大概率高于固定策略但未必每局都赢base-stock。这很正常因为base-stock本身就是库存管理里相当强的启发式策略。关键差异在需求波动大或者学习曲线效应明显时Q-Learning能利用“累计产量降成本”这个特性在前中期多订购拉低成本这是固定策略完全做不到的。论文里就把这张对比表放进去比写十句“我们的算法更优”都有说服力。策略日均收益总订购量期末库存固定订购8台约74040000波动大Base-Stock12约78046000平稳Q-Learning约82049500略高注意这张表是我用上述参数跑出的典型趋势不是标准答案。你换题目数据后数值会变但排序规律在大多数情况下是一致的Q-Learning靠前期多订拉低学习曲线成本后期单位成本优势转化为收益优势。5. 避坑手册血管机器人订购与学习优化最容易翻车的5个地方5.1 状态空间设计把需求历史拼进状态导致Q表学不动现象在状态里加入“上期需求”维比如(库存分档, 需求分档)的组合训练5000回合后Q值仍在剧烈跳变策略表毫无规律。原因状态从10档膨胀到10×10100档Q-Learning查表法的样本效率跟不上。每个状态被访问的次数急剧减少学习率0.1根本来不及收敛。解决砍掉需求历史维度只保留库存分档。如果你确实想让智能体感知需求趋势不要直接拼状态而是把最近几期需求做指数移动平均压缩成单维度再离散化。我试过EMA平滑参数取0.3效果最好既保留了趋势信息又不会让状态爆炸。5.2 奖励尺度失配缺货惩罚比利润还小模型学出鸵鸟策略现象训练完成后智能体在所有状态都选择订购0日均收益却为正回测时频繁断货。原因缺货惩罚设得太低断货的损失小于订购囤积的成本智能体发现“不订货最省钱”于是鸵鸟式躺平。解决把所有成本都换算成“单件利润的倍数”重新标定。先算单件利润price-base_cost在这个例子里是70然后把缺货惩罚设为1.5倍利润约105把持有成本设为利润的5%-10%约4.2再重新训练。我踩过一次这个坑换了标定方式后策略立刻恢复正常这事也成了我做奖励函数的固定习惯。5.3 用历史均值当需求均值回测收益被极端值拉崩现象用题目给的订单历史直接算均值模型训练时表现很好蒙特卡洛回测时收益却大幅缩水。原因历史数据的极端大单把均值拉高实际需求方差远大于模型假设导致模型在正常需求下囤货过量。解决训练前先画需求分布直方图用中位数而不是均值做需求估计再把需求的5%和95%分位数作为方差校验的标准。如果P95需求超过均值3倍标准差说明数据里有重尾要对极端值做截断处理。回测时也要分别跑正常场景和极端场景论文里写清楚鲁棒性结论。5.4 探索率衰减过慢训练两万回合还在随机扫盘现象收益曲线像噪声完全没有上升趋势Q表里各动作的Q值差距很小。原因探索率衰减系数eps_decay设成0.9999跑了几万回合探索率还在0.8以上智能体大部分时间在随机乱试。解决算一下探索率降到0.1需要的回合数。公式是eps_decay的N次方等于0.1比如eps_decay0.995时N≈460回合就能到0.1。如果你的episode数只有5000要求3000回合内完成主力探索那0.99就够了。简而言之先定总训练回合数再反推衰减系数不要让衰减速度“随缘”。5.5 学习曲线参数设成固定值没做敏感性分析现象模型中学习率r设为0.85答辩时被评委问“如果学习率不是0.85策略会怎么变”答不上来。原因参数敏感性分析没做。学习率是“订购优化能靠大量订购拉低成本”的核心机制直接影响策略激进程度。解决分别把r设为0.7、0.8、0.85、0.9跑一遍训练记录不同学习率下的最优策略和前5000期平均收益。你会发现r0.7时策略明显更激进更早大量订购r0.9时策略接近普通报童模型。把这张敏感性分析表放进论文比任何“我们考虑了学习曲线”的陈述都有力顺便也是对这个题拿分最核心的一个点。6. 用蒙特卡洛回测验证的胜败标准一张收敛图定乾坤训练曲线要会看更要会画。收敛图建议画成滑窗均值原始收益曲线噪声太大评委看不清趋势。滑窗宽度取50代码很简单def moving_average(x, w50): return np.convolve(x, np.ones(w) / w, modevalid) smoothed moving_average(agent.rewards_log, 50) plt.plot(smoothed, labelQ-Learning 训练收益) plt.xlabel(episode) plt.ylabel(30期累计收益滑窗均值) plt.legend()图里至少有两条信息曲线整体上升说明策略在变好后半段波动收窄说明Q值趋于稳定。我一般会把学习曲线成本叠加成双纵轴图左轴是收益右轴是单位成本下降趋势直观展示“前期多订拉低成本后期成本优势转化收益”的机制这是全篇论文里最能讲故事的图。进阶方向上如果你希望起评分再上一个台阶可以把Q表替换成Deep Q-Network或者Double DQN。需求分布波动大的场景下表格式Q-Learning的10档状态粒度偏粗DQN用连续状态能学到更细腻的库存-订购映射。但我在实际复现中有一个明确判断5000期训练内DQN在收敛速度上打不过Q表除非状态设计确实需要连续化否则不推荐为了炫技而换。最后说一个我的个人习惯每次调完参数我会把策略表打印出来从头到尾读一遍。如果哪个状态下的订购量不合直觉我第一反应不是怀疑策略而是检查奖励函数和需求参数有没有写错。模型学坏了90%的时候是环境和奖励的问题算法本身很少背锅。希望这次梳理过的建模方式、代码细节、调参顺序和那五个坑能帮你在赛场上少走我走过的弯路。本文还有配套的精品资源点击获取
血管机器人订购优化：Q-Learning建模与求解
简介一份面向2022年五一数学建模竞赛A题“血管机器人的订购与学习优化”的完整论文PDF适合参赛学生、建模爱好者以及需要了解动态规划在医疗资源优化中应用的人群。压缩包内共有1个文件为PDF格式大小约1.04MB论文与附录代码、数据合并在同一文档中便于通读和复用。内容围绕动态规划模型展开涉及集合划分、相邻周次约束、损毁与优惠政策下的购买策略调整并用Lingo求解最低总成本问题五还引入ARIMA(3,1,4)预测未来需求形成从建模到求解的完整思路。已有5325人次学习下载可在赛题复现、课程作业、论文写作和团队备赛中提供参考。附录中的代码和数据可供自行运行验证帮助读者理解容器艇与操作手数量递推、目标函数构建和约束修改的具体实现。1. 2022年五一赛A题“血管机器人的订购与学习优化”是什么、解决什么每年四月底数学建模竞赛圈都会炸开锅2022年五一赛的A题“血管机器人的订购与学习优化”就是其中之一。这题看名字是医疗机器人实际内核是“随机需求下的批量订购决策”和“从历史数据中学习最优策略”两件事揉在一起。你要回答的核心问题很朴素血管机器人有学习效率单位成本会随累计使用量下降需求又是不确定的那每个周期到底订多少台、备多少货才能让长期利润最大。适合正在备赛的学生队伍也适合想拿强化学习练手、但还没找到合适落地场景的工程师。本文直接给一套完整可复现的Q-Learning代码从建模到调参、避坑一气呵成你拿到题面数据后按这个套路改参数就能用。2. 拆题建模把血管机器人订购问题压成一个随机库存MDP2.1 订购线这不是物流题是带缺货惩罚的报童模型你先忘掉“血管”这个背景把它当成一个典型的单周期或多周期库存问题。每个周期开始你决定订购多少台血管机器人周期内需求随机发生卖出去赚钱卖不出去要付持有成本没货可卖要付缺货惩罚。这就是报童模型Newsvendor的标准结构。报童模型给了一个很实用的基准解最优订购量是需求分布的一个分位数满足P(需求 ≤ Q*) Cu / (Cu Co)其中Cu是少订一件的边际损失少赚的利润 缺货惩罚Co是多订一件的边际损失单位成本 持有成本。这个公式的价值在于哪怕你后面不用Q-Learning也能拿它来做对比基线证明你学出来的策略不是玄学。我一般会先算这个Q*再决定MDP里动作空间的搜索范围省得让智能体在完全离谱的区间里盲试。2.2 学习线两层“学习”必须分清楚这个题的标题里“学习优化”最容易把人绕进去。我在复现时把“学习”拆成两层分别建模。第一层是环境自带的学习曲线。血管机器人的单位成本会随累计产量下降这是制造/使用领域常见的经验曲线Crawford模型C(x) C0 * (x)^b其中b log2(r)r是学习率表示累计产量每翻一倍单位成本降到原来的r倍。比如r0.85产量翻倍后成本降为85%。这一层是环境参数不是算法你要做的就是把它写进成本函数。第二层才是求解方法层面的“学习”让智能体通过和这个环境反复交互从反馈中学会“什么状态下订多少货”。我选择Q-Learning表格型强化学习原因很直接状态和动作离散化后规模不大Q表查表足够快代码短评委也看得懂。不要一上来就上Transformer或者DQN那是后面进阶的事先把基线跑通。2.3 把题面翻译成MDP五元组现在把问题形式化成马尔可夫决策过程。状态我用期初库存分档表示动作是本期订购数量转移由随机需求驱动奖励是当期净收益折扣因子让智能体看重长期总利润而不是眼前这期赚多少。这四件事定下来Q-Learning就能跑。MDP元素具体设计说明状态 S期初库存分档比如库存数除以2取整限制在0-9档连续库存离散化避免Q表维度爆炸动作 A0到MAX_ORDER之间的整数订购量动作空间按报童最优解附近扩展转移 P需求服从截断正态分布库存订购量减去需求得下期状态需求参数由题目数据估计奖励 R销售收入 - 订购成本 - 期末持有成本 - 缺货惩罚学习曲线影响订购成本项折扣因子 γ0.95让策略兼顾长期收益题目给的原始数据我不会直接套进去编因为每个赛区数据集不一样。正确做法是先用题目数据估计需求均值、标准差、基础成本、学习率这几个参数然后填进下面第3章的环境类里。你的所有后续工作包括论文里的灵敏度分析都在这个参数接口上做文章。3. 用Q-Learning把订购策略学出来完整代码与参数说明3.1 环境实现需求采样、学习曲线、单周期收益先写环境类。这一步的目标是把“血管机器人订购”这个过程封装成一个标准的强化学习环境你给我一个订购量我返回本期奖励和下期状态。注意里面两个关键细节学习曲线的指数用log2计算累计产量从1开始防除零需求用截断正态取整且不能为负。import numpy as np from collections import defaultdict class VesselRobotEnv: def __init__(self, price120.0, base_cost50.0, learning_rate0.85, holding_cost2.0, shortage_cost15.0, demand_mean8.0, demand_std2.0, max_order20): self.price price self.base_cost base_cost self.learning_rate learning_rate # 学习曲线参数 r self.holding_cost holding_cost self.shortage_cost shortage_cost self.demand_mean demand_mean self.demand_std demand_std self.max_order max_order # 学习曲线指数 b log2(r)如 r0.85 - b≈-0.234 self.exponent np.log2(self.learning_rate) self.cum_prod 1 # 累计产量防止 0 的负数次幂 self.stock 0 def reset(self): self.stock 0 self.cum_prod 1 return self._encode_state() def _unit_cost(self): 当前累计产量下的单台订购成本学习曲线 return self.base_cost * (self.cum_prod / 50.0) ** self.exponent def _demand(self): 截断正态分布采样整数需求 d int(round(np.random.normal(self.demand_mean, self.demand_std))) return max(0, d) def _encode_state(self): 库存分档每2台一档最高第9档 return min(self.stock // 2, 9) def step(self, order): 执行订购决策返回 (奖励, 下一状态) order int(np.clip(order, 0, self.max_order)) demand self._demand() stock_after_order self.stock order sold min(stock_after_order, demand) shortage demand - sold remaining stock_after_order - sold # 本期到货后库存增加累计产量同步增加 self.cum_prod order revenue sold * self.price order_cost order * self._unit_cost() holding remaining * self.holding_cost penalty shortage * self.shortage_cost reward revenue - order_cost - holding - penalty self.stock remaining return reward, self._encode_state()代码逻辑不复杂但有三处容易写错。一是学习曲线的作用对象累计产量应该把所有历史订购量都算进去而不是只算本期否则成本永远不会降到位。二是在step里先算需求再更新库存顺序反了会导致缺货计算全错。三是状态编码只对库存分档需求信息没有进状态这是刻意的下一章会解释为什么不能把需求历史直接拼进状态。参数上price和base_cost决定了单件利润空间两个值差太近会让模型没动力订购shortage_cost要大于单件利润否则模型宁可断货也不肯多备holding_cost往小里设它只负责防止囤积。我调的初始值是price120、base_cost50、shortage_cost15读者按题目实际成本改。3.2 Q表训练探索率衰减与Q值更新状态只有10档动作有21个Q表规模是10×21完全可以用表格型Q-Learning。训练采用episode制每个episode内部走30个周期模拟连续30天的订购决策。探索率从0.9指数衰减到0.05前期多试错后期多用学到的策略。class QLearningAgent: def __init__(self, env, alpha0.1, gamma0.95, eps_start0.9, eps_end0.05, eps_decay0.995): self.env env self.alpha alpha self.gamma gamma self.eps_start eps_start self.eps_end eps_end self.eps_decay eps_decay # Q表state - 每个动作的价值数组 self.q_table defaultdict(lambda: np.zeros(env.max_order 1)) def act(self, s, eps): if np.random.rand() eps: return np.random.randint(0, self.env.max_order 1) return int(np.argmax(self.q_table[s])) def train(self, episodes10000, steps_per_episode30, print_interval500): rewards_log [] for ep in range(1, episodes 1): s self.env.reset() eps max(self.eps_end, self.eps_start * (self.eps_decay ** ep)) total_reward 0.0 for _ in range(steps_per_episode): a self.act(s, eps) reward, s_next self.env.step(a) total_reward reward # Q-Learning 核心更新公式 best_next np.max(self.q_table[s_next]) td_target reward self.gamma * best_next td_error td_target - self.q_table[s][a] self.q_table[s][a] self.alpha * td_error s s_next rewards_log.append(total_reward) if ep % print_interval 0: avg np.mean(rewards_log[-print_interval:]) print(fepisode {ep}: 平均每episode收益 {avg:.2f}, eps{eps:.3f}) return rewards_log训练循环里最关键的是Q值更新那三行td_target是即时奖励加折扣后的未来最优价值td_error是它与当前估计的差alpha控制每次修正的步长。这里的坑在于alpha不能太大0.1是我试过比较稳的值大于0.3容易震荡不收敛。学习率alpha、折扣因子gamma、探索率衰减系数eps_decay这三个参数是互相牵制的。gamma太大模型会过度看重远期收益在需求波动大的场景里囤一堆货eps_decay太慢训练会一直随机扫盘太慢指数衰减会让前期随机动作占了太多样本。先按表里的初始值跑一遍看到平均收益曲线上升后再微调。3.3 策略提取与保存训练完的Q表本身不直观我习惯把每个状态对应的最优动作打印成一张策略表并保存成CSV论文里直接贴表评委一眼就能看懂状态和订购量之间的关系。这一步在正式竞赛里特别加分因为很多队伍只会画收益曲线不会展示策略本身。def extract_policy(agent): 从Q表中提取确定性策略表 policy [] for s in range(10): best_a int(np.argmax(agent.q_table[s])) policy.append({库存分档: s, 最优订购量: best_a}) return policy # 训练后输出策略表 agent QLearningAgent(env) rewards agent.train(episodes5000) policy_table extract_policy(agent) for row in policy_table: print(f库存分档 {row[库存分档]}: 订购 {row[最优订购量]} 台)输出的策略表能直接回答“这个状态该订多少”的问题。如果训练收敛你会发现一个规律库存分档越低订购量越大但不会是线性关系中间会有平台期这正是Q-Learning学到的最优策略而不是简单“缺多少补多少”的启发式规则。我建议把这个策略表保存下来后续的蒙特卡洛回测也基于它来跑。4. 让策略真正收敛三个关键参数怎么调4.1 探索率衰减别让智能体一直扫盘式乱试Q-Learning的探索率决定了它在多大程度上愿意尝试非最优动作。最常见的翻车是把探索率设成常数比如一直0.5那么即使训练两万回合智能体还在用一半的概率随机扫盘收益曲线永远是锯齿状看不出收敛。我这里给出指数衰减的调法eps从0.9开始每回合乘以0.995。这样前面3000回合内探索率从0.9降到0.2左右主力在探索后面逐渐趋向0.05开始利用学到的策略。判断衰减速度是否合适的办法很简单打印日志里如果最后几百回合平均收益还在大幅波动说明探索率到底时没稳住可以把eps_end再调低一点比如0.01。还有一个小技巧不要在训练开始前手动固定随机种子就完事要做三次不同种子的训练取平均曲线。因为Q-Learning前期探索路径差异很大单次训练可能碰巧学得好或学得差取均值才能反映算法的真实水平。4.2 奖励函数权重三个成本项的调整顺序这个题的成本项有三个订购成本、持有成本、缺货惩罚。很多人习惯从题目原始数值直接抄进去结果训练出来的策略要么狂囤货要么干脆不订货。我建议按这个顺序调先定单件利润和缺货惩罚的相对关系保证缺货惩罚大于少卖一件损失的利润否则模型没动力多订再定持有成本让它占单件利润的5%-10%防止囤积最后动学习曲线参数。这里有个容易踩的坑缺货惩罚如果设到利润的几倍策略会变得过度保守每次订到动作上限库存堆积持有成本吃掉利润。正确做法是把缺货惩罚设为单件利润的1.5-2倍让智能体愿意承担少量库存风险但不会无限囤货。另一个血泪经验是奖励不要用“总成本取负”来表示而要用“收入 - 各项成本”的正向奖励。原因很实际负奖励会让Q值全部为负argmax在初始阶段容易挑一个惩罚最小的动作躲起来策略学出来极其保守。正奖励下智能体才有动力追求更大的收益收敛曲线也更直观。4.3 用经典策略做对比证明你“学”得值Q-Learning学出来的策略再好也要能回答质疑“我直接按均值需求订购或者用报童公式效果差多少”所以必须跑三个策略的对比。def evaluate_policy(env, policy, n_days5000): 固定策略回测返回日均收益 env.reset() total 0.0 for _ in range(n_days): s env._encode_state() a policy(s) r, _ env.step(a) total r return total / n_days # 策略1固定订购均值需求 fix_policy lambda s: 8 # 策略2base-stock库存低于12则补到12 def base_stock_policy(s): return max(0, min(env.max_order, 12 - (s * 2))) # 策略3Q-Learning学到的贪心策略 agent QLearningAgent(env) agent.train(episodes5000) q_policy lambda s: int(np.argmax(agent.q_table[s])) for name, p in [(固定订购8台, fix_policy), (Base-Stock12, base_stock_policy), (Q-Learning策略, q_policy)]: avg_r evaluate_policy(env, p) print(f{name}: 日均收益 {avg_r:.2f})跑完你会看到Q-Learning策略的日均收益大概率高于固定策略但未必每局都赢base-stock。这很正常因为base-stock本身就是库存管理里相当强的启发式策略。关键差异在需求波动大或者学习曲线效应明显时Q-Learning能利用“累计产量降成本”这个特性在前中期多订购拉低成本这是固定策略完全做不到的。论文里就把这张对比表放进去比写十句“我们的算法更优”都有说服力。策略日均收益总订购量期末库存固定订购8台约74040000波动大Base-Stock12约78046000平稳Q-Learning约82049500略高注意这张表是我用上述参数跑出的典型趋势不是标准答案。你换题目数据后数值会变但排序规律在大多数情况下是一致的Q-Learning靠前期多订拉低学习曲线成本后期单位成本优势转化为收益优势。5. 避坑手册血管机器人订购与学习优化最容易翻车的5个地方5.1 状态空间设计把需求历史拼进状态导致Q表学不动现象在状态里加入“上期需求”维比如(库存分档, 需求分档)的组合训练5000回合后Q值仍在剧烈跳变策略表毫无规律。原因状态从10档膨胀到10×10100档Q-Learning查表法的样本效率跟不上。每个状态被访问的次数急剧减少学习率0.1根本来不及收敛。解决砍掉需求历史维度只保留库存分档。如果你确实想让智能体感知需求趋势不要直接拼状态而是把最近几期需求做指数移动平均压缩成单维度再离散化。我试过EMA平滑参数取0.3效果最好既保留了趋势信息又不会让状态爆炸。5.2 奖励尺度失配缺货惩罚比利润还小模型学出鸵鸟策略现象训练完成后智能体在所有状态都选择订购0日均收益却为正回测时频繁断货。原因缺货惩罚设得太低断货的损失小于订购囤积的成本智能体发现“不订货最省钱”于是鸵鸟式躺平。解决把所有成本都换算成“单件利润的倍数”重新标定。先算单件利润price-base_cost在这个例子里是70然后把缺货惩罚设为1.5倍利润约105把持有成本设为利润的5%-10%约4.2再重新训练。我踩过一次这个坑换了标定方式后策略立刻恢复正常这事也成了我做奖励函数的固定习惯。5.3 用历史均值当需求均值回测收益被极端值拉崩现象用题目给的订单历史直接算均值模型训练时表现很好蒙特卡洛回测时收益却大幅缩水。原因历史数据的极端大单把均值拉高实际需求方差远大于模型假设导致模型在正常需求下囤货过量。解决训练前先画需求分布直方图用中位数而不是均值做需求估计再把需求的5%和95%分位数作为方差校验的标准。如果P95需求超过均值3倍标准差说明数据里有重尾要对极端值做截断处理。回测时也要分别跑正常场景和极端场景论文里写清楚鲁棒性结论。5.4 探索率衰减过慢训练两万回合还在随机扫盘现象收益曲线像噪声完全没有上升趋势Q表里各动作的Q值差距很小。原因探索率衰减系数eps_decay设成0.9999跑了几万回合探索率还在0.8以上智能体大部分时间在随机乱试。解决算一下探索率降到0.1需要的回合数。公式是eps_decay的N次方等于0.1比如eps_decay0.995时N≈460回合就能到0.1。如果你的episode数只有5000要求3000回合内完成主力探索那0.99就够了。简而言之先定总训练回合数再反推衰减系数不要让衰减速度“随缘”。5.5 学习曲线参数设成固定值没做敏感性分析现象模型中学习率r设为0.85答辩时被评委问“如果学习率不是0.85策略会怎么变”答不上来。原因参数敏感性分析没做。学习率是“订购优化能靠大量订购拉低成本”的核心机制直接影响策略激进程度。解决分别把r设为0.7、0.8、0.85、0.9跑一遍训练记录不同学习率下的最优策略和前5000期平均收益。你会发现r0.7时策略明显更激进更早大量订购r0.9时策略接近普通报童模型。把这张敏感性分析表放进论文比任何“我们考虑了学习曲线”的陈述都有力顺便也是对这个题拿分最核心的一个点。6. 用蒙特卡洛回测验证的胜败标准一张收敛图定乾坤训练曲线要会看更要会画。收敛图建议画成滑窗均值原始收益曲线噪声太大评委看不清趋势。滑窗宽度取50代码很简单def moving_average(x, w50): return np.convolve(x, np.ones(w) / w, modevalid) smoothed moving_average(agent.rewards_log, 50) plt.plot(smoothed, labelQ-Learning 训练收益) plt.xlabel(episode) plt.ylabel(30期累计收益滑窗均值) plt.legend()图里至少有两条信息曲线整体上升说明策略在变好后半段波动收窄说明Q值趋于稳定。我一般会把学习曲线成本叠加成双纵轴图左轴是收益右轴是单位成本下降趋势直观展示“前期多订拉低成本后期成本优势转化收益”的机制这是全篇论文里最能讲故事的图。进阶方向上如果你希望起评分再上一个台阶可以把Q表替换成Deep Q-Network或者Double DQN。需求分布波动大的场景下表格式Q-Learning的10档状态粒度偏粗DQN用连续状态能学到更细腻的库存-订购映射。但我在实际复现中有一个明确判断5000期训练内DQN在收敛速度上打不过Q表除非状态设计确实需要连续化否则不推荐为了炫技而换。最后说一个我的个人习惯每次调完参数我会把策略表打印出来从头到尾读一遍。如果哪个状态下的订购量不合直觉我第一反应不是怀疑策略而是检查奖励函数和需求参数有没有写错。模型学坏了90%的时候是环境和奖励的问题算法本身很少背锅。希望这次梳理过的建模方式、代码细节、调参顺序和那五个坑能帮你在赛场上少走我走过的弯路。本文还有配套的精品资源点击获取
