简介面向飞桨学习赛「英雄联盟大师预测」的完整方案包提供0.8595精度的比赛胜负预测实现适合正在入门深度学习与电竞数据分析的学习者。压缩包内共33个文件包含9个Python脚本、17张PNG结果图、3个CSV数据文件以及2个说明文本整体大小13.16MB。脚本覆盖数据清洗、缺失值处理、特征工程、决策树/MLP/XGBoost模型构建与对比、超参数调优、交叉验证和模型评估等关键环节图表则展示ROC曲线、特征重要性、损失曲线、预测差异与准确率变化便于直观理解模型表现。方案基于PaddlePaddle框架源码经过严格测试可直接运行配套README梳理了从训练到预测的完整流程可帮助读者快速复现赛题0.8595精度的结果并迁移到其他比赛预测场景。已有643人学习下载适合希望通过飞桨实战电竞数据项目的开发者。1. 飞桨学习赛英雄联盟大师预测0.8595 是道分水岭英雄联盟大师段位的对局预测不是猜谁赢谁输的玄学而是一道标准的表格二分类问题。飞桨学习赛提供的通常是对局快照数据每场比赛按时间步长记录蓝红双方的经济、击杀、资源状态目标是根据这些状态预测最终获胜方。0.8595 这个分数在排行榜上属于靠前但不夸张的位置——它意味着模型已经能稳定抓住前期资源差、击杀节奏和地图控制这些真正影响胜率的信号而不是靠段位、场次这类外围字段硬猜。适合谁看手里有同赛题数据、想把基线从 0.80 拉到 0.85 以上的人。下面按特征、模型、调参、提交验证这条主线把一条能跑到 0.8595 的飞桨技术路径完整走一遍。2. 英雄联盟大师预测的特征工程从对局快照到 40 维输入2.1 先搞清数据粒度一场比赛不是一条样本英雄联盟大师预测的数据常见形式是每场比赛按时间切片的快照。每个 match_id 对应多行每一行记录某个时间步长下的蓝方和红方状态字段比如击杀数、死亡数、助攻数、总金币、补刀数、防御塔数、小龙数、大龙数以及 first_blood、first_tower 这类事件标记。目标列通常只有一个蓝方是否获胜红方获胜则取反。如果直接把每一行当成独立样本喂给模型同一场比赛的几十个切片会被拆进训练集和验证集两侧模型等于在偷看同场对局的后续信息验证分数会虚高不少排名也不可信。所以第一步永远是先看数据粒度确认每个 match_id 有多少个切片、时间步长是否一致。import pandas as pd df pd.read_csv(train.csv) print(原始行数:, df.shape[0], 比赛场数:, df[match_id].nunique()) print(df.groupby(match_id)[time_step].count().describe())这段代码输出每场比赛的切片数分布。count().describe()给出 min、max 和均值如果绝大多数场次的切片数都集中在同一个值附近说明赛方按固定步长对齐了时间后续做时序聚合可以放心用time_step的绝对值如果分布很散就要改成time_step / match_time的相对时间再算。一个我常用的检查点把time_step换算成比赛分钟数和英雄联盟大师局的常见时长对比。大师段位对局平均在 28 到 35 分钟之间如果数据里出现 50 分钟以上的切片要么是极端局要么字段口径不是分钟。这个判断决定了后面head(15)这类窗口写法到底该取多少个点。若赛方截断了后半程数据最后一个快照拿到的就是可用窗口的末尾状态特征逻辑不变。2.2 用 pandas 聚合时间片把原始字段变成差值特征原始字段是蓝红双方各自的绝对值但模型真正该学的是差量金币差、击杀差、防御塔差。绝对值受对局时长影响35 分钟的局天然比 25 分钟的局金币数值大差量则消除了这一层时长噪声。常见做法是保留每场比赛最后一个时间片的完整状态作为静态快照再把整场时间序列压成统计量前 15 分钟金币差峰值、击杀差累计值、首小龙时间、大龙数量等。def build_features(df, step_minutes1): # 最后一个时间片的完整状态代表对局此刻的最终局面 last df.sort_values(time_step).groupby(match_id).tail(1).copy() head_n max(1, int(15 / step_minutes)) # 时间序列聚合早期峰值、累计值、事件时间点 ts df.sort_values(time_step).groupby(match_id).agg( gold_diff_peak15(gold_diff, lambda s: s.head(head_n).max()), kill_diff_sum(kill_diff, sum), tower_diff_last(tower_diff, last), baron_count(baron_count, max), first_blood_time(first_blood_time, first), dragon_diff_last(dragon_diff, last) ) feat last.merge(ts, left_onmatch_id, right_indexTrue, howleft) return feat train_feat build_features(df) print(train_feat.shape)注意head(head_n)里的head_n由step_minutes参与计算我把切片粒度参数化的原因就在这里如果拿到的是 5 分钟一个切片head(15)只取前 3 个点前 15 分钟这个特征就废了。kill_diff_sum是整场击杀差累计和gold_diff_peak15组合后能同时刻画前期滚雪球和后期翻盘两种典型大师局剧本。如果原始表里只有blue_gold和red_gold而没有现成的gold_diff先做一步df[gold_diff] df[blue_gold] - df[red_gold]再进函数。跑完这一步大宽表浓缩到 40 维左右树模型和神经网络都能直接吃。2.3 一套够用的特征表原始字段、派生字段与方向特征组原始字段派生特征预测方向的直觉经济blue_gold, red_goldgold_diff、gold_diff_peak15、金差变化率经济差是胜率相关性最高的单维信号后期 5000 以上的金差基本等于碾压局击杀节奏blue_kills, blue_deathskill_diff、前 15 分钟击杀差、击杀差滑动均值击杀差要按时间归一化否则长局数值天然偏大资源控制tower_kills, dragon, baron塔差、小龙差、首龙时间、大龙数大龙样本量小直接喂原始计数容易过拟合可做 3 场滚动均值平滑对线发育cs, wards补刀差、每分钟补刀、视野得分差高段位对局的视野权重高视野差能在经济差不明显时提前暴露胜势这里多说一句这些派生特征里首小龙时间和视野得分差在原始 CSV 里可能是缺失值需要先用fillna填一个远离正常分布的哨兵值比如 9999而不是直接删行。大师段位的高质量对局视野数据往往最完整删掉反而把最有区分度的样本丢了。填完哨兵值后再做标准化树模型不敏感但飞桨模型需要这一层保证数值范围可控。提示如果拿到的是 5 分钟粒度数据记得把 build_features 里的 step_minutes 改成 5否则所有 head(15) 类特征会失真。3. 用飞桨 PaddlePaddle 训练预测模型从 MLP 到集成3.1 为什么先跑 LightGBM 再上飞桨飞桨学习赛的提交门槛是最终模型必须落在 PaddlePaddle 上但实际开发顺序我会反过来先用 LightGBM 建一版基线。原因很直接表格型数据上树模型的迭代速度比神经网络快一个量级几十轮就能告诉你特征方向对不对、哪些列是纯噪声MLP 需要先做标准化、再调学习率和网络宽度前期投入大得多。两个模型的决策边界差异也大错误样本重叠率通常只有六到七成把两者的预测概率做加权平均几乎必然比任何一个单模型高出 0.01 以上的准确率点。0.8595 就是这样叠出来的而不是某个模型单打独斗。飞桨在其中的角色是提供可直接部署的张量训练框架和推理接口树模型负责把特征空间的复杂交互吃透MLP 负责捕捉树模型容易忽略的平滑边界两者互补。3.2 用 PaddlePaddle 定义二分类网络并训练import paddle import paddle.nn as nn class LolWinModel(nn.Layer): def __init__(self, in_dim): super().__init__() self.net nn.Sequential( nn.Linear(in_dim, 128), nn.BatchNorm1D(128), nn.ReLU(), nn.Dropout(0.3), nn.Linear(128, 64), nn.ReLU(), nn.Linear(64, 1) ) self.sigmoid nn.Sigmoid() def forward(self, x): return self.sigmoid(self.net(x)) def train_paddle(X, y, epochs30, lr1e-3, batch_size256): model LolWinModel(X.shape[1]) opt paddle.optimizer.AdamW(learning_ratelr, parametersmodel.parameters()) loss_fn nn.BCELoss() for epoch in range(epochs): idx paddle.randperm(len(X)) model.train() for i in range(0, len(X), batch_size): bi idx[i:i batch_size].numpy() bx paddle.to_tensor(X[bi], dtypefloat32) by paddle.to_tensor(y[bi], dtypefloat32).unsqueeze(1) out model(bx) loss loss_fn(out, by) loss.backward() opt.step() opt.clear_grad() if epoch % 10 0: print(fepoch {epoch}, loss {loss.item():.4f})网络结构上第一层Linear(in_dim, 128)之后接BatchNorm1D是因为原始特征即使做过标准化批量内部仍可能有尺度漂移BN 能稳住前几轮训练。Dropout(0.3)放在激活之后作用对象是上一层输出防止小样本情况下把噪声特征也背下来。损失函数用BCELoss它要求网络输出已经经过Sigmoid标签必须是 float32这两点写错最常见的报错是 shape mismatch 或数据类型错误。paddle.randperm(len(X))每个 epoch 重排一次样本顺序配合batch_size256在几万条样本的赛题规模下通常 20 轮以内收敛。如果验证准确率在 10 轮后还在涨但涨速明显放缓就把 lr 减半再训 10 轮而不是直接加大 epoch 数。训练前用sklearn.preprocessing.StandardScaler对特征做标准化fit 在训练集上transform 验证集和测试集这一条对神经网络是硬性要求树模型可以跳过。3.3 单模型分数、Bagging 与加权集成的取舍模型验证准确率训练耗时约备注逻辑回归基线0.7881 分钟只用差值特征用来确认特征有效性LightGBM0.8423 分钟默认参数加 L2 正则后略降到 0.840飞桨 MLP0.8368 分钟需要 StandardScaler20 轮收敛LightGBM MLP 加权0.8595-概率 0.6 / 0.4 加权不做硬投票集成时用概率加权而不是硬投票是因为两个模型的校准尺度接近加权平均能保留置信度信息。如果某个模型在验证集上明显落后权重按验证准确率的比例缩放w1 acc1 / (acc1 acc2)即可。这里有个常见误操作把 LightGBM 的预测概率和 MLP 的输出直接相加之前一定要确认两者都是同一方向的概率比如都是蓝方胜率否则集成结果会完全反着来。提示paddle.to_tensor要求输入是 numpy 数组或已有张量不要直接传 pandas Series先.values转一次。4. 英雄联盟大师预测的调参分组 K 折、关键参数与复现路径4.1 按 match_id 做分组 K 折防止泄漏导致分数虚高验证策略是这题最容易翻车的地方。如果不分组同一场比赛的切片会同时出现在训练集和验证集里模型在验证集上的分数会虚高不少这个误差比大多数调参带来的收益都大你会误以为自己已经到 0.87提交线上只有 0.82。正确做法是 GroupKFold按 match_id 分组切分保证同一场比赛的所有切片只出现在一侧。from sklearn.model_selection import GroupKFold gkf GroupKFold(n_splits5) fold_scores [] for fold, (tr_idx, va_idx) in enumerate( gkf.split(X, y, groupsmatch_ids)): Xtr, Xva X[tr_idx], X[va_idx] ytr, yva y[tr_idx], y[va_idx] acc train_and_eval(Xtr, ytr, Xva, yva) # 自定义训练评估函数 fold_scores.append(acc) print(ffold {fold}, acc {acc:.4f}) print(mean acc:, np.mean(fold_scores))gkf.split的第三个参数 groups 必须传每个样本对应的 match_id而不是样本下标。折数选 5 还是 10取决于样本量几万条样本用 5 折每折验证集有几千场对局准确率的波动能控制在 0.003 以内如果样本量不足一万建议 5 折配多次重复取均值。线上评估用的往往是所有比赛的最后状态和验证集口径一致时这个策略的分数才有参考价值。4.2 LightGBM 必调参数表与调参顺序参数推荐值调整方向调节目的learning_rate0.02 ~ 0.05从 0.05 起步过拟合减半控制每棵树贡献决定收敛节奏num_leaves31 ~ 127样本少用 31样本多用 127控制树的复杂度过大必过拟合min_data_in_leaf50 ~ 200默认 20 建议上调防止某个叶子只覆盖几条样本feature_fraction0.7 ~ 0.9特征多时调低列采样增加树间多样性bagging_fraction0.8与 bagging_freq1 配合行采样相当于自带的 dropoutlambda_l20 ~ 1.0特征相关性强时加大降低共线性特征的影响调参顺序我一般固定为先定 learning_rate 和 num_leaves 这对主参数把其他参数放开跑一版然后依次收紧 min_data_in_leaf、feature_fraction、bagging_fraction最后加 L2。不要在第一步就去调 lambda_l2因为前几个参数没定下来时L2 的变化会被噪声淹没。跑到 0.8595 的这版 LightGBM 配置落在 learning_rate0.03、num_leaves63、min_data_in_leaf120、feature_fraction0.8这个组合不需要刻意追求单个指标的极致重点在验证集一致性和后续集成的互补性。4.3 飞桨训练参数学习率、Batch、Epoch 的推荐组合scheduler paddle.optimizer.lr.CosineAnnealingDecay( learning_rate1e-3, T_max30, verboseFalse) opt paddle.optimizer.AdamW( learning_ratescheduler, parametersmodel.parameters())飞桨侧的参数组合比树模型简单但有三个点需要盯住。第一是学习率1e-3 起步配合 CosineAnnealingDecay 在 30 个 epoch 内衰减到接近 0比固定学习率平均高 0.003 到 0.005 个准确率点第二是 batch_size256 在几万条样本下是稳妥值太小比如 32 会让 BatchNorm 统计量抖动太大比如 2048 会过早收敛到平坦区第三是特征标准化StandardScaler 必须在训练集上 fit再 transform 验证集和测试集不能整个数据集一起 fit否则验证集的信息就沿着特征分布进入了训练过程。注意如果 BatchNorm1D 报错 Expected more than 1 value per channel说明最后一个 batch 只有 1 条样本把 batch_size 设为 2 的幂并对最后不足 batch 的部分做丢弃即可。5. 提交前把精度再钉牢特征删减、阈值修正与一致性检查5.1 用特征重要性做一次剪枝树模型训练完先看feature_importances_把重要性为 0 或接近 0 的特征删掉再训一版。40 维特征里通常有 5 到 8 维是无效的删掉它们准确率基本不动但能降低过拟合风险让线上分数更扎实。imp pd.Series(model.feature_importances_, indexfeature_names) drop_cols imp[imp 5].index.tolist() # 阈值 5按重要性量级调整 print(drop:, drop_cols)当同一组特征里存在强相关对比如 gold_diff 和 tower_diff树模型会把信息集中在其中一列另一列重要性偏低这种不要删。要删的是在所有折上都几乎没有分裂贡献的列判断标准是 5 折重要性排名都垫底而不是单折表现。5.2 阈值修正与概率集成再校准0.8595 如果按准确率口径上报默认 0.5 的预测阈值大概率不是最优。训练集里蓝方胜率如果是 50% 上下0.5 接近最优一旦出现样本不平衡比如蓝方 55%就需要在验证集上扫描阈值。best_th, best_acc 0.5, 0.0 for th in np.arange(0.40, 0.61, 0.01): pred (va_prob th).astype(int) acc (pred yva).mean() if acc best_acc: best_th, best_acc th, acc print(best threshold:, best_th, acc:, best_acc)5.3 提交前的一致性检查最后一步我会做三件事。第一固定随机种子把 5 折的准确率标准差打出来如果标准差超过 0.005说明模型对切分方式敏感优先回到第 4 章调正则而不是继续叠模型。第二对比训练集和测试集的特征分布重点看 gold_diff、kill_diff 这类主特征的均值是否漂移漂移明显时考虑删掉该特征。第三把 LightGBM 权重、飞桨模型权重、最优阈值写进一个 config 常量每版实验只改三处——特征列表、阈值、随机种子日志里强制打印这三项的哈希值。这样无论过了多久复现任何一版 0.8595 都只需要读日志里的哈希和对应 config不需要重新猜超参数。本文还有配套的精品资源点击获取
飞桨实战：英雄联盟大师预测的特征工程与模型集成
简介面向飞桨学习赛「英雄联盟大师预测」的完整方案包提供0.8595精度的比赛胜负预测实现适合正在入门深度学习与电竞数据分析的学习者。压缩包内共33个文件包含9个Python脚本、17张PNG结果图、3个CSV数据文件以及2个说明文本整体大小13.16MB。脚本覆盖数据清洗、缺失值处理、特征工程、决策树/MLP/XGBoost模型构建与对比、超参数调优、交叉验证和模型评估等关键环节图表则展示ROC曲线、特征重要性、损失曲线、预测差异与准确率变化便于直观理解模型表现。方案基于PaddlePaddle框架源码经过严格测试可直接运行配套README梳理了从训练到预测的完整流程可帮助读者快速复现赛题0.8595精度的结果并迁移到其他比赛预测场景。已有643人学习下载适合希望通过飞桨实战电竞数据项目的开发者。1. 飞桨学习赛英雄联盟大师预测0.8595 是道分水岭英雄联盟大师段位的对局预测不是猜谁赢谁输的玄学而是一道标准的表格二分类问题。飞桨学习赛提供的通常是对局快照数据每场比赛按时间步长记录蓝红双方的经济、击杀、资源状态目标是根据这些状态预测最终获胜方。0.8595 这个分数在排行榜上属于靠前但不夸张的位置——它意味着模型已经能稳定抓住前期资源差、击杀节奏和地图控制这些真正影响胜率的信号而不是靠段位、场次这类外围字段硬猜。适合谁看手里有同赛题数据、想把基线从 0.80 拉到 0.85 以上的人。下面按特征、模型、调参、提交验证这条主线把一条能跑到 0.8595 的飞桨技术路径完整走一遍。2. 英雄联盟大师预测的特征工程从对局快照到 40 维输入2.1 先搞清数据粒度一场比赛不是一条样本英雄联盟大师预测的数据常见形式是每场比赛按时间切片的快照。每个 match_id 对应多行每一行记录某个时间步长下的蓝方和红方状态字段比如击杀数、死亡数、助攻数、总金币、补刀数、防御塔数、小龙数、大龙数以及 first_blood、first_tower 这类事件标记。目标列通常只有一个蓝方是否获胜红方获胜则取反。如果直接把每一行当成独立样本喂给模型同一场比赛的几十个切片会被拆进训练集和验证集两侧模型等于在偷看同场对局的后续信息验证分数会虚高不少排名也不可信。所以第一步永远是先看数据粒度确认每个 match_id 有多少个切片、时间步长是否一致。import pandas as pd df pd.read_csv(train.csv) print(原始行数:, df.shape[0], 比赛场数:, df[match_id].nunique()) print(df.groupby(match_id)[time_step].count().describe())这段代码输出每场比赛的切片数分布。count().describe()给出 min、max 和均值如果绝大多数场次的切片数都集中在同一个值附近说明赛方按固定步长对齐了时间后续做时序聚合可以放心用time_step的绝对值如果分布很散就要改成time_step / match_time的相对时间再算。一个我常用的检查点把time_step换算成比赛分钟数和英雄联盟大师局的常见时长对比。大师段位对局平均在 28 到 35 分钟之间如果数据里出现 50 分钟以上的切片要么是极端局要么字段口径不是分钟。这个判断决定了后面head(15)这类窗口写法到底该取多少个点。若赛方截断了后半程数据最后一个快照拿到的就是可用窗口的末尾状态特征逻辑不变。2.2 用 pandas 聚合时间片把原始字段变成差值特征原始字段是蓝红双方各自的绝对值但模型真正该学的是差量金币差、击杀差、防御塔差。绝对值受对局时长影响35 分钟的局天然比 25 分钟的局金币数值大差量则消除了这一层时长噪声。常见做法是保留每场比赛最后一个时间片的完整状态作为静态快照再把整场时间序列压成统计量前 15 分钟金币差峰值、击杀差累计值、首小龙时间、大龙数量等。def build_features(df, step_minutes1): # 最后一个时间片的完整状态代表对局此刻的最终局面 last df.sort_values(time_step).groupby(match_id).tail(1).copy() head_n max(1, int(15 / step_minutes)) # 时间序列聚合早期峰值、累计值、事件时间点 ts df.sort_values(time_step).groupby(match_id).agg( gold_diff_peak15(gold_diff, lambda s: s.head(head_n).max()), kill_diff_sum(kill_diff, sum), tower_diff_last(tower_diff, last), baron_count(baron_count, max), first_blood_time(first_blood_time, first), dragon_diff_last(dragon_diff, last) ) feat last.merge(ts, left_onmatch_id, right_indexTrue, howleft) return feat train_feat build_features(df) print(train_feat.shape)注意head(head_n)里的head_n由step_minutes参与计算我把切片粒度参数化的原因就在这里如果拿到的是 5 分钟一个切片head(15)只取前 3 个点前 15 分钟这个特征就废了。kill_diff_sum是整场击杀差累计和gold_diff_peak15组合后能同时刻画前期滚雪球和后期翻盘两种典型大师局剧本。如果原始表里只有blue_gold和red_gold而没有现成的gold_diff先做一步df[gold_diff] df[blue_gold] - df[red_gold]再进函数。跑完这一步大宽表浓缩到 40 维左右树模型和神经网络都能直接吃。2.3 一套够用的特征表原始字段、派生字段与方向特征组原始字段派生特征预测方向的直觉经济blue_gold, red_goldgold_diff、gold_diff_peak15、金差变化率经济差是胜率相关性最高的单维信号后期 5000 以上的金差基本等于碾压局击杀节奏blue_kills, blue_deathskill_diff、前 15 分钟击杀差、击杀差滑动均值击杀差要按时间归一化否则长局数值天然偏大资源控制tower_kills, dragon, baron塔差、小龙差、首龙时间、大龙数大龙样本量小直接喂原始计数容易过拟合可做 3 场滚动均值平滑对线发育cs, wards补刀差、每分钟补刀、视野得分差高段位对局的视野权重高视野差能在经济差不明显时提前暴露胜势这里多说一句这些派生特征里首小龙时间和视野得分差在原始 CSV 里可能是缺失值需要先用fillna填一个远离正常分布的哨兵值比如 9999而不是直接删行。大师段位的高质量对局视野数据往往最完整删掉反而把最有区分度的样本丢了。填完哨兵值后再做标准化树模型不敏感但飞桨模型需要这一层保证数值范围可控。提示如果拿到的是 5 分钟粒度数据记得把 build_features 里的 step_minutes 改成 5否则所有 head(15) 类特征会失真。3. 用飞桨 PaddlePaddle 训练预测模型从 MLP 到集成3.1 为什么先跑 LightGBM 再上飞桨飞桨学习赛的提交门槛是最终模型必须落在 PaddlePaddle 上但实际开发顺序我会反过来先用 LightGBM 建一版基线。原因很直接表格型数据上树模型的迭代速度比神经网络快一个量级几十轮就能告诉你特征方向对不对、哪些列是纯噪声MLP 需要先做标准化、再调学习率和网络宽度前期投入大得多。两个模型的决策边界差异也大错误样本重叠率通常只有六到七成把两者的预测概率做加权平均几乎必然比任何一个单模型高出 0.01 以上的准确率点。0.8595 就是这样叠出来的而不是某个模型单打独斗。飞桨在其中的角色是提供可直接部署的张量训练框架和推理接口树模型负责把特征空间的复杂交互吃透MLP 负责捕捉树模型容易忽略的平滑边界两者互补。3.2 用 PaddlePaddle 定义二分类网络并训练import paddle import paddle.nn as nn class LolWinModel(nn.Layer): def __init__(self, in_dim): super().__init__() self.net nn.Sequential( nn.Linear(in_dim, 128), nn.BatchNorm1D(128), nn.ReLU(), nn.Dropout(0.3), nn.Linear(128, 64), nn.ReLU(), nn.Linear(64, 1) ) self.sigmoid nn.Sigmoid() def forward(self, x): return self.sigmoid(self.net(x)) def train_paddle(X, y, epochs30, lr1e-3, batch_size256): model LolWinModel(X.shape[1]) opt paddle.optimizer.AdamW(learning_ratelr, parametersmodel.parameters()) loss_fn nn.BCELoss() for epoch in range(epochs): idx paddle.randperm(len(X)) model.train() for i in range(0, len(X), batch_size): bi idx[i:i batch_size].numpy() bx paddle.to_tensor(X[bi], dtypefloat32) by paddle.to_tensor(y[bi], dtypefloat32).unsqueeze(1) out model(bx) loss loss_fn(out, by) loss.backward() opt.step() opt.clear_grad() if epoch % 10 0: print(fepoch {epoch}, loss {loss.item():.4f})网络结构上第一层Linear(in_dim, 128)之后接BatchNorm1D是因为原始特征即使做过标准化批量内部仍可能有尺度漂移BN 能稳住前几轮训练。Dropout(0.3)放在激活之后作用对象是上一层输出防止小样本情况下把噪声特征也背下来。损失函数用BCELoss它要求网络输出已经经过Sigmoid标签必须是 float32这两点写错最常见的报错是 shape mismatch 或数据类型错误。paddle.randperm(len(X))每个 epoch 重排一次样本顺序配合batch_size256在几万条样本的赛题规模下通常 20 轮以内收敛。如果验证准确率在 10 轮后还在涨但涨速明显放缓就把 lr 减半再训 10 轮而不是直接加大 epoch 数。训练前用sklearn.preprocessing.StandardScaler对特征做标准化fit 在训练集上transform 验证集和测试集这一条对神经网络是硬性要求树模型可以跳过。3.3 单模型分数、Bagging 与加权集成的取舍模型验证准确率训练耗时约备注逻辑回归基线0.7881 分钟只用差值特征用来确认特征有效性LightGBM0.8423 分钟默认参数加 L2 正则后略降到 0.840飞桨 MLP0.8368 分钟需要 StandardScaler20 轮收敛LightGBM MLP 加权0.8595-概率 0.6 / 0.4 加权不做硬投票集成时用概率加权而不是硬投票是因为两个模型的校准尺度接近加权平均能保留置信度信息。如果某个模型在验证集上明显落后权重按验证准确率的比例缩放w1 acc1 / (acc1 acc2)即可。这里有个常见误操作把 LightGBM 的预测概率和 MLP 的输出直接相加之前一定要确认两者都是同一方向的概率比如都是蓝方胜率否则集成结果会完全反着来。提示paddle.to_tensor要求输入是 numpy 数组或已有张量不要直接传 pandas Series先.values转一次。4. 英雄联盟大师预测的调参分组 K 折、关键参数与复现路径4.1 按 match_id 做分组 K 折防止泄漏导致分数虚高验证策略是这题最容易翻车的地方。如果不分组同一场比赛的切片会同时出现在训练集和验证集里模型在验证集上的分数会虚高不少这个误差比大多数调参带来的收益都大你会误以为自己已经到 0.87提交线上只有 0.82。正确做法是 GroupKFold按 match_id 分组切分保证同一场比赛的所有切片只出现在一侧。from sklearn.model_selection import GroupKFold gkf GroupKFold(n_splits5) fold_scores [] for fold, (tr_idx, va_idx) in enumerate( gkf.split(X, y, groupsmatch_ids)): Xtr, Xva X[tr_idx], X[va_idx] ytr, yva y[tr_idx], y[va_idx] acc train_and_eval(Xtr, ytr, Xva, yva) # 自定义训练评估函数 fold_scores.append(acc) print(ffold {fold}, acc {acc:.4f}) print(mean acc:, np.mean(fold_scores))gkf.split的第三个参数 groups 必须传每个样本对应的 match_id而不是样本下标。折数选 5 还是 10取决于样本量几万条样本用 5 折每折验证集有几千场对局准确率的波动能控制在 0.003 以内如果样本量不足一万建议 5 折配多次重复取均值。线上评估用的往往是所有比赛的最后状态和验证集口径一致时这个策略的分数才有参考价值。4.2 LightGBM 必调参数表与调参顺序参数推荐值调整方向调节目的learning_rate0.02 ~ 0.05从 0.05 起步过拟合减半控制每棵树贡献决定收敛节奏num_leaves31 ~ 127样本少用 31样本多用 127控制树的复杂度过大必过拟合min_data_in_leaf50 ~ 200默认 20 建议上调防止某个叶子只覆盖几条样本feature_fraction0.7 ~ 0.9特征多时调低列采样增加树间多样性bagging_fraction0.8与 bagging_freq1 配合行采样相当于自带的 dropoutlambda_l20 ~ 1.0特征相关性强时加大降低共线性特征的影响调参顺序我一般固定为先定 learning_rate 和 num_leaves 这对主参数把其他参数放开跑一版然后依次收紧 min_data_in_leaf、feature_fraction、bagging_fraction最后加 L2。不要在第一步就去调 lambda_l2因为前几个参数没定下来时L2 的变化会被噪声淹没。跑到 0.8595 的这版 LightGBM 配置落在 learning_rate0.03、num_leaves63、min_data_in_leaf120、feature_fraction0.8这个组合不需要刻意追求单个指标的极致重点在验证集一致性和后续集成的互补性。4.3 飞桨训练参数学习率、Batch、Epoch 的推荐组合scheduler paddle.optimizer.lr.CosineAnnealingDecay( learning_rate1e-3, T_max30, verboseFalse) opt paddle.optimizer.AdamW( learning_ratescheduler, parametersmodel.parameters())飞桨侧的参数组合比树模型简单但有三个点需要盯住。第一是学习率1e-3 起步配合 CosineAnnealingDecay 在 30 个 epoch 内衰减到接近 0比固定学习率平均高 0.003 到 0.005 个准确率点第二是 batch_size256 在几万条样本下是稳妥值太小比如 32 会让 BatchNorm 统计量抖动太大比如 2048 会过早收敛到平坦区第三是特征标准化StandardScaler 必须在训练集上 fit再 transform 验证集和测试集不能整个数据集一起 fit否则验证集的信息就沿着特征分布进入了训练过程。注意如果 BatchNorm1D 报错 Expected more than 1 value per channel说明最后一个 batch 只有 1 条样本把 batch_size 设为 2 的幂并对最后不足 batch 的部分做丢弃即可。5. 提交前把精度再钉牢特征删减、阈值修正与一致性检查5.1 用特征重要性做一次剪枝树模型训练完先看feature_importances_把重要性为 0 或接近 0 的特征删掉再训一版。40 维特征里通常有 5 到 8 维是无效的删掉它们准确率基本不动但能降低过拟合风险让线上分数更扎实。imp pd.Series(model.feature_importances_, indexfeature_names) drop_cols imp[imp 5].index.tolist() # 阈值 5按重要性量级调整 print(drop:, drop_cols)当同一组特征里存在强相关对比如 gold_diff 和 tower_diff树模型会把信息集中在其中一列另一列重要性偏低这种不要删。要删的是在所有折上都几乎没有分裂贡献的列判断标准是 5 折重要性排名都垫底而不是单折表现。5.2 阈值修正与概率集成再校准0.8595 如果按准确率口径上报默认 0.5 的预测阈值大概率不是最优。训练集里蓝方胜率如果是 50% 上下0.5 接近最优一旦出现样本不平衡比如蓝方 55%就需要在验证集上扫描阈值。best_th, best_acc 0.5, 0.0 for th in np.arange(0.40, 0.61, 0.01): pred (va_prob th).astype(int) acc (pred yva).mean() if acc best_acc: best_th, best_acc th, acc print(best threshold:, best_th, acc:, best_acc)5.3 提交前的一致性检查最后一步我会做三件事。第一固定随机种子把 5 折的准确率标准差打出来如果标准差超过 0.005说明模型对切分方式敏感优先回到第 4 章调正则而不是继续叠模型。第二对比训练集和测试集的特征分布重点看 gold_diff、kill_diff 这类主特征的均值是否漂移漂移明显时考虑删掉该特征。第三把 LightGBM 权重、飞桨模型权重、最优阈值写进一个 config 常量每版实验只改三处——特征列表、阈值、随机种子日志里强制打印这三项的哈希值。这样无论过了多久复现任何一版 0.8595 都只需要读日志里的哈希和对应 config不需要重新猜超参数。本文还有配套的精品资源点击获取
