简介基于Python和卷积神经网络的网络入侵检测源码面向网络安全科研人员、算法工程师以及深度学习入门者以KDD Cup网络流量数据为对象完成从数据清洗、特征处理到CNN模型构建、训练与评估的完整分类流程。压缩包共16个文件约17.45MB主要由4个Python脚本、2个GZ格式数据集、XML配置与说明文档构成代码层级清楚可在TensorFlow/Keras环境中直接运行或修改。已有116人学习下载。源码涵盖卷积层、池化层、全连接层设计以及精确率、召回率、F1分数等评估逻辑通过实际复现可以掌握深度学习在入侵检测中的落地方法同时积累数据预处理、模型调参与工程化组织的经验适合作为课程设计或毕业设计的参考。1. pythonCNN的网络入侵检测算法源码先分清技术边界再动手pythonCNN的网络入侵检测算法是把网络流量先抽成结构化特征再用卷积神经网络去学习正常流量与攻击流量之间的分布差异。这个方向这两年特别热因为它比传统机器学习少做大量特征工程很多拿到源码包的从业者第一反应是直接跑通训练脚本然后在自己的数据集上复现一个高精度结果。但我要先泼一盆冷水你在公开数据集上看到的 98% 精确率、99% 召回率放到真实网络里经常掉到没法用。这不是模型不行而是数据分布、特征定义和评估方式和真实场景脱节。这篇文章会把这个技术栈拆开从数据预处理、CNN 结构设计到训练评估、推理部署的坑完整讲一遍。适合已经会用 Python 跑深度学习、但还没真正把入侵检测模型落过地的读者。2. 数据集与预处理让 CNN 吃下流量特征的三个关键步骤CNN 不是生来就会读 CSV 表格的。任何卷积神经网络输入都是一个有固定形状的张量。图像是 H×W×3而网络流量本身是一段二进制报文你必须先把它转成特征矩阵CNN 才能开始工作。目前从业者最通用的做法是把每个网络流flow提取成一条特征向量流的五元组、包长统计、时间间隔统计、标志位统计全部展开成一维字段。多条流的特征向量堆叠起来就得到了形状为 N×F 的特征矩阵。这里的 F 是特征数在 CIC-IDS2017 这类公开数据集上通常是 70 到 80 维。这条链路里数据集选型、数据清洗、标准化与类别平衡是决定模型上限的三个关键步骤。2.1 选数据集CIC-IDS2017 还是 NSL-KDD别凭直觉选数据集是复现这类源码时第一个会踩的坑。不同数据集的样本数量、特征维度、攻击类型分布差异非常大直接决定你要写多少预处理代码。下面这张表是三个最常用数据集的对比数据集样本量特征数攻击类型适合场景NSL-KDD约 12.5 万414 大类DoS、U2R、R2L、Probe快速验证模型结构几分钟训一轮CIC-IDS2017约 280 万7814 种攻击含暴力破解、Web 攻击、渗透、僵尸网络接近真实网络流适合做正式评估UNSW-NB15约 250 万499 大类攻击兼顾规模与多样性但特征定义和 CIC 不同我的建议是先用 NSL-KDD 跑通 pythonCNN 的最小代码闭环确认你的卷积网络结构和训练流程没问题再换到 CIC-IDS2017 上做完整实验。因为 CIC 数据集动辄几 GB磁盘 IO 和特征矩阵构建就会耗掉大量时间。如果你要上线到真实业务最终评测一定要用自己抓取的流量按同样方式抽特征不能只信公开数据集。还有一点值得注意CIC-IDS2017 的标签列有 15 个类别一个 BENIGN 加 14 种攻击但各类别样本量极不平衡。DoS 类可能有上百万条Web 攻击和渗透可能只有几千条。这种不均衡会直接传导给后面的 CNN所以选完数据集后第一件事应该是打印每个类别的样本计数而不是急着写模型。2.2 从原始数据到特征矩阵清洗、数值化、定标签无论你拿到的是 pcap 报文还是别人已经抽好特征的 CSV最终都要整理成 X特征矩阵和 y标签向量两个对象。很多公开 CSV 里藏着坑比如 CIC-IDS2017 的特征列会混入字符串 Infinity数值列里有大量 NaN标签列的值形如 DoS Hulk、Web Attack Brute Force。这些不处理干净CNN 训练会直接报错或学到噪声。下面是一段我常用的预处理骨架直接对着 CSV 跑即可import pandas as pd import numpy as np from sklearn.preprocessing import LabelEncoder, MinMaxScaler df pd.read_csv(cic_ids2017.csv, encodingutf-8) # 1. 统一把非数值内容转成 NaN再把 Inf 替换为 NaN df df.replace([np.inf, -np.inf], np.nan) # 2. 丢弃全空列以及 Flow ID、Source IP 这类不参与建模的标识列 drop_cols [Flow ID, Source IP, Destination IP, Timestamp, SimillarHTTP] df df.drop(columns[c for c in drop_cols if c in df.columns]) # 3. 填充剩余 NaN数值列用中位数避免被离群值拉偏 num_cols df.select_dtypes(include[np.number]).columns df[num_cols] df[num_cols].fillna(df[num_cols].median()) # 4. 标签二值化BENIGN 记为 0其余攻击类记为 1 df[Label] df[Label].apply(lambda x: 0 if x BENIGN else 1) # 5. 分离特征和标签并完成标准化 X df.drop(columns[Label]) y df[Label].values scaler MinMaxScaler() X_scaled scaler.fit_transform(X)这段代码有几个参数需要你特别留意。replace([np.inf, -np.inf], np.nan)处理的是 CIC 数据集里的 Infinity 字符串问题Pandas 会把它们读成 float 的 inf如果不处理后续 MinMaxScaler 会得到一堆 NaN。fillna用中位数而不是均值是因为流量特征里有大量长尾分布均值会被少数极端值拉高中位数更稳健。Label列是否做二分类还是多分类取决于你的业务目标二分类适合做告警筛选多分类适合做攻击类型识别。第一次实验建议先做二分类样本均衡问题更容易控制。标准化我在这里用了MinMaxScaler把所有特征压到 0 到 1 之间。这里有一个初学者常犯的错误CNN 对输入尺度不敏感这种说法只在特征本身同分布时成立流量特征里有包长几十到几万和端口号1 到 65535这种量级差异极大的字段不做标准化卷积核的梯度会被大数值特征主导训练会非常不稳定。2.3 划分与标准化少掉两个最常见的坑预处理环节最容易翻车的地方不是清洗而是数据集划分和标准化的顺序。很多人会先对全量数据做fit_transform再切训练集和测试集这个操作会引入数据泄露测试集的信息提前进入了训练阶段评估指标虚高部署后立刻现原形。正确做法是先切分再在训练集上fit在验证集和测试集上只transform。from sklearn.model_selection import train_test_split # 先切分再 fit scaler X_train, X_test, y_train, y_test train_test_split( X_scaled, y, test_size0.3, stratifyy, random_state42 ) # 这里要用 X_train 重新 fit避免污染 scaler_train MinMaxScaler() X_train_scaled scaler_train.fit_transform(X_train) X_test_scaled scaler_train.transform(X_test)注意stratifyy这个参数。入侵检测数据里攻击样本占比可能只有 10% 到 20%如果不按类别比例抽样随机切分可能导致测试集里某个攻击类一条都没有混淆矩阵出现一整行零。加了stratify之后每个类别在训练集和测试集里的比例保持一致。标准化之后还需要把特征矩阵调整成 CNN 需要的形状。常见做法是添加一个维度把 N×F 变成 N×F×1X_train_cnn X_train_scaled.reshape(X_train_scaled.shape[0], X_train_scaled.shape[1], 1) X_test_cnn X_test_scaled.reshape(X_test_scaled.shape[0], X_test_scaled.shape[1], 1)这一步的原理是1D-CNN 的卷积核在序列维度上滑动我们让每个时间步对应一个特征通道也就是把每条流当成一个长度为 F 的单变量序列。你还可以用np.expand_dims(..., axis-1)达到同样效果我这里用 reshape 更直观。到这里数据链路已经打通CSV 变成了 CNN 能直接消费的三维张量。下一步才是模型设计但很多人在这一步之前就开始调网络结构属于本末倒置。数据干净了模型才有讨论意义。3. 模型设计把 CNN 结构调到能真正识别攻击流量有了特征矩阵接下来的核心问题是用什么结构的 CNN 去建模。这个方向最常见的翻车点是照搬图像分类的 ResNet 或 VGG 结构网络堆到十几层参数量几十万效果却不如一个三层小卷积网络。因为图像有空间连续性相邻像素相关而流量特征之间没有这种天然的二维空间关系。理解这一点你就能明白为什么 1D-CNN 是默认起点。3.1 1D-CNN 还是 2D-CNN两种输入的建模差异先讲原理。1D-CNN 的卷积核形状是(kernel_size, in_channels)它只能在特征维度上滑动抽取的是相邻特征之间的局部组合模式。例如kernel_size3的卷积核会依次扫描第 0、1、2 个特征再滑动到第 1、2、3 个相当于在特征工程层面做自动特征交叉。而 2D-CNN 的卷积核是(kh, kw)它要求输入本身就是二维结构比如把 80 维特征重排成 8×10 的矩阵然后让卷积核在上下左右方向滑动。问题在于流量特征的排列顺序没有语义上的空间关系。你把包长均值放在TCP 窗口大小旁边把源端口放在ACK 标志计数旁边这个顺序本身就是你定义的。2D-CNN 会强行学习这种人为排列的空间模式导致模型性能很不稳定。所以我一般建议第一版直接用 1D-CNN输入形状就是上一章生成的N×F×1。等你有明确证据说明时序信息重要再考虑换成 CNNLSTM 或 Transformer而不是一上来就堆复杂结构。CNN 和 RNN 的区别也在这里CNN 擅长抓局部特征RNN 擅长抓长距离依赖流量特征本身没有明显的时序依赖除非你按包序组织输入。3.2 卷积核大小、步长与池化参数的选法一个能用于入侵检测的 1D-CNN 分类器最少只需要四层两个卷积块、一个全局池化、一个全连接分类头。下面这个结构是我常用的起点兼顾性能和稳定性import torch.nn as nn class NetIDS_1DCNN(nn.Module): def __init__(self, in_channels1, num_features80, num_classes2): super().__init__() self.block1 nn.Sequential( nn.Conv1d(in_channels, 64, kernel_size3, stride1, padding1), nn.BatchNorm1d(64), nn.ReLU(inplaceTrue), nn.MaxPool1d(kernel_size2, stride2) ) self.block2 nn.Sequential( nn.Conv1d(64, 128, kernel_size3, stride1, padding1), nn.BatchNorm1d(128), nn.ReLU(inplaceTrue), nn.MaxPool1d(kernel_size2, stride2) ) self.global_pool nn.AdaptiveAvgPool1d(1) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(128, 64), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(64, num_classes) ) def forward(self, x): x self.block1(x) x self.block2(x) x self.global_pool(x) x self.classifier(x) return x几个参数值得解释。kernel_size3, padding1是为了保持卷积前后特征长度不变这样每一层的输出长度只由池化决定不容易出现维度不匹配的报错。MaxPool1d(kernel_size2, stride2)每层把序列长度减半80 维输入经过两层池化后变成 20 维再交给全局平均池化成 1 维然后进全连接层。AdaptiveAvgPool1d(1)是这里的核心技巧它不管输入长度是多少都能池化成 1 个值这样全连接层的输入维度永远是 128不会因为特征数变化而报错。第一层卷积in_channels1对应上一章里我们 reshape 出的单通道。如果你想把每个特征当成独立通道也可以把输入改成in_channelsnum_features但效果差别不大还会增加参数量。Dropout(0.5)放在全连接层之前常规设置类别不平衡严重时可以降到 0.3防止模型把少数类的信息也丢掉了。BatchNorm 的位置要注意。Conv1d - BatchNorm1d - ReLU是标准顺序BatchNorm在激活之前做归一化能显著加快收敛。有些人会写成Conv1d - ReLU - BatchNorm不是不能跑但训练稳定性明显差一些。3.3 损失函数与样本权重类别不平衡的正面对抗入侵检测数据集的类别不平衡是常态在 CIC-IDS2017 里BENIGN 往往占七成以上攻击类内部也不均衡。默认的nn.CrossEntropyLoss会把所有样本平等对待模型只要把所有流量都预测成正常类准确率就有 75% 以上但一个攻击都检测不出来。解决这个问题有两种常用手段样本权重和 Focal Loss。先用样本权重这种方法因为改动最小。计算每个类别的权重让少数类的 loss 贡献更大import torch import numpy as np def compute_class_weight(labels, num_classes2): # 统计每个类别的样本数取倒数再归一化 counts np.bincount(labels, minlengthnum_classes).astype(np.float32) weights 1.0 / (counts 1e-6) weights weights / weights.sum() * num_classes return torch.tensor(weights, dtypetorch.float32) class_weight compute_class_weight(y_train) criterion nn.CrossEntropyLoss(weightclass_weight)注意counts 1e-6这个细节如果某一类样本数为 0直接取倒数会得到 inf加上一个小常数防止除零。weights / weights.sum() * num_classes把权重归一化到均值为 1这样梯度不会因为权重整体放大而爆炸。如果你发现加了权重之后训练不稳定、loss 来回震荡可以换 Focal Loss。它的原理是降低易分类样本的权重让模型把注意力集中在难分类的少数类上class FocalLoss(nn.Module): def __init__(self, gamma2.0, alphaNone): super().__init__() self.gamma gamma self.alpha alpha def forward(self, logits, targets): ce_loss nn.functional.cross_entropy(logits, targets, reductionnone) pt torch.exp(-ce_loss) # 样本预测正确的概率 focal_loss (1 - pt) ** self.gamma * ce_loss if self.alpha is not None: focal_loss focal_loss * self.alpha[targets] return focal_loss.mean()gamma2.0是论文里的默认值相当于把置信度很高的样本的 loss 压到原来的四分之一。alpha的作用类似类别权重可以传compute_class_weight的结果也可以直接用比例倒数。实际使用中Focal Loss 比单纯加权损失更容易收敛但需要多调一个gamma新手建议先用CrossEntropyLoss class_weight跑通之后再切 Focal。4. 训练与评估跑通最小流程并让指标说真话模型定义好之后训练流程反而成了最容易出问题的地方。很多人拿到的源码里训练脚本是 MNIST 代码改的训练集和测试集随机打乱这在这个领域是有问题的。网络入侵检测数据本质上是时序采集的同一时间窗口内的攻击流具有很强的相似性随机切分会让模型在测试时见过近亲样本。正确的做法是按时间顺序切分或者至少保证验证集和训练集的时间段不重叠。4.1 训练循环与早停损失不再下降就停训练循环不需要复杂一个标准的 PyTorch 训练脚本就够但有几个地方是针对入侵检测场景定制的。第一验证集必须严格独立我建议先按时间排序取前 70% 的流量做训练后 30% 做验证。第二每个 epoch 结束后要同时监控训练 loss 和验证 loss以验证 loss 为早停依据。from torch.utils.data import DataLoader, TensorDataset train_dataset TensorDataset( torch.tensor(X_train_cnn, dtypetorch.float32), torch.tensor(y_train, dtypetorch.long) ) val_dataset TensorDataset( torch.tensor(X_val_cnn, dtypetorch.float32), torch.tensor(y_val, dtypetorch.long) ) train_loader DataLoader(train_dataset, batch_size128, shuffleTrue) val_loader DataLoader(val_dataset, batch_size256, shuffleFalse) model NetIDS_1DCNN(in_channels1, num_featuresX_train_cnn.shape[1]) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss(weightclass_weight) best_val_loss float(inf) patience 5 trigger 0 for epoch in range(40): model.train() total_loss 0 for xb, yb in train_loader: optimizer.zero_grad() out model(xb) loss criterion(out, yb) loss.backward() optimizer.step() total_loss loss.item() model.eval() val_loss 0 with torch.no_grad(): for xb, yb in val_loader: val_loss criterion(model(xb), yb).item() print(fepoch {epoch:02d} train_loss{total_loss/len(train_loader):.4f} val_loss{val_loss/len(val_loader):.4f}) if val_loss best_val_loss: best_val_loss val_loss trigger 0 torch.save(model.state_dict(), best_model.pth) else: trigger 1 if trigger patience: print(early stop) breakbatch_size128是 CNN 在这个数据规模下的一个合理起点。显存充足可以调到 256但要注意 BatchNorm 在小 batch 下统计不稳定如果调小到 32 以下建议先把 BatchNorm 换成 LayerNorm 或者干脆去掉。lr1e-3配合 Adam 是默认组合如果发现 loss 震荡优先把学习率降到 3e-4而不是换优化器。patience5的早停机制在变量里写成了trigger意思是最多容忍验证 loss 连续五个 epoch 不改善超过就停止训练并保留最佳模型。训练过程中有一个容易被忽略的检查点每两三个 epoch 打印一次训练集和验证集的分类报告。如果训练 loss 下降而验证指标不动说明模型过拟合如果两个 loss 都在高位振荡说明学习率太大或数据没有预处理干净。等到调试后期你可以把早停的 patience 加到 10因为小数据集上 loss 曲线波动较大5 个 epoch 的耐心可能不够。4.2 评估指标Precision、Recall、F1 谁说了算入侵检测领域的指标选择直接决定模型在业务上可用不可用。准确率Accuracy在这里基本没有参考价值因为类别不平衡全预测成正常就能拿到很高的准确率。真正要关注的是对攻击类的召回率Recall也叫检测率和误报率False Positive Rate。指标公式在这个场景里的含义Accuracy(TPTN)/(TPTNFPFN)整体判断正确比例样本不平衡时会虚高PrecisionTP/(TPFP)告警里有几个是真攻击防止告警轰炸RecallTP/(TPFN)漏报了几个攻击这个指标必须优先保证F12PR/(PR)综合分调参时看它FPRFP/(FPTN)误报率正常流量被判为攻击的比例做安全运营的人最怕的不是漏报一次而是误报太多导致没人看告警。所以上线时 Precision 必须控制住但研发阶段一定先把 Recall 拉起来再看 Precision。我常用的做法是在验证集上打印classification_report然后专门看攻击类这一行的 recallfrom sklearn.metrics import classification_report, confusion_matrix model.eval() with torch.no_grad(): val_pred [] for xb, _ in val_loader: out model(xb) val_pred.extend(torch.argmax(out, dim1).numpy()) cm confusion_matrix(y_val, val_pred) print(cm) print(classification_report(y_val, val_pred, target_names[benign, attack]))看混淆矩阵的时候重点看两个格子左下角正常被判成攻击和右上角攻击被判成正常。右上角的数字如果很大说明模型在漏报优先调阈值或换损失函数左下角过大的话说明误报太多可以上调判断阈值。分类报告里 attack 这一行的 f1-score 是模型能力的综合体现我个人的底线是 0.95低于这个值不建议进在线流程。4.3 保存与阈值推理时不只有 softmax 那个 0.5分类模型输出的概率并不是天然适合直接做决策的。默认阈值 0.5 意味着模型对攻击这个类置信度超过一半才告警在类别不平衡时模型普遍保守很多攻击样本的概率只有 0.3 到 0.5。所以保存模型之外还要用验证集找最优阈值。from sklearn.metrics import precision_recall_curve model.eval() with torch.no_grad(): val_proba [] for xb, _ in val_loader: proba torch.softmax(model(xb), dim1)[:, 1] val_proba.extend(proba.numpy()) precisions, recalls, thresholds precision_recall_curve(y_val, val_proba) f1_scores 2 * (precisions * recalls) / (precisions recalls 1e-9) best_idx np.argmax(f1_scores) best_threshold thresholds[best_idx] print(fbest threshold{best_threshold:.4f}, f1{f1_scores[best_idx]:.4f})推理时把torch.argmax换成概率比较概率大于best_threshold才判为攻击。注意在二分类输出层有两个节点的情况下softmax后第 1 列就是攻击类的概率。保存模型时不要只存权重scaler 和best_threshold要一起打包torch.save({ model_state: model.state_dict(), threshold: best_threshold, scaler: scaler_train, feature_columns: list(X.columns) }, ids_model_bundle.pth)这里把scaler_train直接放进torch.save的字典里是可行的因为 sklearn 的MinMaxScaler可以被 pickle 序列化。加载时再用torch.load取出来确保推理时的特征缩放和训练时完全一致。这是最容易在部署阶段翻车的细节单独保存 scaler 然后搞丢或者推理时重新 fit 一个 scaler都会让模型的输出变成随机数。5. 避坑与常见问题复现网络入侵检测源码时的五个翻车现场这个方向踩过的坑比调过的参多。下面五条是我自己和同行在复现 pythonCNN 网络入侵检测源码时遇到的高频问题每一条都按现象到原因再到解决方案来写可以直接对照排查。5.1 现象训练集 acc 98%验证集 acc 却不及格训练集损失一路降到很低准确率接近完美但验证集指标惨不忍睹这是最经典的翻车现场。原因绝大多数出在数据预处理阶段有人在全量数据上先做了标准化再做训练测试切分导致验证集的信息在训练阶段就已经被模型间接看到。另一个常见原因是验证集和训练集来自同一时间段同一种攻击在相邻时间段内特征高度相似模型实际上是在做记忆而不是泛化。解决办法分两步。第一步严格遵循先切分再拟合 scaler 的顺序任何一个预处理变换器都只能从训练集学习参数。第二步在采集时序上做切分比如按流量时间戳排序取前 70% 做训练后 30% 做验证而不是随机抽样。代码上用sort_values(Timestamp)先排序再切分即可。5.2 现象加上类别权重后 loss 直接爆炸用了CrossEntropyLoss(weightclass_weight)之后训练 loss 出现 inf 或者 NaN。这个问题的直接原因是权重数值太大少数类的权重可能高达几十甚至上百乘到 loss 上之后梯度爆炸Adam 也压不住。更深层的原因是一些源码把权重直接计算成1 / counts没有做归一化少数类样本越少权重越高突破数值稳定边界。解决方法是给权重加上限或者做平滑归一化。上面 3.3 里已经给了weights / weights.sum() * num_classes的计算方式这能把权重均值归一化到 1 附近。如果你希望更保守可以再乘一个小于 1 的系数或者改用 Focal Loss让梯度自然衰减。训练时如果遇到 loss 为 NaN先检查权重里有没有 inf再检查学习率是否过大。5.3 现象DoS 类检测效果好U2R 类召回率永远是 0在 CIC-IDS2017 这类多分类数据集上DoS 攻击样本有几十万条CNN 很容易学会而 U2R用户到根权限提权和 R2L远程到本地攻击样本往往只有几百条甚至几十条模型根本学不到它们的特征模式。这不是模型写错了是小样本分类的固有问题所有深度学习模型都逃不掉。解决思路有两个。一是放弃端到端多分类改成二分类检测器把 U2R 和 R2L 归为异常类然后用异常检测方法或者专门的小样本增强来进行处理。二是做数据增强或合成样本用 SMOTE 在特征空间过采样少数类特征数在 80 维以内时效果还可以特征数上千时效果很一般。我个人的倾向是前者业务上先把攻击检测出来告警攻击类型再交给规则引擎做二次研判。5.4 现象推理阶段所有样本都被预测成正常类训练时指标看起来正常一到新数据上全部输出正常。这个现象高频出现在两个阶段加载预训练模型推理或者跨数据集测试。根因通常是特征分布漂移训练集来自 CIC-IDS2017 这种实验室环境推理时用的是真实网络流量真实流量里 TCP 标志位分布、包长分布、连接时长都和实验室数据差异巨大。CNN 在没见过的新分布上倾向预测多数类因为决策边界附近的概率估计被训练数据的先验主导。排查时先看看特征列顺序是否一致。有源码的特征列顺序是字母序构造的推理时换了顺序模型输入张量里的每个维度含义就全变了。解决方案是把训练时的特征列清单保存下来推理时按相同顺序取列。然后再检查验证集来自同一分布还是不同分布跨分布评估只能作为参考。5.5 现象换了一台机器之后模型预测结果完全不对模型在 A 机器上推理正常换到 B 机器后精确率和随机猜测一样。这类现象最容易被误判成模型损坏其实是环境依赖问题加载推理脚本里用了np.load载入测试数据测试数据的标准化流程没有复现或者 torch.save 的是整个模型对象而 B 机器的 PyTorch 版本不一致。解决方式是只用state_dict保存模型权重配合显式定义的模型结构类来加载。加载 bundle 时打印一次feature_columns的长度和数据均值和训练时对比能快速定位是列顺序还是标准化问题。另外torch.load(..., map_locationcpu)可以避免 GPU 环境不一致导致的加载失败。6. 从离线到在线把训练好的 CNN 接到新流量上的落地验证法训练和评估做完模型还只是离线资产。真正要把它变成可用的检测能力需要解决一个核心问题网络流量是持续产生的不可能等所有流量收集完再一次性推理。常见的做法是引入滑动窗口批处理按时间切片或者按流数量攒批攒够一批就丢给模型推理一次。def online_predict(flow_batch, model, scaler, threshold): # flow_batch: list of dict每项是一条流记录的原始特征 df pd.DataFrame(flow_batch) df df.replace([np.inf, -np.inf], np.nan) df df[feature_columns].fillna(feature_median) X scaler.transform(df) X X.reshape(X.shape[0], X.shape[1], 1) with torch.no_grad(): proba torch.softmax(model(torch.tensor(X, dtypetorch.float32)), dim1)[:, 1] return proba.numpy() threshold这段代码把前面所有环节串起来了特征列对齐、中位数填充、scaler 变换、模型推理、阈值判断。特征列清单feature_columns和填充值feature_median都来自训练阶段必须是训练时保存好的。这个函数可以直接挂到流量处理管线上每凑满 64 条流调用一次。至于模型更新我现在的习惯是周级重训而不是在线增量学习。CNN 的权重更新是全局性的用新样本做梯度更新很容易把已学的旧攻击模式冲掉这是深度学习的灾难性遗忘问题。一周一次的频率既能跟上攻击模式演化又不会让重训成本失控。每次重训后在新一周的流量上做回测如果攻击类的 F1 低于 0.9就退回上一版模型并且把本周新增的攻击样本合并到训练集里。这套方案做下来真正耗时不在 CNN 训练而在特征管线的一致性和数据分布的适配。如果你是从源码包开始复现先跑通最小二分类流程再逐步加多分类、加在线推理每一步都用独立时间段的流量做验证。希望这些踩坑记录能帮你少走几段弯路。本文还有配套的精品资源点击获取
Python+CNN网络入侵检测算法实战：数据预处理到部署全解析
简介基于Python和卷积神经网络的网络入侵检测源码面向网络安全科研人员、算法工程师以及深度学习入门者以KDD Cup网络流量数据为对象完成从数据清洗、特征处理到CNN模型构建、训练与评估的完整分类流程。压缩包共16个文件约17.45MB主要由4个Python脚本、2个GZ格式数据集、XML配置与说明文档构成代码层级清楚可在TensorFlow/Keras环境中直接运行或修改。已有116人学习下载。源码涵盖卷积层、池化层、全连接层设计以及精确率、召回率、F1分数等评估逻辑通过实际复现可以掌握深度学习在入侵检测中的落地方法同时积累数据预处理、模型调参与工程化组织的经验适合作为课程设计或毕业设计的参考。1. pythonCNN的网络入侵检测算法源码先分清技术边界再动手pythonCNN的网络入侵检测算法是把网络流量先抽成结构化特征再用卷积神经网络去学习正常流量与攻击流量之间的分布差异。这个方向这两年特别热因为它比传统机器学习少做大量特征工程很多拿到源码包的从业者第一反应是直接跑通训练脚本然后在自己的数据集上复现一个高精度结果。但我要先泼一盆冷水你在公开数据集上看到的 98% 精确率、99% 召回率放到真实网络里经常掉到没法用。这不是模型不行而是数据分布、特征定义和评估方式和真实场景脱节。这篇文章会把这个技术栈拆开从数据预处理、CNN 结构设计到训练评估、推理部署的坑完整讲一遍。适合已经会用 Python 跑深度学习、但还没真正把入侵检测模型落过地的读者。2. 数据集与预处理让 CNN 吃下流量特征的三个关键步骤CNN 不是生来就会读 CSV 表格的。任何卷积神经网络输入都是一个有固定形状的张量。图像是 H×W×3而网络流量本身是一段二进制报文你必须先把它转成特征矩阵CNN 才能开始工作。目前从业者最通用的做法是把每个网络流flow提取成一条特征向量流的五元组、包长统计、时间间隔统计、标志位统计全部展开成一维字段。多条流的特征向量堆叠起来就得到了形状为 N×F 的特征矩阵。这里的 F 是特征数在 CIC-IDS2017 这类公开数据集上通常是 70 到 80 维。这条链路里数据集选型、数据清洗、标准化与类别平衡是决定模型上限的三个关键步骤。2.1 选数据集CIC-IDS2017 还是 NSL-KDD别凭直觉选数据集是复现这类源码时第一个会踩的坑。不同数据集的样本数量、特征维度、攻击类型分布差异非常大直接决定你要写多少预处理代码。下面这张表是三个最常用数据集的对比数据集样本量特征数攻击类型适合场景NSL-KDD约 12.5 万414 大类DoS、U2R、R2L、Probe快速验证模型结构几分钟训一轮CIC-IDS2017约 280 万7814 种攻击含暴力破解、Web 攻击、渗透、僵尸网络接近真实网络流适合做正式评估UNSW-NB15约 250 万499 大类攻击兼顾规模与多样性但特征定义和 CIC 不同我的建议是先用 NSL-KDD 跑通 pythonCNN 的最小代码闭环确认你的卷积网络结构和训练流程没问题再换到 CIC-IDS2017 上做完整实验。因为 CIC 数据集动辄几 GB磁盘 IO 和特征矩阵构建就会耗掉大量时间。如果你要上线到真实业务最终评测一定要用自己抓取的流量按同样方式抽特征不能只信公开数据集。还有一点值得注意CIC-IDS2017 的标签列有 15 个类别一个 BENIGN 加 14 种攻击但各类别样本量极不平衡。DoS 类可能有上百万条Web 攻击和渗透可能只有几千条。这种不均衡会直接传导给后面的 CNN所以选完数据集后第一件事应该是打印每个类别的样本计数而不是急着写模型。2.2 从原始数据到特征矩阵清洗、数值化、定标签无论你拿到的是 pcap 报文还是别人已经抽好特征的 CSV最终都要整理成 X特征矩阵和 y标签向量两个对象。很多公开 CSV 里藏着坑比如 CIC-IDS2017 的特征列会混入字符串 Infinity数值列里有大量 NaN标签列的值形如 DoS Hulk、Web Attack Brute Force。这些不处理干净CNN 训练会直接报错或学到噪声。下面是一段我常用的预处理骨架直接对着 CSV 跑即可import pandas as pd import numpy as np from sklearn.preprocessing import LabelEncoder, MinMaxScaler df pd.read_csv(cic_ids2017.csv, encodingutf-8) # 1. 统一把非数值内容转成 NaN再把 Inf 替换为 NaN df df.replace([np.inf, -np.inf], np.nan) # 2. 丢弃全空列以及 Flow ID、Source IP 这类不参与建模的标识列 drop_cols [Flow ID, Source IP, Destination IP, Timestamp, SimillarHTTP] df df.drop(columns[c for c in drop_cols if c in df.columns]) # 3. 填充剩余 NaN数值列用中位数避免被离群值拉偏 num_cols df.select_dtypes(include[np.number]).columns df[num_cols] df[num_cols].fillna(df[num_cols].median()) # 4. 标签二值化BENIGN 记为 0其余攻击类记为 1 df[Label] df[Label].apply(lambda x: 0 if x BENIGN else 1) # 5. 分离特征和标签并完成标准化 X df.drop(columns[Label]) y df[Label].values scaler MinMaxScaler() X_scaled scaler.fit_transform(X)这段代码有几个参数需要你特别留意。replace([np.inf, -np.inf], np.nan)处理的是 CIC 数据集里的 Infinity 字符串问题Pandas 会把它们读成 float 的 inf如果不处理后续 MinMaxScaler 会得到一堆 NaN。fillna用中位数而不是均值是因为流量特征里有大量长尾分布均值会被少数极端值拉高中位数更稳健。Label列是否做二分类还是多分类取决于你的业务目标二分类适合做告警筛选多分类适合做攻击类型识别。第一次实验建议先做二分类样本均衡问题更容易控制。标准化我在这里用了MinMaxScaler把所有特征压到 0 到 1 之间。这里有一个初学者常犯的错误CNN 对输入尺度不敏感这种说法只在特征本身同分布时成立流量特征里有包长几十到几万和端口号1 到 65535这种量级差异极大的字段不做标准化卷积核的梯度会被大数值特征主导训练会非常不稳定。2.3 划分与标准化少掉两个最常见的坑预处理环节最容易翻车的地方不是清洗而是数据集划分和标准化的顺序。很多人会先对全量数据做fit_transform再切训练集和测试集这个操作会引入数据泄露测试集的信息提前进入了训练阶段评估指标虚高部署后立刻现原形。正确做法是先切分再在训练集上fit在验证集和测试集上只transform。from sklearn.model_selection import train_test_split # 先切分再 fit scaler X_train, X_test, y_train, y_test train_test_split( X_scaled, y, test_size0.3, stratifyy, random_state42 ) # 这里要用 X_train 重新 fit避免污染 scaler_train MinMaxScaler() X_train_scaled scaler_train.fit_transform(X_train) X_test_scaled scaler_train.transform(X_test)注意stratifyy这个参数。入侵检测数据里攻击样本占比可能只有 10% 到 20%如果不按类别比例抽样随机切分可能导致测试集里某个攻击类一条都没有混淆矩阵出现一整行零。加了stratify之后每个类别在训练集和测试集里的比例保持一致。标准化之后还需要把特征矩阵调整成 CNN 需要的形状。常见做法是添加一个维度把 N×F 变成 N×F×1X_train_cnn X_train_scaled.reshape(X_train_scaled.shape[0], X_train_scaled.shape[1], 1) X_test_cnn X_test_scaled.reshape(X_test_scaled.shape[0], X_test_scaled.shape[1], 1)这一步的原理是1D-CNN 的卷积核在序列维度上滑动我们让每个时间步对应一个特征通道也就是把每条流当成一个长度为 F 的单变量序列。你还可以用np.expand_dims(..., axis-1)达到同样效果我这里用 reshape 更直观。到这里数据链路已经打通CSV 变成了 CNN 能直接消费的三维张量。下一步才是模型设计但很多人在这一步之前就开始调网络结构属于本末倒置。数据干净了模型才有讨论意义。3. 模型设计把 CNN 结构调到能真正识别攻击流量有了特征矩阵接下来的核心问题是用什么结构的 CNN 去建模。这个方向最常见的翻车点是照搬图像分类的 ResNet 或 VGG 结构网络堆到十几层参数量几十万效果却不如一个三层小卷积网络。因为图像有空间连续性相邻像素相关而流量特征之间没有这种天然的二维空间关系。理解这一点你就能明白为什么 1D-CNN 是默认起点。3.1 1D-CNN 还是 2D-CNN两种输入的建模差异先讲原理。1D-CNN 的卷积核形状是(kernel_size, in_channels)它只能在特征维度上滑动抽取的是相邻特征之间的局部组合模式。例如kernel_size3的卷积核会依次扫描第 0、1、2 个特征再滑动到第 1、2、3 个相当于在特征工程层面做自动特征交叉。而 2D-CNN 的卷积核是(kh, kw)它要求输入本身就是二维结构比如把 80 维特征重排成 8×10 的矩阵然后让卷积核在上下左右方向滑动。问题在于流量特征的排列顺序没有语义上的空间关系。你把包长均值放在TCP 窗口大小旁边把源端口放在ACK 标志计数旁边这个顺序本身就是你定义的。2D-CNN 会强行学习这种人为排列的空间模式导致模型性能很不稳定。所以我一般建议第一版直接用 1D-CNN输入形状就是上一章生成的N×F×1。等你有明确证据说明时序信息重要再考虑换成 CNNLSTM 或 Transformer而不是一上来就堆复杂结构。CNN 和 RNN 的区别也在这里CNN 擅长抓局部特征RNN 擅长抓长距离依赖流量特征本身没有明显的时序依赖除非你按包序组织输入。3.2 卷积核大小、步长与池化参数的选法一个能用于入侵检测的 1D-CNN 分类器最少只需要四层两个卷积块、一个全局池化、一个全连接分类头。下面这个结构是我常用的起点兼顾性能和稳定性import torch.nn as nn class NetIDS_1DCNN(nn.Module): def __init__(self, in_channels1, num_features80, num_classes2): super().__init__() self.block1 nn.Sequential( nn.Conv1d(in_channels, 64, kernel_size3, stride1, padding1), nn.BatchNorm1d(64), nn.ReLU(inplaceTrue), nn.MaxPool1d(kernel_size2, stride2) ) self.block2 nn.Sequential( nn.Conv1d(64, 128, kernel_size3, stride1, padding1), nn.BatchNorm1d(128), nn.ReLU(inplaceTrue), nn.MaxPool1d(kernel_size2, stride2) ) self.global_pool nn.AdaptiveAvgPool1d(1) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(128, 64), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(64, num_classes) ) def forward(self, x): x self.block1(x) x self.block2(x) x self.global_pool(x) x self.classifier(x) return x几个参数值得解释。kernel_size3, padding1是为了保持卷积前后特征长度不变这样每一层的输出长度只由池化决定不容易出现维度不匹配的报错。MaxPool1d(kernel_size2, stride2)每层把序列长度减半80 维输入经过两层池化后变成 20 维再交给全局平均池化成 1 维然后进全连接层。AdaptiveAvgPool1d(1)是这里的核心技巧它不管输入长度是多少都能池化成 1 个值这样全连接层的输入维度永远是 128不会因为特征数变化而报错。第一层卷积in_channels1对应上一章里我们 reshape 出的单通道。如果你想把每个特征当成独立通道也可以把输入改成in_channelsnum_features但效果差别不大还会增加参数量。Dropout(0.5)放在全连接层之前常规设置类别不平衡严重时可以降到 0.3防止模型把少数类的信息也丢掉了。BatchNorm 的位置要注意。Conv1d - BatchNorm1d - ReLU是标准顺序BatchNorm在激活之前做归一化能显著加快收敛。有些人会写成Conv1d - ReLU - BatchNorm不是不能跑但训练稳定性明显差一些。3.3 损失函数与样本权重类别不平衡的正面对抗入侵检测数据集的类别不平衡是常态在 CIC-IDS2017 里BENIGN 往往占七成以上攻击类内部也不均衡。默认的nn.CrossEntropyLoss会把所有样本平等对待模型只要把所有流量都预测成正常类准确率就有 75% 以上但一个攻击都检测不出来。解决这个问题有两种常用手段样本权重和 Focal Loss。先用样本权重这种方法因为改动最小。计算每个类别的权重让少数类的 loss 贡献更大import torch import numpy as np def compute_class_weight(labels, num_classes2): # 统计每个类别的样本数取倒数再归一化 counts np.bincount(labels, minlengthnum_classes).astype(np.float32) weights 1.0 / (counts 1e-6) weights weights / weights.sum() * num_classes return torch.tensor(weights, dtypetorch.float32) class_weight compute_class_weight(y_train) criterion nn.CrossEntropyLoss(weightclass_weight)注意counts 1e-6这个细节如果某一类样本数为 0直接取倒数会得到 inf加上一个小常数防止除零。weights / weights.sum() * num_classes把权重归一化到均值为 1这样梯度不会因为权重整体放大而爆炸。如果你发现加了权重之后训练不稳定、loss 来回震荡可以换 Focal Loss。它的原理是降低易分类样本的权重让模型把注意力集中在难分类的少数类上class FocalLoss(nn.Module): def __init__(self, gamma2.0, alphaNone): super().__init__() self.gamma gamma self.alpha alpha def forward(self, logits, targets): ce_loss nn.functional.cross_entropy(logits, targets, reductionnone) pt torch.exp(-ce_loss) # 样本预测正确的概率 focal_loss (1 - pt) ** self.gamma * ce_loss if self.alpha is not None: focal_loss focal_loss * self.alpha[targets] return focal_loss.mean()gamma2.0是论文里的默认值相当于把置信度很高的样本的 loss 压到原来的四分之一。alpha的作用类似类别权重可以传compute_class_weight的结果也可以直接用比例倒数。实际使用中Focal Loss 比单纯加权损失更容易收敛但需要多调一个gamma新手建议先用CrossEntropyLoss class_weight跑通之后再切 Focal。4. 训练与评估跑通最小流程并让指标说真话模型定义好之后训练流程反而成了最容易出问题的地方。很多人拿到的源码里训练脚本是 MNIST 代码改的训练集和测试集随机打乱这在这个领域是有问题的。网络入侵检测数据本质上是时序采集的同一时间窗口内的攻击流具有很强的相似性随机切分会让模型在测试时见过近亲样本。正确的做法是按时间顺序切分或者至少保证验证集和训练集的时间段不重叠。4.1 训练循环与早停损失不再下降就停训练循环不需要复杂一个标准的 PyTorch 训练脚本就够但有几个地方是针对入侵检测场景定制的。第一验证集必须严格独立我建议先按时间排序取前 70% 的流量做训练后 30% 做验证。第二每个 epoch 结束后要同时监控训练 loss 和验证 loss以验证 loss 为早停依据。from torch.utils.data import DataLoader, TensorDataset train_dataset TensorDataset( torch.tensor(X_train_cnn, dtypetorch.float32), torch.tensor(y_train, dtypetorch.long) ) val_dataset TensorDataset( torch.tensor(X_val_cnn, dtypetorch.float32), torch.tensor(y_val, dtypetorch.long) ) train_loader DataLoader(train_dataset, batch_size128, shuffleTrue) val_loader DataLoader(val_dataset, batch_size256, shuffleFalse) model NetIDS_1DCNN(in_channels1, num_featuresX_train_cnn.shape[1]) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss(weightclass_weight) best_val_loss float(inf) patience 5 trigger 0 for epoch in range(40): model.train() total_loss 0 for xb, yb in train_loader: optimizer.zero_grad() out model(xb) loss criterion(out, yb) loss.backward() optimizer.step() total_loss loss.item() model.eval() val_loss 0 with torch.no_grad(): for xb, yb in val_loader: val_loss criterion(model(xb), yb).item() print(fepoch {epoch:02d} train_loss{total_loss/len(train_loader):.4f} val_loss{val_loss/len(val_loader):.4f}) if val_loss best_val_loss: best_val_loss val_loss trigger 0 torch.save(model.state_dict(), best_model.pth) else: trigger 1 if trigger patience: print(early stop) breakbatch_size128是 CNN 在这个数据规模下的一个合理起点。显存充足可以调到 256但要注意 BatchNorm 在小 batch 下统计不稳定如果调小到 32 以下建议先把 BatchNorm 换成 LayerNorm 或者干脆去掉。lr1e-3配合 Adam 是默认组合如果发现 loss 震荡优先把学习率降到 3e-4而不是换优化器。patience5的早停机制在变量里写成了trigger意思是最多容忍验证 loss 连续五个 epoch 不改善超过就停止训练并保留最佳模型。训练过程中有一个容易被忽略的检查点每两三个 epoch 打印一次训练集和验证集的分类报告。如果训练 loss 下降而验证指标不动说明模型过拟合如果两个 loss 都在高位振荡说明学习率太大或数据没有预处理干净。等到调试后期你可以把早停的 patience 加到 10因为小数据集上 loss 曲线波动较大5 个 epoch 的耐心可能不够。4.2 评估指标Precision、Recall、F1 谁说了算入侵检测领域的指标选择直接决定模型在业务上可用不可用。准确率Accuracy在这里基本没有参考价值因为类别不平衡全预测成正常就能拿到很高的准确率。真正要关注的是对攻击类的召回率Recall也叫检测率和误报率False Positive Rate。指标公式在这个场景里的含义Accuracy(TPTN)/(TPTNFPFN)整体判断正确比例样本不平衡时会虚高PrecisionTP/(TPFP)告警里有几个是真攻击防止告警轰炸RecallTP/(TPFN)漏报了几个攻击这个指标必须优先保证F12PR/(PR)综合分调参时看它FPRFP/(FPTN)误报率正常流量被判为攻击的比例做安全运营的人最怕的不是漏报一次而是误报太多导致没人看告警。所以上线时 Precision 必须控制住但研发阶段一定先把 Recall 拉起来再看 Precision。我常用的做法是在验证集上打印classification_report然后专门看攻击类这一行的 recallfrom sklearn.metrics import classification_report, confusion_matrix model.eval() with torch.no_grad(): val_pred [] for xb, _ in val_loader: out model(xb) val_pred.extend(torch.argmax(out, dim1).numpy()) cm confusion_matrix(y_val, val_pred) print(cm) print(classification_report(y_val, val_pred, target_names[benign, attack]))看混淆矩阵的时候重点看两个格子左下角正常被判成攻击和右上角攻击被判成正常。右上角的数字如果很大说明模型在漏报优先调阈值或换损失函数左下角过大的话说明误报太多可以上调判断阈值。分类报告里 attack 这一行的 f1-score 是模型能力的综合体现我个人的底线是 0.95低于这个值不建议进在线流程。4.3 保存与阈值推理时不只有 softmax 那个 0.5分类模型输出的概率并不是天然适合直接做决策的。默认阈值 0.5 意味着模型对攻击这个类置信度超过一半才告警在类别不平衡时模型普遍保守很多攻击样本的概率只有 0.3 到 0.5。所以保存模型之外还要用验证集找最优阈值。from sklearn.metrics import precision_recall_curve model.eval() with torch.no_grad(): val_proba [] for xb, _ in val_loader: proba torch.softmax(model(xb), dim1)[:, 1] val_proba.extend(proba.numpy()) precisions, recalls, thresholds precision_recall_curve(y_val, val_proba) f1_scores 2 * (precisions * recalls) / (precisions recalls 1e-9) best_idx np.argmax(f1_scores) best_threshold thresholds[best_idx] print(fbest threshold{best_threshold:.4f}, f1{f1_scores[best_idx]:.4f})推理时把torch.argmax换成概率比较概率大于best_threshold才判为攻击。注意在二分类输出层有两个节点的情况下softmax后第 1 列就是攻击类的概率。保存模型时不要只存权重scaler 和best_threshold要一起打包torch.save({ model_state: model.state_dict(), threshold: best_threshold, scaler: scaler_train, feature_columns: list(X.columns) }, ids_model_bundle.pth)这里把scaler_train直接放进torch.save的字典里是可行的因为 sklearn 的MinMaxScaler可以被 pickle 序列化。加载时再用torch.load取出来确保推理时的特征缩放和训练时完全一致。这是最容易在部署阶段翻车的细节单独保存 scaler 然后搞丢或者推理时重新 fit 一个 scaler都会让模型的输出变成随机数。5. 避坑与常见问题复现网络入侵检测源码时的五个翻车现场这个方向踩过的坑比调过的参多。下面五条是我自己和同行在复现 pythonCNN 网络入侵检测源码时遇到的高频问题每一条都按现象到原因再到解决方案来写可以直接对照排查。5.1 现象训练集 acc 98%验证集 acc 却不及格训练集损失一路降到很低准确率接近完美但验证集指标惨不忍睹这是最经典的翻车现场。原因绝大多数出在数据预处理阶段有人在全量数据上先做了标准化再做训练测试切分导致验证集的信息在训练阶段就已经被模型间接看到。另一个常见原因是验证集和训练集来自同一时间段同一种攻击在相邻时间段内特征高度相似模型实际上是在做记忆而不是泛化。解决办法分两步。第一步严格遵循先切分再拟合 scaler 的顺序任何一个预处理变换器都只能从训练集学习参数。第二步在采集时序上做切分比如按流量时间戳排序取前 70% 做训练后 30% 做验证而不是随机抽样。代码上用sort_values(Timestamp)先排序再切分即可。5.2 现象加上类别权重后 loss 直接爆炸用了CrossEntropyLoss(weightclass_weight)之后训练 loss 出现 inf 或者 NaN。这个问题的直接原因是权重数值太大少数类的权重可能高达几十甚至上百乘到 loss 上之后梯度爆炸Adam 也压不住。更深层的原因是一些源码把权重直接计算成1 / counts没有做归一化少数类样本越少权重越高突破数值稳定边界。解决方法是给权重加上限或者做平滑归一化。上面 3.3 里已经给了weights / weights.sum() * num_classes的计算方式这能把权重均值归一化到 1 附近。如果你希望更保守可以再乘一个小于 1 的系数或者改用 Focal Loss让梯度自然衰减。训练时如果遇到 loss 为 NaN先检查权重里有没有 inf再检查学习率是否过大。5.3 现象DoS 类检测效果好U2R 类召回率永远是 0在 CIC-IDS2017 这类多分类数据集上DoS 攻击样本有几十万条CNN 很容易学会而 U2R用户到根权限提权和 R2L远程到本地攻击样本往往只有几百条甚至几十条模型根本学不到它们的特征模式。这不是模型写错了是小样本分类的固有问题所有深度学习模型都逃不掉。解决思路有两个。一是放弃端到端多分类改成二分类检测器把 U2R 和 R2L 归为异常类然后用异常检测方法或者专门的小样本增强来进行处理。二是做数据增强或合成样本用 SMOTE 在特征空间过采样少数类特征数在 80 维以内时效果还可以特征数上千时效果很一般。我个人的倾向是前者业务上先把攻击检测出来告警攻击类型再交给规则引擎做二次研判。5.4 现象推理阶段所有样本都被预测成正常类训练时指标看起来正常一到新数据上全部输出正常。这个现象高频出现在两个阶段加载预训练模型推理或者跨数据集测试。根因通常是特征分布漂移训练集来自 CIC-IDS2017 这种实验室环境推理时用的是真实网络流量真实流量里 TCP 标志位分布、包长分布、连接时长都和实验室数据差异巨大。CNN 在没见过的新分布上倾向预测多数类因为决策边界附近的概率估计被训练数据的先验主导。排查时先看看特征列顺序是否一致。有源码的特征列顺序是字母序构造的推理时换了顺序模型输入张量里的每个维度含义就全变了。解决方案是把训练时的特征列清单保存下来推理时按相同顺序取列。然后再检查验证集来自同一分布还是不同分布跨分布评估只能作为参考。5.5 现象换了一台机器之后模型预测结果完全不对模型在 A 机器上推理正常换到 B 机器后精确率和随机猜测一样。这类现象最容易被误判成模型损坏其实是环境依赖问题加载推理脚本里用了np.load载入测试数据测试数据的标准化流程没有复现或者 torch.save 的是整个模型对象而 B 机器的 PyTorch 版本不一致。解决方式是只用state_dict保存模型权重配合显式定义的模型结构类来加载。加载 bundle 时打印一次feature_columns的长度和数据均值和训练时对比能快速定位是列顺序还是标准化问题。另外torch.load(..., map_locationcpu)可以避免 GPU 环境不一致导致的加载失败。6. 从离线到在线把训练好的 CNN 接到新流量上的落地验证法训练和评估做完模型还只是离线资产。真正要把它变成可用的检测能力需要解决一个核心问题网络流量是持续产生的不可能等所有流量收集完再一次性推理。常见的做法是引入滑动窗口批处理按时间切片或者按流数量攒批攒够一批就丢给模型推理一次。def online_predict(flow_batch, model, scaler, threshold): # flow_batch: list of dict每项是一条流记录的原始特征 df pd.DataFrame(flow_batch) df df.replace([np.inf, -np.inf], np.nan) df df[feature_columns].fillna(feature_median) X scaler.transform(df) X X.reshape(X.shape[0], X.shape[1], 1) with torch.no_grad(): proba torch.softmax(model(torch.tensor(X, dtypetorch.float32)), dim1)[:, 1] return proba.numpy() threshold这段代码把前面所有环节串起来了特征列对齐、中位数填充、scaler 变换、模型推理、阈值判断。特征列清单feature_columns和填充值feature_median都来自训练阶段必须是训练时保存好的。这个函数可以直接挂到流量处理管线上每凑满 64 条流调用一次。至于模型更新我现在的习惯是周级重训而不是在线增量学习。CNN 的权重更新是全局性的用新样本做梯度更新很容易把已学的旧攻击模式冲掉这是深度学习的灾难性遗忘问题。一周一次的频率既能跟上攻击模式演化又不会让重训成本失控。每次重训后在新一周的流量上做回测如果攻击类的 F1 低于 0.9就退回上一版模型并且把本周新增的攻击样本合并到训练集里。这套方案做下来真正耗时不在 CNN 训练而在特征管线的一致性和数据分布的适配。如果你是从源码包开始复现先跑通最小二分类流程再逐步加多分类、加在线推理每一步都用独立时间段的流量做验证。希望这些踩坑记录能帮你少走几段弯路。本文还有配套的精品资源点击获取
