简介这是一份面向计算机专业学生的基于机器学习的入侵检测系统完整项目内含可运行的Python源码与配套文档说明适用于毕业设计、课程设计或期末大作业等场景。项目基于公开的网络安全数据集覆盖数据清洗、特征提取、样本平衡、模型训练与效果评估等完整流程代码结构清晰便于阅读与二次开发。压缩包内共包含三十一个文件以Python源码、CSV数据表、Markdown笔记、HDF5模型文件及Word技术方案等类型为主整体大小约26.58MB目录组织清楚方便按模块查阅。目前已有166人学习或浏览过该资源。这套资料可帮助学习者快速复现入侵检测流程理解数据预处理与模型调优思路也可作为毕设或课设的直接参考减少从零搭建的时间成本适合希望获得高分项目经验的学生借鉴。1. 基于机器学习的入侵检测系统这份源码到底能不能跑通基于机器学习的入侵检测系统说白了一句话把网络流量整理成特征表交给模型去学让模型自己判断一条连接是正常访问还是攻击行为。这份源码项目不是只给个玩具 demoUNSW_NB15 数据集、CNN/LSTM 两套深度学习模型、特征工程相关脚本、一份可以直接参考的技术方案文档全部打包在里面评审 99 分代码是可运行的完整工程。适合正在做毕设、课程设计或期末大作业的同学也适合想跑通一遍完整机器学习流程的从业者——从原始流量数据到训练、预测、对比实验整条链路是齐的不用自己去网上东拼西凑。2. 数据准备UNSW_NB15 的预处理流程与四个必须改的参数2.1 UNSW_NB15 为什么是这个项目的默认数据集现在做入侵检测方向的课题绕不开数据集选择。老一点的教材和论文里常拿 KDD99 说事但那个数据集年代太早流量形态和攻击类型跟现在的网络环境差得比较远。UNSW_NB15 是澳大利亚网络安全中心发布的标准基准数据集从真实网络流量里抽取包含 Fuzzers、Analysis、Backdoors、DoS、Exploits、Generic、Reconnaissance、Shellcode、Worms 九类攻击加上正常流量一共 10 类特征维度 49 个。相比 KDD99它的攻击类型更全、特征定义更接近真实场景这也是近年来入侵检测论文里比较受认可的公共基准。项目里 data 目录下的东西给得很全UNSW_NB15.zip 是原始数据压缩包Process_data.zip 是处理过的中间数据train.csv 和 test.csv 是已经划分好的训练集和测试集2_feture.csv 是抽取出来的简化特征版本。也就是说你不需要自己去官网下载、解压、拼接、去重那一步在网络条件不稳定的情况下最容易卡住资源里已经把这些脏活干完了。我拿到这种资源的第一反应不是跑模型而是先打开 readme.md 和 IDS.md确认 train.csv 和 test.csv 的划分口径。常见做法是先检查列名、标签定义、训练测试比例再决定后面的特征工程怎么处理。这一步看着不起眼但数据集一旦理解偏了后面整个实验结论都会出问题。2.2 标签编码Lable_encoder.py 的用法与共享编码器问题UNSW_NB15 的特征里有一部分是字符型的比如协议类型 proto、服务类型 service、连接状态 state。这些字段模型没法直接吃需要先变成数字。Lable_encoder.py干的就是这件事。from sklearn.preprocessing import LabelEncoder import pandas as pd df pd.read_csv(data/train.csv) label_cols [proto, service, state] encoder_dict {} for col in label_cols: encoder LabelEncoder() df[col] encoder.fit_transform(df[col]) encoder_dict[col] encoder # 预测阶段用同一个 encoder 转测试集而不是重新 fit df_test pd.read_csv(data/test.csv) for col in label_cols: df_test[col] encoder_dict[col].transform(df_test[col])这段代码的关键在于最后两行。fit_transform是拟合并转换拿到的是这个编码器对训练集数据的映射关系。测试集必须用同一个 encoder 去做transform而不是自己重新fit。如果对测试集单独 fit 一次训练集里出现但测试集里没出现的类别或者反过来都会导致两边的特征编号对不上模型预测时维度直接翻车。另外有个实际经验LabelEncoder 适合处理有序类别但 proto、service 这类字段本质上是无序的理论上用 One-Hot 编码更严谨。不过在这个项目的数据规模下流量特征有 40 多个维度全文分类模型对编码方式没那么敏感LabelEncoder 省内存、省维度是合理的取舍。你要是追求更严谨的实验对比可以后面自己把 LabelEncoder 换成 OneHotEncoder 再跑一轮。2.3 Min-Max 归一化Min-max.py 为什么选这个流量特征有个非常实际的问题量纲差异巨大。连接时长可能是毫秒级的小数收发字节数可能是几万的大数。如果不做归一化数值大的特征会在梯度计算里直接压过数值小的特征模型学到的权重基本被大数值特征绑架。from sklearn.preprocessing import MinMaxScaler # 特征列和标签列分离 feature_cols [c for c in df.columns if c not in [label]] X df[feature_cols] # 压缩到 [0, 1] 区间 scaler MinMaxScaler(feature_range(0, 1)) X_scaled scaler.fit_transform(X) df[feature_cols] X_scaled为什么是 Min-Max 而不是 StandardScaler两者都是常见做法但对入侵检测这个场景流量特征很多是长尾分布还有不少稀疏特征Min-Max 能把所有特征强行压到 [0,1] 区间保留特征的相对大小关系对后面 CNN 的卷积核初始化更友好。StandardScaler 在处理偏斜分布时容易把稀疏特征变成一堆接近 0 的小数反而丢掉了区分度。归一化的另一个坑是要在切分训练测试集之后再各自处理还是先合并处理。常见做法是先切分再用训练集的 scaler 去 transform 测试集避免测试集信息泄漏到训练过程。这个项目里 train.csv 和 test.csv 是单独给好的所以顺序应该是先读 train 做 fit再用同一个 scaler 处理 test。2.4 类别不平衡Process_Imbanlce.py 在救什么入侵检测场景天生存在类别不平衡问题正常流量占了绝大多数各种攻击流量加在一起可能只占很小比例。如果直接拿原始数据训模型模型会学会一个偷懒策略——把什么都判成正常因为这样准确率也很高。Process_Imbanlce.py处理的就是这个问题。核心思路无非两个方向对多数类降采样或者对少数类过采样。from imblearn.over_sampling import SMOTE smote SMOTE(random_state42, k_neighbors3) X_resampled, y_resampled smote.fit_resample(X_scaled, y) from collections import Counter print(Counter(y_resampled))SMOTE 是常见的过采样方法它在少数类样本的 K 近邻之间插值生成新样本不是简单复制能缓解过拟合。参数k_neighbors控制了插值时参考的近邻数量默认 5在攻击样本本身很少的时候可以调小到 3 甚至 2否则近邻里全是同类的合成样本生成质量会下降。处理完类别不平衡之后建议顺手把Counter(y_resampled)打印出来看一眼。如果训练数据里 normal 和 attack 的比例接近 1:1 了说明处理到位如果还是 10:1那后面模型的指标会继续被多数类带偏。这一步不做后面 CNN、LSTM 的准确率再好看都是假的。3. CNN 与 LSTM 双模型训练脚本怎么跑、参数怎么调3.1 CNNcnn_pytorch.py 与 cnn_train.py 的拆分工看完文件结构会发现CNN 这部分不是单脚本而是拆成了几个文件cnn_pytorch.py管模型定义cnn_train.py管训练流程cnn_predict.py管加载权重做预测训练完的结果存在 res 目录里还附带了一张cnn_pytorch_acc.jpg的准确率曲线图。这种拆分思路对做毕设的人其实很有参考价值——模型结构、训练流程、推理流程分开后期改任何一环都不用动另外两个文件。UNSW_NB15 的每条记录是 49 维的特征向量没有原始报文所以这里用的是 Conv1d 一维卷积在一维特征序列上做滑动窗口提取局部模式。import torch.nn as nn class CNN1D(nn.Module): def __init__(self, n_features, num_classes2): super().__init__() self.conv1 nn.Conv1d(1, 64, kernel_size3, padding1) self.conv2 nn.Conv1d(64, 128, kernel_size3, padding1) self.pool nn.MaxPool1d(2) self.fc nn.Linear(128 * (n_features // 2 // 2), num_classes) self.dropout nn.Dropout(0.3) def forward(self, x): x x.view(x.size(0), 1, -1) # N x 1 x features x torch.relu(self.conv1(x)) x self.pool(x) x torch.relu(self.conv2(x)) x self.pool(x) x x.view(x.size(0), -1) x self.dropout(x) return self.fc(x)这里的nn.Conv1d(1, 64, kernel_size3, padding1)含义是输入通道 1每个样本是一条一维特征序列输出通道 64卷积核大小为 3padding 为 1 保证卷积后长度不变。kernel_size3 意味着每次看相邻三个特征之间的关系。两层卷积之后接两层 MaxPool1d每层把序列长度减半最后展平接全连接层。dropout 设 0.3是为了防止全连接层过拟合。训练入口cnn_train.py里要重点关注的超参数是 epoch 数和学习率。这类一维 CNN 在 UNSW_NB15 上收敛很快一般 20 到 30 个 epoch 就能看到准确率曲线走平。学习率常见做法是 0.001配合 Adam 优化器不需要手动调学习率衰减。3.2 LSTMlstm_train.py 把特征重排成序列LSTM 的思路跟 CNN 不一样网络流量记录之间是有上下文关联的同一个连接的前后数据包在统计特征上存在时间上的依赖LSTM 能把这些前后信息串起来而不是像 CNN 那样只看局部窗口。lstm_train.py里需要先把特征重排成序列格式。PyTorch 的 LSTM 默认接收三维输入格式是 (batch_size, seq_len, input_size)所以对每条 49 维的记录可以把它切成长度为 7 的序列每个时间步 7 个特征或者用滑窗把多条相邻记录拼接成序列。import torch.nn as nn class LSTMNet(nn.Module): def __init__(self, input_size, hidden_size128, num_layers2): super().__init__() self.lstm nn.LSTM(input_size, hidden_size, num_layers, batch_firstTrue, dropout0.3) self.fc nn.Linear(hidden_size, 2) def forward(self, x): out, _ self.lstm(x) out out[:, -1, :] # 取最后一个时间步的输出 return self.fc(out)hidden_size128是隐状态维度控制模型记忆容量调大能增强表达能力但会明显变慢num_layers2是 LSTM 层数两层是性价比比较高的配置再加深收益不大还容易过拟合batch_firstTrue表示输入维度把 batch 放第一位dropout 放在两层 LSTM 之间不是最后输出层。值得注意的参数是input_size。它取决于你切分 seq_len 的方式。如果把 49 个特征按 7 个一组切成 7 个时间步那 input_size 就是 7如果是其他切法记得同步改模型定义。这个参数很容易被忽略一旦设错模型跑起来第一行 forward 就会报维度不匹配。3.3 训练与预测从 train 到 predict 的完整闭环cnn_train.py和lstm_train.py里的训练循环核心逻辑是一样的PyTorch 标准五步清零梯度、前向传播、计算损失、反向传播、更新权重。model.train() for epoch in range(30): for batch_x, batch_y in loader: optimizer.zero_grad() out model(batch_x) loss criterion(out, batch_y) loss.backward() optimizer.step()optimizer.zero_grad()必须在每次反向传播前执行否则梯度会累加loss 曲线就会变成一条乱跳的线。criterion这里用的是交叉熵损失nn.CrossEntropyLoss()适合二分类任务。batch_size 建议设 64 或 128对 CPU 训练也友好。训练完之后预测脚本cnn_predict.py和lstm_predict.py的逻辑基本一样加载训练好的权重文件载入测试数据前向传播得到概率再取 argmax 得到类别。model CNN1D(n_featureslen(feature_cols)) model.load_state_dict(torch.load(res/cnn_best.pth, map_locationcpu)) model.eval() with torch.no_grad(): logits model(torch.tensor(test_x, dtypetorch.float32)) probs torch.softmax(logits, dim1) preds torch.argmax(probs, dim1)注意两个细节。第一model.eval()一定要调用它会把 dropout 关掉否则预测结果会有随机性。第二torch.no_grad()包住推理过程省内存也提速。模型文件用map_locationcpu是为了让在没有 GPU 的机器上也能加载如果你训练时用的是 GPU这段代码默认就能兼容。cnn_pytorch_acc.jpg里那条准确率曲线如果训练集和验证集之间差距越来越大就是过拟合的信号需要调大 dropout 或者提前停止训练。4. 特征工程与经典算法对照相关性热图、随机森林与对比实验4.1 Get_corr.py先看特征和特征、特征和标签的关系很多人在入侵检测项目里一上来就灌数据训模型结果模型训完黑匣子一样解释不了。这个资源里的Get_corr.py提供了一个好的起点先做特征相关性分析。这一步能提前暴露两类问题——哪些特征之间高度冗余哪些特征和标签几乎没关系。import pandas as pd import seaborn as sns import matplotlib.pyplot as plt corr df.corr() plt.figure(figsize(16, 12)) sns.heatmap(corr, cmapRdBu_r, annotFalse) plt.savefig(res/corr_heatmap.png)df.corr()默认计算皮尔逊相关系数得到的是一个方阵表示每两个特征之间的线性相关程度。seaborn 的热力图把相关系数矩阵变成可视化颜色块红色正相关、蓝色负相关颜色越深相关性越强。看热力图有两条线。第一条是看特征之间如果有两个特征相关系数超过 0.9说明它们携带的信息高度重叠留一个就行另一个删掉可以降维度。第二条是看标签那一行相关系数接近 0 的特征对分类基本没有贡献后面做特征筛选时可以优先砍掉。相关性分析不能发现非线性关系但它速度快、直观适合作为第一道筛选。4.2 RFP.py随机森林特征重要性筛选相关性热力图之外RFP.py提供了另一种更直接的特征筛选手段随机森林特征重要性。随机森林是树模型集成训练过程中能天然计算每个特征在分裂时带来的不纯度下降程度归一化之后就是特征重要性分数。from sklearn.ensemble import RandomForestClassifier clf RandomForestClassifier(n_estimators200, max_depth12, n_jobs-1) clf.fit(X_train, y_train) imp pd.Series(clf.feature_importances_, indexfeature_cols) imp imp.sort_values(ascendingFalse) print(imp.head(20)) top_k imp.head(20).index.tolist()n_estimators200是森林里决策树的数量太少会导致重要性分数不稳定max_depth12限制每棵树深度防止单棵树过拟合把重要性分数带偏n_jobs-1表示用满所有 CPU 核心。跑完之后imp.head(20)会列出贡献最大的前 20 个特征把这些特征名存下来后续 CNN、LSTM 训练就只用这一份精简特征集。为什么要先跑随机森林再做深度学习一个非常实际的原因49 维特征直接灌进 CNN 不是不行但其中不少特征可能是冗余的对模型学习反而是噪声。随机森林给的特征重要性相当于一份免费的降维方案而且它能捕捉非线性关系比单纯看相关系数更可靠。get_feature.py在这条链路里的角色就是把筛选出的特征固化成一个新的 CSV 文件供后面所有模型统一使用。4.3 classify.py经典分类器横向对比深度学习模型做完了论文或答辩的时候导师大概率会问一句你的模型比传统机器学习方法好在哪里就靠这个好在哪里活着。classify.py就是用来回答这个问题的——它一次性跑了逻辑回归、KNN、决策树、随机森林、SVM 五种经典分类器输出各自在测试集上的分类报告。from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report models { LR: LogisticRegression(max_iter500), KNN: KNeighborsClassifier(n_neighbors5), DT: DecisionTreeClassifier(max_depth10), RF: RandomForestClassifier(n_estimators100, n_jobs-1), SVM: SVC(kernelrbf, probabilityTrue), } for name, model in models.items(): model.fit(X_train, y_train) y_pred model.predict(X_test) print(f {name} ) print(classification_report(y_test, y_pred, target_names[normal, attack]))这里面的参数有的是常见的坑。比如 SVM 的kernelrbf在小样本上表现不错但在完整 UNSW_NB15 数据集上会慢到怀疑人生如果只是做对比实验可以先降采样再跑省时间。逻辑回归的max_iter500是因为默认 100 在特征维度高时经常不收敛训练过程会报警告。KNN 的n_neighbors5是最常见的配置但它对特征缩放非常敏感这也是前面 Min-Max 归一化在这条链路里必须存在的原因。另外3d.py是把降维后的特征画成三维散点图用不同颜色区分攻击类型和正常流量。这个脚本适合做可视化展示用论文里放一张三维类别分布图比纯文字描述更有说服力。它通常配合 PCA 或者直接挑三个特征做坐标轴目的是直观展示类别之间是否存在可分性。5. 常见问题排查五个坑位与现场处理记录5.1 训练时内存直接爆掉现象启动训练脚本后程序先卡住几分钟然后弹出内存错误或者电脑直接死机。原因UNSW_NB15 完整数据集全量读入 pandas加上特征工程过程中的临时副本内存占用轻松超过 8GB。全量数据有两百多万条记录df.corr()本身也会生成一个 n×n 的稠密矩阵存储中间计算结果。解决这一步我建议先按比例降采样。最常见做法是pd.read_csv(..., nrows50000)先只读前五万条试试确认流程能跑通再加载更多或者用df.sample(frac0.2, random_state42)取 20% 做训练。UNSW_NB15 对这类任务来说样本量冗余很大五万到十万条足够让模型学到一个不错的决策边界。内存不够的机器硬扛全量是毕设阶段最常见的无效耗时。5.2 标签编码后训练测试维度对不上现象训练时模型一切正常加载测试集做预测时shape报错或者模型输出结果明显不对。原因对测试集单独调用了fit_transform而不是用训练集拟合好的编码器。因为测试集和训练集的类别分布不完全一致比如某个协议类型只在训练集出现或者顺序被打乱导致编码后的数字含义不是一一对应。解决训练集上用fit拿到编码器测试集只用transform。更稳妥的做法是把所有可能出现的类别先汇总成一个完整列表再 fit或者干脆在预处理阶段就把 train 和 test 中类别字段的并集拿去 fit这样任何一边单独出现的新类别都不会导致编码错位。这个错误隐蔽在预测阶段才暴露排查起来最费时间建议写预处理脚本的时候就按这个逻辑来。5.3 模型指标很高但预测结果全是「正常」现象训练结束打印准确率 90% 以上看起来很漂亮但查看预测结果发现所有样本都被分到 normal 类攻击样本一个都没识别出来。原因类别不平衡没处理。正常流量占了绝大多数模型发现全部预测为正常就能拿到很高的准确率于是梯度更新朝着这个懒人方向收敛了。准确率这个指标在不平衡数据上会骗人。解决先跑Process_Imbanlce.py做降采样或 SMOTE让训练集里两类样本比例接近 1:1。另外一个补充手段是计算损失时给少数类加权重PyTorch 里CrossEntropyLoss(weighttorch.tensor([1.0, 5.0]))把攻击类的损失放大几倍强迫模型重视少数类。别只看准确率要看召回率——攻击样本有多少被真正抓出来了那才是入侵检测的核心指标。5.4 训练 acc 曲线很高测试召回率却很低现象cnn_pytorch_acc.jpg里训练集准确率一路冲到接近 100%但测试集上召回率只有百分之六七十差距很大。原因典型的过拟合或者预处理参数泄漏。过拟合的情况模型把训练集的噪声也记住了泛化能力差常见做法是增大 dropout、加正则、减少 epoch。另一种情况是归一化和编码的 scaler 是在全量数据上做的 fit测试集信息混进了训练过程导致指标虚高换到真正没见过的新数据上就露馅。解决确认预处理严格按「只在训练集上 fit测试集只 transform」的顺序执行。这是排查这一类问题最需要先确认的一点。同时看训练和验证两条曲线cnn_pytorch_acc.jpg里如果训练集和验证集之间的 gap 越来越大说明模型开始记题了把 epoch 调小或者把 dropout 从 0.3 提到 0.5都能缓解。5.5 环境问题requirements.txt 装不完或者版本冲突现象照着 requirements.txt 安装依赖torch 装到一半报错或者装完了 GPU 版本和 CUDA 版本对不上一跑就崩。原因requirements.txt 里通常没有锁死版本号而 PyTorch 的 GPU 版跟 CUDA 版本强相关直接pip install容易装成不匹配的组合。有的机器没有 NVIDIA 显卡装 CUDA 版本来就是白费功夫。解决没有 GPU 的环境直接装 CPU 版 PyTorch命令是pip install torch --index-url https://download.pytorch.org/whl/cpu训练慢一点但流程完全能跑通。装完以后用一行命令验证python -c import torch; print(torch.__version__)。另外建议把 numpy 和 pandas 版本和 requirements.txt 比对一下老一点的 pandas 和太新的 numpy 之间偶尔会有接口不兼容这时候以 requirements.txt 里的版本号为准最省事。6. 完整复现路径从原始数据到预测结果的一趟流程把整个项目的复现顺序理顺一遍按这个顺序走可以少走很多弯路。第一步装依赖然后跑Process_Imbanlce.py处理类别不平衡再依次跑Lable_encoder.py和Min-max.py完成编码和归一化接着用get_feature.py做特征筛选拿到精简特征集之后分别跑cnn_train.py和lstm_train.py训练两个深度学习模型再用各自的 predict 脚本对测试集推理最后用classify.py做经典分类器对比。这个顺序保证了每一步的输出都能作为下一步的输入不会出现中途缺文件的尴尬。验证模型效果别只盯着 accuracy。入侵检测场景里正常样本占多数准确率天然偏高真正需要关注的是召回率、精确率和混淆矩阵。攻击样本被漏判的代价远高于正常样本被误判所以召回率比准确率更关键。from sklearn.metrics import confusion_matrix, classification_report cm confusion_matrix(y_test, preds) print(cm) print(classification_report(y_test, preds, target_names[normal, attack]))混淆矩阵的四格分别代表正常判正常、正常判攻击、攻击判正常、攻击判攻击。左下角攻击被漏判的数量才是衡量入侵检测系统价值的核心数字。如果这个数偏高模型对这个数据集来说就是不合格的。从那以后我每次拿到新的流量数据集都强制先走一遍预处理管线再碰模型预处理脚本里对训练集 fit、对测试集 transform 的顺序也固定成了肌肉记忆少熬了好几个夜排查那种莫名其妙的指标虚高问题。希望帮到你。本文还有配套的精品资源点击获取
机器学习驱动的入侵检测系统：从数据预处理到CNN/LSTM实战
简介这是一份面向计算机专业学生的基于机器学习的入侵检测系统完整项目内含可运行的Python源码与配套文档说明适用于毕业设计、课程设计或期末大作业等场景。项目基于公开的网络安全数据集覆盖数据清洗、特征提取、样本平衡、模型训练与效果评估等完整流程代码结构清晰便于阅读与二次开发。压缩包内共包含三十一个文件以Python源码、CSV数据表、Markdown笔记、HDF5模型文件及Word技术方案等类型为主整体大小约26.58MB目录组织清楚方便按模块查阅。目前已有166人学习或浏览过该资源。这套资料可帮助学习者快速复现入侵检测流程理解数据预处理与模型调优思路也可作为毕设或课设的直接参考减少从零搭建的时间成本适合希望获得高分项目经验的学生借鉴。1. 基于机器学习的入侵检测系统这份源码到底能不能跑通基于机器学习的入侵检测系统说白了一句话把网络流量整理成特征表交给模型去学让模型自己判断一条连接是正常访问还是攻击行为。这份源码项目不是只给个玩具 demoUNSW_NB15 数据集、CNN/LSTM 两套深度学习模型、特征工程相关脚本、一份可以直接参考的技术方案文档全部打包在里面评审 99 分代码是可运行的完整工程。适合正在做毕设、课程设计或期末大作业的同学也适合想跑通一遍完整机器学习流程的从业者——从原始流量数据到训练、预测、对比实验整条链路是齐的不用自己去网上东拼西凑。2. 数据准备UNSW_NB15 的预处理流程与四个必须改的参数2.1 UNSW_NB15 为什么是这个项目的默认数据集现在做入侵检测方向的课题绕不开数据集选择。老一点的教材和论文里常拿 KDD99 说事但那个数据集年代太早流量形态和攻击类型跟现在的网络环境差得比较远。UNSW_NB15 是澳大利亚网络安全中心发布的标准基准数据集从真实网络流量里抽取包含 Fuzzers、Analysis、Backdoors、DoS、Exploits、Generic、Reconnaissance、Shellcode、Worms 九类攻击加上正常流量一共 10 类特征维度 49 个。相比 KDD99它的攻击类型更全、特征定义更接近真实场景这也是近年来入侵检测论文里比较受认可的公共基准。项目里 data 目录下的东西给得很全UNSW_NB15.zip 是原始数据压缩包Process_data.zip 是处理过的中间数据train.csv 和 test.csv 是已经划分好的训练集和测试集2_feture.csv 是抽取出来的简化特征版本。也就是说你不需要自己去官网下载、解压、拼接、去重那一步在网络条件不稳定的情况下最容易卡住资源里已经把这些脏活干完了。我拿到这种资源的第一反应不是跑模型而是先打开 readme.md 和 IDS.md确认 train.csv 和 test.csv 的划分口径。常见做法是先检查列名、标签定义、训练测试比例再决定后面的特征工程怎么处理。这一步看着不起眼但数据集一旦理解偏了后面整个实验结论都会出问题。2.2 标签编码Lable_encoder.py 的用法与共享编码器问题UNSW_NB15 的特征里有一部分是字符型的比如协议类型 proto、服务类型 service、连接状态 state。这些字段模型没法直接吃需要先变成数字。Lable_encoder.py干的就是这件事。from sklearn.preprocessing import LabelEncoder import pandas as pd df pd.read_csv(data/train.csv) label_cols [proto, service, state] encoder_dict {} for col in label_cols: encoder LabelEncoder() df[col] encoder.fit_transform(df[col]) encoder_dict[col] encoder # 预测阶段用同一个 encoder 转测试集而不是重新 fit df_test pd.read_csv(data/test.csv) for col in label_cols: df_test[col] encoder_dict[col].transform(df_test[col])这段代码的关键在于最后两行。fit_transform是拟合并转换拿到的是这个编码器对训练集数据的映射关系。测试集必须用同一个 encoder 去做transform而不是自己重新fit。如果对测试集单独 fit 一次训练集里出现但测试集里没出现的类别或者反过来都会导致两边的特征编号对不上模型预测时维度直接翻车。另外有个实际经验LabelEncoder 适合处理有序类别但 proto、service 这类字段本质上是无序的理论上用 One-Hot 编码更严谨。不过在这个项目的数据规模下流量特征有 40 多个维度全文分类模型对编码方式没那么敏感LabelEncoder 省内存、省维度是合理的取舍。你要是追求更严谨的实验对比可以后面自己把 LabelEncoder 换成 OneHotEncoder 再跑一轮。2.3 Min-Max 归一化Min-max.py 为什么选这个流量特征有个非常实际的问题量纲差异巨大。连接时长可能是毫秒级的小数收发字节数可能是几万的大数。如果不做归一化数值大的特征会在梯度计算里直接压过数值小的特征模型学到的权重基本被大数值特征绑架。from sklearn.preprocessing import MinMaxScaler # 特征列和标签列分离 feature_cols [c for c in df.columns if c not in [label]] X df[feature_cols] # 压缩到 [0, 1] 区间 scaler MinMaxScaler(feature_range(0, 1)) X_scaled scaler.fit_transform(X) df[feature_cols] X_scaled为什么是 Min-Max 而不是 StandardScaler两者都是常见做法但对入侵检测这个场景流量特征很多是长尾分布还有不少稀疏特征Min-Max 能把所有特征强行压到 [0,1] 区间保留特征的相对大小关系对后面 CNN 的卷积核初始化更友好。StandardScaler 在处理偏斜分布时容易把稀疏特征变成一堆接近 0 的小数反而丢掉了区分度。归一化的另一个坑是要在切分训练测试集之后再各自处理还是先合并处理。常见做法是先切分再用训练集的 scaler 去 transform 测试集避免测试集信息泄漏到训练过程。这个项目里 train.csv 和 test.csv 是单独给好的所以顺序应该是先读 train 做 fit再用同一个 scaler 处理 test。2.4 类别不平衡Process_Imbanlce.py 在救什么入侵检测场景天生存在类别不平衡问题正常流量占了绝大多数各种攻击流量加在一起可能只占很小比例。如果直接拿原始数据训模型模型会学会一个偷懒策略——把什么都判成正常因为这样准确率也很高。Process_Imbanlce.py处理的就是这个问题。核心思路无非两个方向对多数类降采样或者对少数类过采样。from imblearn.over_sampling import SMOTE smote SMOTE(random_state42, k_neighbors3) X_resampled, y_resampled smote.fit_resample(X_scaled, y) from collections import Counter print(Counter(y_resampled))SMOTE 是常见的过采样方法它在少数类样本的 K 近邻之间插值生成新样本不是简单复制能缓解过拟合。参数k_neighbors控制了插值时参考的近邻数量默认 5在攻击样本本身很少的时候可以调小到 3 甚至 2否则近邻里全是同类的合成样本生成质量会下降。处理完类别不平衡之后建议顺手把Counter(y_resampled)打印出来看一眼。如果训练数据里 normal 和 attack 的比例接近 1:1 了说明处理到位如果还是 10:1那后面模型的指标会继续被多数类带偏。这一步不做后面 CNN、LSTM 的准确率再好看都是假的。3. CNN 与 LSTM 双模型训练脚本怎么跑、参数怎么调3.1 CNNcnn_pytorch.py 与 cnn_train.py 的拆分工看完文件结构会发现CNN 这部分不是单脚本而是拆成了几个文件cnn_pytorch.py管模型定义cnn_train.py管训练流程cnn_predict.py管加载权重做预测训练完的结果存在 res 目录里还附带了一张cnn_pytorch_acc.jpg的准确率曲线图。这种拆分思路对做毕设的人其实很有参考价值——模型结构、训练流程、推理流程分开后期改任何一环都不用动另外两个文件。UNSW_NB15 的每条记录是 49 维的特征向量没有原始报文所以这里用的是 Conv1d 一维卷积在一维特征序列上做滑动窗口提取局部模式。import torch.nn as nn class CNN1D(nn.Module): def __init__(self, n_features, num_classes2): super().__init__() self.conv1 nn.Conv1d(1, 64, kernel_size3, padding1) self.conv2 nn.Conv1d(64, 128, kernel_size3, padding1) self.pool nn.MaxPool1d(2) self.fc nn.Linear(128 * (n_features // 2 // 2), num_classes) self.dropout nn.Dropout(0.3) def forward(self, x): x x.view(x.size(0), 1, -1) # N x 1 x features x torch.relu(self.conv1(x)) x self.pool(x) x torch.relu(self.conv2(x)) x self.pool(x) x x.view(x.size(0), -1) x self.dropout(x) return self.fc(x)这里的nn.Conv1d(1, 64, kernel_size3, padding1)含义是输入通道 1每个样本是一条一维特征序列输出通道 64卷积核大小为 3padding 为 1 保证卷积后长度不变。kernel_size3 意味着每次看相邻三个特征之间的关系。两层卷积之后接两层 MaxPool1d每层把序列长度减半最后展平接全连接层。dropout 设 0.3是为了防止全连接层过拟合。训练入口cnn_train.py里要重点关注的超参数是 epoch 数和学习率。这类一维 CNN 在 UNSW_NB15 上收敛很快一般 20 到 30 个 epoch 就能看到准确率曲线走平。学习率常见做法是 0.001配合 Adam 优化器不需要手动调学习率衰减。3.2 LSTMlstm_train.py 把特征重排成序列LSTM 的思路跟 CNN 不一样网络流量记录之间是有上下文关联的同一个连接的前后数据包在统计特征上存在时间上的依赖LSTM 能把这些前后信息串起来而不是像 CNN 那样只看局部窗口。lstm_train.py里需要先把特征重排成序列格式。PyTorch 的 LSTM 默认接收三维输入格式是 (batch_size, seq_len, input_size)所以对每条 49 维的记录可以把它切成长度为 7 的序列每个时间步 7 个特征或者用滑窗把多条相邻记录拼接成序列。import torch.nn as nn class LSTMNet(nn.Module): def __init__(self, input_size, hidden_size128, num_layers2): super().__init__() self.lstm nn.LSTM(input_size, hidden_size, num_layers, batch_firstTrue, dropout0.3) self.fc nn.Linear(hidden_size, 2) def forward(self, x): out, _ self.lstm(x) out out[:, -1, :] # 取最后一个时间步的输出 return self.fc(out)hidden_size128是隐状态维度控制模型记忆容量调大能增强表达能力但会明显变慢num_layers2是 LSTM 层数两层是性价比比较高的配置再加深收益不大还容易过拟合batch_firstTrue表示输入维度把 batch 放第一位dropout 放在两层 LSTM 之间不是最后输出层。值得注意的参数是input_size。它取决于你切分 seq_len 的方式。如果把 49 个特征按 7 个一组切成 7 个时间步那 input_size 就是 7如果是其他切法记得同步改模型定义。这个参数很容易被忽略一旦设错模型跑起来第一行 forward 就会报维度不匹配。3.3 训练与预测从 train 到 predict 的完整闭环cnn_train.py和lstm_train.py里的训练循环核心逻辑是一样的PyTorch 标准五步清零梯度、前向传播、计算损失、反向传播、更新权重。model.train() for epoch in range(30): for batch_x, batch_y in loader: optimizer.zero_grad() out model(batch_x) loss criterion(out, batch_y) loss.backward() optimizer.step()optimizer.zero_grad()必须在每次反向传播前执行否则梯度会累加loss 曲线就会变成一条乱跳的线。criterion这里用的是交叉熵损失nn.CrossEntropyLoss()适合二分类任务。batch_size 建议设 64 或 128对 CPU 训练也友好。训练完之后预测脚本cnn_predict.py和lstm_predict.py的逻辑基本一样加载训练好的权重文件载入测试数据前向传播得到概率再取 argmax 得到类别。model CNN1D(n_featureslen(feature_cols)) model.load_state_dict(torch.load(res/cnn_best.pth, map_locationcpu)) model.eval() with torch.no_grad(): logits model(torch.tensor(test_x, dtypetorch.float32)) probs torch.softmax(logits, dim1) preds torch.argmax(probs, dim1)注意两个细节。第一model.eval()一定要调用它会把 dropout 关掉否则预测结果会有随机性。第二torch.no_grad()包住推理过程省内存也提速。模型文件用map_locationcpu是为了让在没有 GPU 的机器上也能加载如果你训练时用的是 GPU这段代码默认就能兼容。cnn_pytorch_acc.jpg里那条准确率曲线如果训练集和验证集之间差距越来越大就是过拟合的信号需要调大 dropout 或者提前停止训练。4. 特征工程与经典算法对照相关性热图、随机森林与对比实验4.1 Get_corr.py先看特征和特征、特征和标签的关系很多人在入侵检测项目里一上来就灌数据训模型结果模型训完黑匣子一样解释不了。这个资源里的Get_corr.py提供了一个好的起点先做特征相关性分析。这一步能提前暴露两类问题——哪些特征之间高度冗余哪些特征和标签几乎没关系。import pandas as pd import seaborn as sns import matplotlib.pyplot as plt corr df.corr() plt.figure(figsize(16, 12)) sns.heatmap(corr, cmapRdBu_r, annotFalse) plt.savefig(res/corr_heatmap.png)df.corr()默认计算皮尔逊相关系数得到的是一个方阵表示每两个特征之间的线性相关程度。seaborn 的热力图把相关系数矩阵变成可视化颜色块红色正相关、蓝色负相关颜色越深相关性越强。看热力图有两条线。第一条是看特征之间如果有两个特征相关系数超过 0.9说明它们携带的信息高度重叠留一个就行另一个删掉可以降维度。第二条是看标签那一行相关系数接近 0 的特征对分类基本没有贡献后面做特征筛选时可以优先砍掉。相关性分析不能发现非线性关系但它速度快、直观适合作为第一道筛选。4.2 RFP.py随机森林特征重要性筛选相关性热力图之外RFP.py提供了另一种更直接的特征筛选手段随机森林特征重要性。随机森林是树模型集成训练过程中能天然计算每个特征在分裂时带来的不纯度下降程度归一化之后就是特征重要性分数。from sklearn.ensemble import RandomForestClassifier clf RandomForestClassifier(n_estimators200, max_depth12, n_jobs-1) clf.fit(X_train, y_train) imp pd.Series(clf.feature_importances_, indexfeature_cols) imp imp.sort_values(ascendingFalse) print(imp.head(20)) top_k imp.head(20).index.tolist()n_estimators200是森林里决策树的数量太少会导致重要性分数不稳定max_depth12限制每棵树深度防止单棵树过拟合把重要性分数带偏n_jobs-1表示用满所有 CPU 核心。跑完之后imp.head(20)会列出贡献最大的前 20 个特征把这些特征名存下来后续 CNN、LSTM 训练就只用这一份精简特征集。为什么要先跑随机森林再做深度学习一个非常实际的原因49 维特征直接灌进 CNN 不是不行但其中不少特征可能是冗余的对模型学习反而是噪声。随机森林给的特征重要性相当于一份免费的降维方案而且它能捕捉非线性关系比单纯看相关系数更可靠。get_feature.py在这条链路里的角色就是把筛选出的特征固化成一个新的 CSV 文件供后面所有模型统一使用。4.3 classify.py经典分类器横向对比深度学习模型做完了论文或答辩的时候导师大概率会问一句你的模型比传统机器学习方法好在哪里就靠这个好在哪里活着。classify.py就是用来回答这个问题的——它一次性跑了逻辑回归、KNN、决策树、随机森林、SVM 五种经典分类器输出各自在测试集上的分类报告。from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report models { LR: LogisticRegression(max_iter500), KNN: KNeighborsClassifier(n_neighbors5), DT: DecisionTreeClassifier(max_depth10), RF: RandomForestClassifier(n_estimators100, n_jobs-1), SVM: SVC(kernelrbf, probabilityTrue), } for name, model in models.items(): model.fit(X_train, y_train) y_pred model.predict(X_test) print(f {name} ) print(classification_report(y_test, y_pred, target_names[normal, attack]))这里面的参数有的是常见的坑。比如 SVM 的kernelrbf在小样本上表现不错但在完整 UNSW_NB15 数据集上会慢到怀疑人生如果只是做对比实验可以先降采样再跑省时间。逻辑回归的max_iter500是因为默认 100 在特征维度高时经常不收敛训练过程会报警告。KNN 的n_neighbors5是最常见的配置但它对特征缩放非常敏感这也是前面 Min-Max 归一化在这条链路里必须存在的原因。另外3d.py是把降维后的特征画成三维散点图用不同颜色区分攻击类型和正常流量。这个脚本适合做可视化展示用论文里放一张三维类别分布图比纯文字描述更有说服力。它通常配合 PCA 或者直接挑三个特征做坐标轴目的是直观展示类别之间是否存在可分性。5. 常见问题排查五个坑位与现场处理记录5.1 训练时内存直接爆掉现象启动训练脚本后程序先卡住几分钟然后弹出内存错误或者电脑直接死机。原因UNSW_NB15 完整数据集全量读入 pandas加上特征工程过程中的临时副本内存占用轻松超过 8GB。全量数据有两百多万条记录df.corr()本身也会生成一个 n×n 的稠密矩阵存储中间计算结果。解决这一步我建议先按比例降采样。最常见做法是pd.read_csv(..., nrows50000)先只读前五万条试试确认流程能跑通再加载更多或者用df.sample(frac0.2, random_state42)取 20% 做训练。UNSW_NB15 对这类任务来说样本量冗余很大五万到十万条足够让模型学到一个不错的决策边界。内存不够的机器硬扛全量是毕设阶段最常见的无效耗时。5.2 标签编码后训练测试维度对不上现象训练时模型一切正常加载测试集做预测时shape报错或者模型输出结果明显不对。原因对测试集单独调用了fit_transform而不是用训练集拟合好的编码器。因为测试集和训练集的类别分布不完全一致比如某个协议类型只在训练集出现或者顺序被打乱导致编码后的数字含义不是一一对应。解决训练集上用fit拿到编码器测试集只用transform。更稳妥的做法是把所有可能出现的类别先汇总成一个完整列表再 fit或者干脆在预处理阶段就把 train 和 test 中类别字段的并集拿去 fit这样任何一边单独出现的新类别都不会导致编码错位。这个错误隐蔽在预测阶段才暴露排查起来最费时间建议写预处理脚本的时候就按这个逻辑来。5.3 模型指标很高但预测结果全是「正常」现象训练结束打印准确率 90% 以上看起来很漂亮但查看预测结果发现所有样本都被分到 normal 类攻击样本一个都没识别出来。原因类别不平衡没处理。正常流量占了绝大多数模型发现全部预测为正常就能拿到很高的准确率于是梯度更新朝着这个懒人方向收敛了。准确率这个指标在不平衡数据上会骗人。解决先跑Process_Imbanlce.py做降采样或 SMOTE让训练集里两类样本比例接近 1:1。另外一个补充手段是计算损失时给少数类加权重PyTorch 里CrossEntropyLoss(weighttorch.tensor([1.0, 5.0]))把攻击类的损失放大几倍强迫模型重视少数类。别只看准确率要看召回率——攻击样本有多少被真正抓出来了那才是入侵检测的核心指标。5.4 训练 acc 曲线很高测试召回率却很低现象cnn_pytorch_acc.jpg里训练集准确率一路冲到接近 100%但测试集上召回率只有百分之六七十差距很大。原因典型的过拟合或者预处理参数泄漏。过拟合的情况模型把训练集的噪声也记住了泛化能力差常见做法是增大 dropout、加正则、减少 epoch。另一种情况是归一化和编码的 scaler 是在全量数据上做的 fit测试集信息混进了训练过程导致指标虚高换到真正没见过的新数据上就露馅。解决确认预处理严格按「只在训练集上 fit测试集只 transform」的顺序执行。这是排查这一类问题最需要先确认的一点。同时看训练和验证两条曲线cnn_pytorch_acc.jpg里如果训练集和验证集之间的 gap 越来越大说明模型开始记题了把 epoch 调小或者把 dropout 从 0.3 提到 0.5都能缓解。5.5 环境问题requirements.txt 装不完或者版本冲突现象照着 requirements.txt 安装依赖torch 装到一半报错或者装完了 GPU 版本和 CUDA 版本对不上一跑就崩。原因requirements.txt 里通常没有锁死版本号而 PyTorch 的 GPU 版跟 CUDA 版本强相关直接pip install容易装成不匹配的组合。有的机器没有 NVIDIA 显卡装 CUDA 版本来就是白费功夫。解决没有 GPU 的环境直接装 CPU 版 PyTorch命令是pip install torch --index-url https://download.pytorch.org/whl/cpu训练慢一点但流程完全能跑通。装完以后用一行命令验证python -c import torch; print(torch.__version__)。另外建议把 numpy 和 pandas 版本和 requirements.txt 比对一下老一点的 pandas 和太新的 numpy 之间偶尔会有接口不兼容这时候以 requirements.txt 里的版本号为准最省事。6. 完整复现路径从原始数据到预测结果的一趟流程把整个项目的复现顺序理顺一遍按这个顺序走可以少走很多弯路。第一步装依赖然后跑Process_Imbanlce.py处理类别不平衡再依次跑Lable_encoder.py和Min-max.py完成编码和归一化接着用get_feature.py做特征筛选拿到精简特征集之后分别跑cnn_train.py和lstm_train.py训练两个深度学习模型再用各自的 predict 脚本对测试集推理最后用classify.py做经典分类器对比。这个顺序保证了每一步的输出都能作为下一步的输入不会出现中途缺文件的尴尬。验证模型效果别只盯着 accuracy。入侵检测场景里正常样本占多数准确率天然偏高真正需要关注的是召回率、精确率和混淆矩阵。攻击样本被漏判的代价远高于正常样本被误判所以召回率比准确率更关键。from sklearn.metrics import confusion_matrix, classification_report cm confusion_matrix(y_test, preds) print(cm) print(classification_report(y_test, preds, target_names[normal, attack]))混淆矩阵的四格分别代表正常判正常、正常判攻击、攻击判正常、攻击判攻击。左下角攻击被漏判的数量才是衡量入侵检测系统价值的核心数字。如果这个数偏高模型对这个数据集来说就是不合格的。从那以后我每次拿到新的流量数据集都强制先走一遍预处理管线再碰模型预处理脚本里对训练集 fit、对测试集 transform 的顺序也固定成了肌肉记忆少熬了好几个夜排查那种莫名其妙的指标虚高问题。希望帮到你。本文还有配套的精品资源点击获取
