简介一份基于Python与SVM的垃圾短信识别系统整套源码包面向计算机相关专业在校生及需要完成课程设计、毕业设计或大作业的开发者。项目已经过功能验证能够稳定运行覆盖数据预处理、TF-IDF特征提取、SVM模型训练与在线分类等完整流程同时附带项目说明和设计报告便于直接复现或二次扩展。压缩包大小约107.89MB主要文件类型包括Python脚本、训练数据、模型文件及设计文档等目录按model、Data、code拆分其中model存放训练模型Data提供带标签与无标签短信数据及预处理特征code包含预处理、训练与在线分类脚本并基于Python2.7与ApachePHP搭建运行环境结构清晰易上手。目前已有289人学习与下载既适合作为SVM文本分类方向的入门进阶素材也可直接支撑课程设计、毕业设计或初期项目立项演示具备较好的拓展空间。1. 为什么垃圾短信识别用SVM课程设计的选题逻辑做课程设计最怕的不是代码跑不通而是答辩时说不清楚“为什么选这个方案”。Python基于机器学习SVM的垃圾短信识别系统是少数能同时满足“实现简单、理论扎实、演示效果好”的选题。垃圾短信识别本质是文本二分类输入一条短信输出正常或垃圾。这类数据的特征是维度高但样本量不大正好落在SVM的优势区间不需要海量样本就能在高维稀疏特征上学到稳定的分类边界。整个流程从中文分词到TF-IDF特征再到SVM训练与评估覆盖机器学习课程里分类问题的主线知识点。对正在复习机器学习期末的学生做完它等于把分类器从理论到实践完整走了一遍对要交源码和设计报告的人它代码量可控、报告素材充足是一道性价比很高的课程设计题目。2. 从原始短信到训练集数据准备与中文预处理2.1 先画数据流系统由哪几个模块组成在写任何代码之前先把系统的数据流画清楚。垃圾短信识别可以拆成四个模块数据加载与预处理、特征工程、模型训练与评估、预测接口。原始短信文本先进预处理模块做清洗和分词分词后的结果交给TF-IDF向量化变成SVM能吃的稀疏矩阵模型在矩阵上训练用测试集评估最后把训练好的模型加载进预测模块输入一条新短信输出一个分类结果。四个模块串起来是一条流水线哪个环节出了问题顺着数据流查一遍就能定位。这里有一个贯穿全项目的原则训练和预测必须共用同一套预处理和特征提取代码。很多课程设计翻车就翻在这里——训练时自己写了分词函数预测时又换了写法或者向量器没有复用导致特征维度对不上模型预测结果全乱。我一般会把clean_text、cut_text这两个函数和vectorizer的初始化放在同一个模块里训练脚本和预测脚本都从那里import。这样从根上避免两边不一致。按这个模块拆分还有一个隐藏好处设计报告要求讲清楚“输入是什么、中间经过了什么、输出是什么”。四个模块对应四张流程图答辩时不用背稿子照着数据流讲一遍评委基本就能确认你是真的把这个系统做完并理解了。SVM在这里负责的是“从特征向量映射到类别”这一步也是整个系统里理论分量最重的部分。2.2 数据集怎么准备标签、格式与划分垃圾短信识别是有监督的二分类问题数据必须带标签。常见的做法是直接用公开的带标注短信语料。我习惯用的格式是CSV两列label用0和1表示正常和垃圾text是原始短信文本。这个格式简单到什么辅助工具都不需要pandas读进来就能开工。如果语料是分散的txt文件先按行读入再按来源打标合并同样整理成这两列。字段类型说明labelint0正常短信1垃圾短信textstr原始短信文本数据量不需要贪大几千条到两万条足够课程设计使用关键在于正负样本的比例。真实环境里垃圾短信占比本来就低如果语料里正负比例到了1:9甚至更低模型很容易把所有短信都预测成正常类训练得再久也没有实际意义。我建议训练集里垃圾短信占比不低于20%。如果原始语料不平衡先做数据层面的处理最朴素的方法是少数类重复采样把垃圾短信复制几份拉平比例。更省事的做法是直接在SVM里设置class_weightbalanced让模型按样本数量的倒数自动调整类别权重这一点在后面的代码里会用到。划分数据时用train_test_split有一个参数容易漏掉stratify。它会在切片时保持类别比例不变避免测试集里恰好没有垃圾短信导致评估指标虚高。另一个值得养成习惯的参数是random_state固定成42这类常数让每次运行结果完全一致。答辩如果被问到“你的实验能不能复现”把这个参数指给他看问题就结束了。import pandas as pd from sklearn.model_selection import train_test_split df pd.read_csv(data/sms.csv, encodingutf-8) print(类别分布:) print(df[label].value_counts()) X_train, X_test, y_train, y_test train_test_split( df[text], df[label], test_size0.2, random_state42, stratifydf[label] )这段代码做什么已经很直白读入CSV、查看类别分布、按8:2划分训练集和测试集。value_counts()的输出一定要看垃圾短信只有几十条的话后面训练出来的模型基本不可信。stratifydf[label]保证切出来的训练集和测试集里正常短信与垃圾短信的比例和原始数据一致不会出现测试集里全是正常短信的情况。下一节定义的cut_text会直接作用在这两个Series上索引与y_train、y_test对齐。2.3 预处理三件套去噪声、jieba分词、去停用词中文短信的预处理和英文不一样词与词之间没有空格必须分词。常见的做法是jieba精确模式分词再配合停用词表把“的、了、在”这类高频无意义词过滤掉。这一步直接决定TF-IDF特征的质量词典里如果全是单字和助词SVM看到的特征就没有区分度后面怎么调参都是白费。我一般把预处理写成三步。第一步去噪声把短信里的网址替换成URL占位符、数字替换成NUM占位符再清掉标点符号。这样混杂在文本里的具体链接、手机号不会再膨胀特征空间模型学到的是“URL”这个位置模式而不是某个具体网址。第二步分词用jieba.cut把句子切成词序列。第三步过滤停用词和单字词直接丢弃。三步全部收在cut_text一个函数里训练集和预测集调用的是同一份逻辑天然保证一致性。import re import jieba stopwords set() with open(data/stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def clean_text(text): text re.sub(rhttp\S, URL, text) text re.sub(r\d, NUM, text) text re.sub(r[^\u4e00-\u9fa5A-Za-z], , text) return text def cut_text(text): text clean_text(text) words jieba.cut(text) return .join(w for w in words if w not in stopwords and len(w.strip()) 1) X_train_cut X_train.apply(cut_text) X_test_cut X_test.apply(cut_text) print(X_train_cut.head())clean_text里的两个替换是关键操作。URL和数字被替换成占位符后跟在这些符号后面的词仍然保留比如“添加URL领取红包”里的“领取红包”还是完整语义。正则里的\u4e00-\u9fa5是Unicode中文字符区间配合A-Za-z保住英文和数字占位符。最后一行的len(w.strip()) 1会把单字词过滤掉因为单字在短信分类里几乎没有判别力。stopwords.txt需要自己准备一个中文停用词表网上一搜就有放到data目录下。打印出来的分词结果会显示类似“恭喜 NUM 用户 获取 大礼包”这样的序列这就是下一章特征工程的直接输入。3. 特征工程与SVM训练核心代码与参数说明3.1 用TfidfVectorizer把短信文本转成向量SVM没法直接吃文本需要把分词后的结果转成数值向量。词袋模型是最基础的思路统计每个词在每条短信里出现的次数形成文档-词频矩阵。但它有明显缺陷“短信”“手机”“详情”这类几乎每条消息都会出现的词词频很高却对区分正常与垃圾毫无帮助。TF-IDF在这个基础上做了修正。它由两部分组成词频TF衡量一个词在当前短信里的重要性逆文档频率IDF衡量一个词在全部短信里的稀缺度。一个词如果只在少数垃圾短信里高频出现TF-IDF值会很高对应特征对分类的贡献就大一个词如果到处都出现IDF趋近于零即使词频高也会被强行压低。对垃圾短信里的“中奖”“秒到账”“点击链接”这类营销黑话TF-IDF能非常好地放大区分度。sklearn的TfidfVectorizer把这些逻辑封装成了一个类输入是分词后以空格连接的文本列表输出是一个稀疏矩阵大多数元素是0只有有词的位置才有值。环境只需要Python 3以上版本装好scikit-learn、jieba、pandas三个库用vscode写的话记得选对解释器。TfidfVectorizer有三个参数值得认真调max_features限定词典规模我一般设置在3000到8000之间太小会丢掉长尾信息太大则引入大量只出现一两次的噪音词ngram_range(1,2)同时使用单词和相邻词对能捕捉“免费领取”“恭喜您”这类复合表达min_df过滤掉出现次数过少的词。from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features5000, ngram_range(1, 2), min_df2 ) X_train_tfidf vectorizer.fit_transform(X_train_cut) X_test_tfidf vectorizer.transform(X_test_cut) print(训练特征矩阵:, X_train_tfidf.shape) print(测试特征矩阵:, X_test_tfidf.shape)注意X_train_cut和X_test_cut来自上一章的分词结果是一维Series不能把原始df[text]传进去。这里的fit_transform在训练集上拟合词典并完成转换transform在测试集上只做同样的映射。这一步刻意区分的原因在于测试集是模拟未来未知短信的它绝不能参与词典的构建否则会泄漏信息。min_df2意味着一个词至少要在2条短信中都出现才进入词典把全语料里只出现一次的独特表达过滤掉。打印出来的shape一般形如(8000, 5000)8000是样本数5000是特征维度这个数字在报告里可以直接用于描述特征规模。3.2 训练LinearSVC为什么默认选线性核特征准备好后选模型就顺理成章了。sklearn的SVC支持线性、RBF、多项式等多种核函数但对文本分类这种高维稀疏数据线性核是第一选择。原因有两条。第一文本TF-IDF特征的维度动辄上万高维空间里的数据点往往已经接近线性可分再加RBF做非线性变换收益很小。第二RBF核需要计算两两样本的内积矩阵在几万条短信上代价很高训练速度会比线性核慢一个数量级课程设计没必要在这个环节耗时间。LinearSVC是线性核的高效实现底层调用liblinear针对大规模稀疏数据做了优化。它和二分类的SVM在目标上一致最大化间隔的同时惩罚误分类点。核心参数C控制误分类惩罚强度C越大模型越拼尽全力把训练样本分对路径越复杂容易过拟合C越小模型越容忍个别误分类换一个更平滑的决策边界泛化能力通常更强。文本分类里我一般从0.1、1.0、10.0三个档位去试拿不准时先用1.0跑通。from sklearn.svm import LinearSVC from sklearn.metrics import classification_report clf LinearSVC( C1.0, class_weightbalanced, random_state42 ) clf.fit(X_train_tfidf, y_train) y_pred clf.predict(X_test_tfidf) print(classification_report(y_test, y_pred))class_weightbalanced是应对类别不平衡的重要参数。它会根据每个类别的样本数量自动调整损失函数里的权重垃圾短信少分错它的代价就被放大模型不会再为了整体准确率而全部倾向预测正常类。random_state42保证每次训练得到相同的决策超平面便于复现实验结果。classification_report会输出正常短信和垃圾短信各自的precision、recall、f1-score垃圾短信那一行的f1-score是这个项目最重要的评价指标后面评估章节还会专门展开。3.3 模型持久化保存、加载与单条预测模型训练完成后需要把分类器和向量器一起保存。新手常犯的错是只用joblib.dump保存了clf到演示现场加载模型预测时才发现文本进模型前必须分词和向量化没有保存vectorizer等于没保存模型。正确做法是把分类器、向量器、以及预处理依赖的停用词表装进同一个字典再保存。import joblib model_package { classifier: clf, vectorizer: vectorizer, stopwords: stopwords } joblib.dump(model_package, output/sms_svm_model.pkl) def predict_sms(raw_text, package): clf package[classifier] vec package[vectorizer] cut cut_text(raw_text) x vec.transform([cut]) return clf.predict(x)[0] test_text 恭喜您获得iPhone大奖请点击链接领取 print(垃圾短信 if predict_sms(test_text, model_package) 1 else 正常短信)把stopwords也打包进model_package是因为cut_text函数依赖停用词表转移环境时缺了这个文件预处理结果就会不一样。predict_sms函数接收一条原始短信先经过cut_text清洗分词再vec.transform向量化最后送入classifier预测。vec.transform接收的必须是一个列表所以传入[cut]而不是cut。随机选一条典型的营销短信做验证比如“恭喜您获得iPhone大奖”这句模型应输出垃圾短信。如果输出正常优先检查训练数据里这类样本是否存在而不是急着调参数。4. 课程设计避坑指南5个让SVM识别翻车的常见问题4.1 中文乱码读CSV时编码不一致现象pd.read_csv加载短信语料后打印出来全是乱码更严重的情况下直接抛UnicodeDecodeErrorpandas一行代码都跑不动。原因中文短信语料大多来自Windows环境保存时用的编码是GBK或GB2312而pandas的默认读取编码是utf-8。两边字符集对不上解码自然失败。带BOM的utf-8也会出问题它会在文件开头多出三个字节有时界面正常但后续处理会出现隐藏的\uFEFF前缀。解决读取时显式声明编码我习惯的顺序是先utf-8-sig报错切gbk再不行切gb18030。gb18030是GBK的超集覆盖更全。这样还打不开就不要跟编码死磕了用编辑器打开另存为utf-8再读。所有中间结果在保存时统一用utf-8-sig可以避免Windows上的Excel打开时乱码也让后续脚本少一个编码变量。4.2 数据集不平衡模型全预测成“正常短信”现象训练完看准确率有90%多但把测试集里的垃圾短信样本挑出来逐个检查发现几乎全被预测成正常短信垃圾类别的召回率趋近于零。那90%的准确率完全是靠把占多数的“正常短信”全猜对刷出来的。原因语料里垃圾短信占比太低SVM的目标函数默认把多数类样本的损失权重算得更高因此学出来的决策边界为了让那90%的正常短信尽量都对直接放弃了对垃圾短信的覆盖。这是分类项目里极其普遍的陷阱跟算法本身关系不大。解决两个方向一起下手。数据层面把训练集里垃圾短信占比拉高到20%以上简单手段是少数类重复采样或者对正常短信做下采样。模型层面在LinearSVC或SVC里加class_weightbalanced让少数类的误分类代价被放大。改完之后不要只看准确率而是看垃圾短信那一行的召回率是否明显上升。每一次评估都带着混淆矩阵走心里才有底。4.3 SVM训练慢、内存暴涨现象数据量一两万条跑LinearSVC训练十几分钟没结束CPU占用还很高如果改用SVC(kernelrbf)甚至直接MemoryError进程被杀。原因文本特征虽然以稀疏矩阵存储但某些SVM实现内部会计算稠密的核矩阵复杂度随样本数平方甚至立方增长。RBF核在几万条文本样本上构建n×n的内积矩阵内存根本装不下。另一部分原因是TfidfVectorizer没设max_features词典膨胀到几十万维稀疏矩阵的行列都变大训练时间自然失控。解决文本分类优先用LinearSVC它在liblinear里做了大量优化复杂度可控。TfidfVectorizer上必须限制max_features5000已经够课程设计用了。如果训练仍慢检查数据量是否真的需要这么大抽样几千条往往足够。LinearSVC也可以调高max_iter但慢通常是数据规模或特征规模的锅不是迭代次数的问题。4.4 重新预测时特征维度对不上现象训练集跑得好好的把模型加载到另一个脚本里预测新短信突然报特征维度不匹配提示训练时有5000维预测时只有3000维。原因最常见的是预测脚本里新建了TfidfVectorizer并对新文本重新fit_transform。重新fit生成的词典来自新文本词表自然和训练时不同。另一种情况是预测时忘了分词把整条原始文本直接传给vectorizer构造出来的特征空间完全不同。解决训练脚本里把vectorizer和clf一起joblib.dump预测脚本里加载后只调用transform绝不能再fit。cut_text也要复用同一个函数不要把训练和预测的预处理逻辑写到两处。这里我想强调一个习惯单条预测函数必须在训练脚本里先写好并自测通过再原封不动地移到预测脚本不要重建输入管道。4.5 过拟合到训练集换条真实短信就失灵现象训练集和测试集上的F1都漂亮但现场演示时拿一条真实的促销短信来测模型判成了正常短信。评委的印象立刻打折扣。原因训练语料与真实短信分布有差异而且预处理不够干净时SVM会记住语料里一些特殊性特征比如某个具体网址、某个号段、某次活动的关键词。真实短信不会正好带这些特征模型自然失效。解决预处理里把网址统一替换成URL、数字替换成NUM让模型学习的是位置和语境特征而不是具体值。调参上可以把C调小一点让决策边界更平滑减少对训练集特殊点的过度拟合。另外我会在项目目录里放一个“never_seen.txt”放几条自己手动收集的真实短信每次训练完都拿它测一遍把测试结果记录在设计报告里比只报测试集分数更有说服力。5. 用指标说话混淆矩阵、交叉验证与核函数对比5.1 混淆矩阵垃圾短信识别到底该看哪个指标准确率在类别不平衡的垃圾短信场景里几乎失效。试想1000条测试短信里只有100条垃圾就算模型把垃圾短信全部漏掉只要它把900条正常短信都判对准确率照样90%。但这个模型在反垃圾场景里毫无用处。所以评估必须看向垃圾短信类别自身的precision和recall。precision表达的是“判定为垃圾的短信里确实垃圾的比例”recall是“真实垃圾短信里被正确找出来的比例”。在垃圾短信识别里recall通常比precision更重要。漏掉一条垃圾短信用户至多收到一次骚扰把正常的银行验证码、快递通知误判成垃圾用户会错过真正重要的信息产品口碑受损。报告里可以直接写“本系统以垃圾短信召回率为首要优化目标”这句话会显得你理解业务而不是只会调库。from sklearn.metrics import confusion_matrix y_pred clf.predict(X_test_tfidf) cm confusion_matrix(y_test, y_pred) print(cm) tn, fp, fn, tp cm.ravel() recall tp / (tp fn) precision tp / (tp fp) print(f垃圾短信 recall: {recall:.4f}) print(f垃圾短信 precision: {precision:.4f})confusion_matrix输出的是一个2×2矩阵第一行对应正常短信类别的预测第二行对应垃圾短信类别。cm.ravel()展平的顺序是[tn, fp, fn, tp]这个顺序是sklearn手册里写好的但初学者经常搞混我在评审自己的项目时吃过亏后来干脆把print语句写全直接在代码里算recall和precision。注意tp指的是“真实垃圾且预测为垃圾”的样本数fp是“真实正常但预测为垃圾”fn是“真实垃圾但预测为正常”。答辩时能不看笔记把这个矩阵讲清楚评委基本就相信你真的理解了模型。5.2 GridSearchCV调参C与gamma怎么搜SVM参数不多但每个参数的取值范围跨度很大手工试很浪费时间。常见做法是用GridSearchCV做网格搜索把候选参数组合都遍历一遍用交叉验证选出一组最佳组合。LinearSVC主要是CSVC的RBF核多一个gamma。gamma决定RBF核的“影响半径”gamma越大决策边界越复杂越贴近训练数据容易过拟合gamma越小边界越平滑但如果过小模型又可能欠拟合。sklearn里gammascale是一个安全的初始值等于1除以特征维度适配大多数场景。from sklearn.model_selection import GridSearchCV from sklearn.svm import SVC param_grid { C: [0.1, 1.0, 10.0], gamma: [0.01, 0.1, scale], kernel: [rbf] } svm SVC(class_weightbalanced, random_state42) grid GridSearchCV(svm, param_grid, cv5, scoringf1, n_jobs-1) grid.fit(X_train_tfidf, y_train) print(best params:, grid.best_params_)scoringf1是在不平衡分类下正确的选择如果搜索目标写成准确率垃圾类别的表现会被大量“正常短信”稀释。cv5意味着每组参数要训练5次每次用其中4折训练、1折验证最终取平均分。n_jobs-1让所有参数组合并行跑数据量不大时速度能接受。网格搜索的候选参数不宜过多3×3×19种组合比较合适再多就容易变成在验证集上反复试探泛化能力反而下降。搜索完成后在测试集上单独评估一次grid.best_estimator_这次得到的指标才是报告里能用的泛化结果。5.3 三种核函数对比线性、RBF与多项式答辩时评委常问的一个问题是“你试过其他核函数吗”只回答“没试过”会显得探索不足。常见的做法是拿同一份TF-IDF特征矩阵分别跑LinearSVC、SVC(kernelrbf)和SVC(kernelpoly)记录下训练时间和F1形成一张对比表这几乎是最低成本增加报告说服力的方式。核函数文本高维稀疏适配训练速度调参难度F1表现linear高度适配快低通常最好rbf一般适配慢中调好gamma可能持平poly较差适配慢高易过拟合这个结果在绝大多数文本二分类项目里会出现线性核的F1不低于RBF而训练时间只有后者的零头。原因前面讲过TF-IDF特征维度高数据在高维空间里已经接近线性可分非线性核的收益被高维特性抵消。多项式核则对特征尺度敏感词频分布极度偏斜阶数稍高就过拟合。实验不需要做得复杂三行代码反复用同一条评估流水线即可。我在报告里通常只给两步一张表格放三个模型对应指标的对比一段文字解释为什么线性核在文本场景下胜出。这两样东西能让实验章节显得完整也给了自己一个“在尝试过不同方案之后做出选择”的立论基础。6. 交付前的最后打磨设计报告配图与现场演示6.1 设计报告里放四张图一份能拿高分的课程设计报告核心是让评阅人快速确认三件事数据真实、流程完整、结果是严谨评估出来的。我一般按下面顺序组织图表第一张放数据集样例和类别分布直方图说明正负样本比例和处理方法第二张放某条短信分词前后的文本截图展示预处理效果第三张放classification_report的完整输出以及混淆矩阵图表第四张放核函数对比表或max_features变化曲线。四张图走完整个系统的证据链就闭环了。项目说明文件则退回README的朴素写法环境依赖、目录结构、从解压到跑出结果的命令三步写完评审老师拿到zip后能自行复现即达标。6.2 演示脚本准备三条现场短信现场演示不要只跑测试集打印指标评委对数字已经脱敏。更有效的做法是准备三条短信让评委自己看预测输出一条典型中奖诈骗、一条银行通知验证码、一条正常广告推销。分别调用第3章写好的predict_sms函数会在屏幕上看到输入原始文本、输出0或1的过程。三条短信一正一反一模糊模型的判断逻辑立刻就具象化了。演示前记得先跑一遍单条预测确认环境正常——我在课程设计答辩前吃过亏上午还能跑下午答辩前装了个库导致版本冲突模型加载直接报错。我的习惯是把所有关键产物落盘保留分词后的CSV、特征矩阵的shape、训练好的pkl包、测试集预测输出txt全放在output目录里。这样即使现场代码临时出错也能打开之前的结果继续讲解流程而不是站在那里重置环境。希望这个习惯连同上面的代码流程能帮到你在垃圾短信识别这个课程设计上少走几步弯路。本文还有配套的精品资源点击获取
机器学习实战：基于SVM的垃圾短信识别系统设计
简介一份基于Python与SVM的垃圾短信识别系统整套源码包面向计算机相关专业在校生及需要完成课程设计、毕业设计或大作业的开发者。项目已经过功能验证能够稳定运行覆盖数据预处理、TF-IDF特征提取、SVM模型训练与在线分类等完整流程同时附带项目说明和设计报告便于直接复现或二次扩展。压缩包大小约107.89MB主要文件类型包括Python脚本、训练数据、模型文件及设计文档等目录按model、Data、code拆分其中model存放训练模型Data提供带标签与无标签短信数据及预处理特征code包含预处理、训练与在线分类脚本并基于Python2.7与ApachePHP搭建运行环境结构清晰易上手。目前已有289人学习与下载既适合作为SVM文本分类方向的入门进阶素材也可直接支撑课程设计、毕业设计或初期项目立项演示具备较好的拓展空间。1. 为什么垃圾短信识别用SVM课程设计的选题逻辑做课程设计最怕的不是代码跑不通而是答辩时说不清楚“为什么选这个方案”。Python基于机器学习SVM的垃圾短信识别系统是少数能同时满足“实现简单、理论扎实、演示效果好”的选题。垃圾短信识别本质是文本二分类输入一条短信输出正常或垃圾。这类数据的特征是维度高但样本量不大正好落在SVM的优势区间不需要海量样本就能在高维稀疏特征上学到稳定的分类边界。整个流程从中文分词到TF-IDF特征再到SVM训练与评估覆盖机器学习课程里分类问题的主线知识点。对正在复习机器学习期末的学生做完它等于把分类器从理论到实践完整走了一遍对要交源码和设计报告的人它代码量可控、报告素材充足是一道性价比很高的课程设计题目。2. 从原始短信到训练集数据准备与中文预处理2.1 先画数据流系统由哪几个模块组成在写任何代码之前先把系统的数据流画清楚。垃圾短信识别可以拆成四个模块数据加载与预处理、特征工程、模型训练与评估、预测接口。原始短信文本先进预处理模块做清洗和分词分词后的结果交给TF-IDF向量化变成SVM能吃的稀疏矩阵模型在矩阵上训练用测试集评估最后把训练好的模型加载进预测模块输入一条新短信输出一个分类结果。四个模块串起来是一条流水线哪个环节出了问题顺着数据流查一遍就能定位。这里有一个贯穿全项目的原则训练和预测必须共用同一套预处理和特征提取代码。很多课程设计翻车就翻在这里——训练时自己写了分词函数预测时又换了写法或者向量器没有复用导致特征维度对不上模型预测结果全乱。我一般会把clean_text、cut_text这两个函数和vectorizer的初始化放在同一个模块里训练脚本和预测脚本都从那里import。这样从根上避免两边不一致。按这个模块拆分还有一个隐藏好处设计报告要求讲清楚“输入是什么、中间经过了什么、输出是什么”。四个模块对应四张流程图答辩时不用背稿子照着数据流讲一遍评委基本就能确认你是真的把这个系统做完并理解了。SVM在这里负责的是“从特征向量映射到类别”这一步也是整个系统里理论分量最重的部分。2.2 数据集怎么准备标签、格式与划分垃圾短信识别是有监督的二分类问题数据必须带标签。常见的做法是直接用公开的带标注短信语料。我习惯用的格式是CSV两列label用0和1表示正常和垃圾text是原始短信文本。这个格式简单到什么辅助工具都不需要pandas读进来就能开工。如果语料是分散的txt文件先按行读入再按来源打标合并同样整理成这两列。字段类型说明labelint0正常短信1垃圾短信textstr原始短信文本数据量不需要贪大几千条到两万条足够课程设计使用关键在于正负样本的比例。真实环境里垃圾短信占比本来就低如果语料里正负比例到了1:9甚至更低模型很容易把所有短信都预测成正常类训练得再久也没有实际意义。我建议训练集里垃圾短信占比不低于20%。如果原始语料不平衡先做数据层面的处理最朴素的方法是少数类重复采样把垃圾短信复制几份拉平比例。更省事的做法是直接在SVM里设置class_weightbalanced让模型按样本数量的倒数自动调整类别权重这一点在后面的代码里会用到。划分数据时用train_test_split有一个参数容易漏掉stratify。它会在切片时保持类别比例不变避免测试集里恰好没有垃圾短信导致评估指标虚高。另一个值得养成习惯的参数是random_state固定成42这类常数让每次运行结果完全一致。答辩如果被问到“你的实验能不能复现”把这个参数指给他看问题就结束了。import pandas as pd from sklearn.model_selection import train_test_split df pd.read_csv(data/sms.csv, encodingutf-8) print(类别分布:) print(df[label].value_counts()) X_train, X_test, y_train, y_test train_test_split( df[text], df[label], test_size0.2, random_state42, stratifydf[label] )这段代码做什么已经很直白读入CSV、查看类别分布、按8:2划分训练集和测试集。value_counts()的输出一定要看垃圾短信只有几十条的话后面训练出来的模型基本不可信。stratifydf[label]保证切出来的训练集和测试集里正常短信与垃圾短信的比例和原始数据一致不会出现测试集里全是正常短信的情况。下一节定义的cut_text会直接作用在这两个Series上索引与y_train、y_test对齐。2.3 预处理三件套去噪声、jieba分词、去停用词中文短信的预处理和英文不一样词与词之间没有空格必须分词。常见的做法是jieba精确模式分词再配合停用词表把“的、了、在”这类高频无意义词过滤掉。这一步直接决定TF-IDF特征的质量词典里如果全是单字和助词SVM看到的特征就没有区分度后面怎么调参都是白费。我一般把预处理写成三步。第一步去噪声把短信里的网址替换成URL占位符、数字替换成NUM占位符再清掉标点符号。这样混杂在文本里的具体链接、手机号不会再膨胀特征空间模型学到的是“URL”这个位置模式而不是某个具体网址。第二步分词用jieba.cut把句子切成词序列。第三步过滤停用词和单字词直接丢弃。三步全部收在cut_text一个函数里训练集和预测集调用的是同一份逻辑天然保证一致性。import re import jieba stopwords set() with open(data/stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def clean_text(text): text re.sub(rhttp\S, URL, text) text re.sub(r\d, NUM, text) text re.sub(r[^\u4e00-\u9fa5A-Za-z], , text) return text def cut_text(text): text clean_text(text) words jieba.cut(text) return .join(w for w in words if w not in stopwords and len(w.strip()) 1) X_train_cut X_train.apply(cut_text) X_test_cut X_test.apply(cut_text) print(X_train_cut.head())clean_text里的两个替换是关键操作。URL和数字被替换成占位符后跟在这些符号后面的词仍然保留比如“添加URL领取红包”里的“领取红包”还是完整语义。正则里的\u4e00-\u9fa5是Unicode中文字符区间配合A-Za-z保住英文和数字占位符。最后一行的len(w.strip()) 1会把单字词过滤掉因为单字在短信分类里几乎没有判别力。stopwords.txt需要自己准备一个中文停用词表网上一搜就有放到data目录下。打印出来的分词结果会显示类似“恭喜 NUM 用户 获取 大礼包”这样的序列这就是下一章特征工程的直接输入。3. 特征工程与SVM训练核心代码与参数说明3.1 用TfidfVectorizer把短信文本转成向量SVM没法直接吃文本需要把分词后的结果转成数值向量。词袋模型是最基础的思路统计每个词在每条短信里出现的次数形成文档-词频矩阵。但它有明显缺陷“短信”“手机”“详情”这类几乎每条消息都会出现的词词频很高却对区分正常与垃圾毫无帮助。TF-IDF在这个基础上做了修正。它由两部分组成词频TF衡量一个词在当前短信里的重要性逆文档频率IDF衡量一个词在全部短信里的稀缺度。一个词如果只在少数垃圾短信里高频出现TF-IDF值会很高对应特征对分类的贡献就大一个词如果到处都出现IDF趋近于零即使词频高也会被强行压低。对垃圾短信里的“中奖”“秒到账”“点击链接”这类营销黑话TF-IDF能非常好地放大区分度。sklearn的TfidfVectorizer把这些逻辑封装成了一个类输入是分词后以空格连接的文本列表输出是一个稀疏矩阵大多数元素是0只有有词的位置才有值。环境只需要Python 3以上版本装好scikit-learn、jieba、pandas三个库用vscode写的话记得选对解释器。TfidfVectorizer有三个参数值得认真调max_features限定词典规模我一般设置在3000到8000之间太小会丢掉长尾信息太大则引入大量只出现一两次的噪音词ngram_range(1,2)同时使用单词和相邻词对能捕捉“免费领取”“恭喜您”这类复合表达min_df过滤掉出现次数过少的词。from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features5000, ngram_range(1, 2), min_df2 ) X_train_tfidf vectorizer.fit_transform(X_train_cut) X_test_tfidf vectorizer.transform(X_test_cut) print(训练特征矩阵:, X_train_tfidf.shape) print(测试特征矩阵:, X_test_tfidf.shape)注意X_train_cut和X_test_cut来自上一章的分词结果是一维Series不能把原始df[text]传进去。这里的fit_transform在训练集上拟合词典并完成转换transform在测试集上只做同样的映射。这一步刻意区分的原因在于测试集是模拟未来未知短信的它绝不能参与词典的构建否则会泄漏信息。min_df2意味着一个词至少要在2条短信中都出现才进入词典把全语料里只出现一次的独特表达过滤掉。打印出来的shape一般形如(8000, 5000)8000是样本数5000是特征维度这个数字在报告里可以直接用于描述特征规模。3.2 训练LinearSVC为什么默认选线性核特征准备好后选模型就顺理成章了。sklearn的SVC支持线性、RBF、多项式等多种核函数但对文本分类这种高维稀疏数据线性核是第一选择。原因有两条。第一文本TF-IDF特征的维度动辄上万高维空间里的数据点往往已经接近线性可分再加RBF做非线性变换收益很小。第二RBF核需要计算两两样本的内积矩阵在几万条短信上代价很高训练速度会比线性核慢一个数量级课程设计没必要在这个环节耗时间。LinearSVC是线性核的高效实现底层调用liblinear针对大规模稀疏数据做了优化。它和二分类的SVM在目标上一致最大化间隔的同时惩罚误分类点。核心参数C控制误分类惩罚强度C越大模型越拼尽全力把训练样本分对路径越复杂容易过拟合C越小模型越容忍个别误分类换一个更平滑的决策边界泛化能力通常更强。文本分类里我一般从0.1、1.0、10.0三个档位去试拿不准时先用1.0跑通。from sklearn.svm import LinearSVC from sklearn.metrics import classification_report clf LinearSVC( C1.0, class_weightbalanced, random_state42 ) clf.fit(X_train_tfidf, y_train) y_pred clf.predict(X_test_tfidf) print(classification_report(y_test, y_pred))class_weightbalanced是应对类别不平衡的重要参数。它会根据每个类别的样本数量自动调整损失函数里的权重垃圾短信少分错它的代价就被放大模型不会再为了整体准确率而全部倾向预测正常类。random_state42保证每次训练得到相同的决策超平面便于复现实验结果。classification_report会输出正常短信和垃圾短信各自的precision、recall、f1-score垃圾短信那一行的f1-score是这个项目最重要的评价指标后面评估章节还会专门展开。3.3 模型持久化保存、加载与单条预测模型训练完成后需要把分类器和向量器一起保存。新手常犯的错是只用joblib.dump保存了clf到演示现场加载模型预测时才发现文本进模型前必须分词和向量化没有保存vectorizer等于没保存模型。正确做法是把分类器、向量器、以及预处理依赖的停用词表装进同一个字典再保存。import joblib model_package { classifier: clf, vectorizer: vectorizer, stopwords: stopwords } joblib.dump(model_package, output/sms_svm_model.pkl) def predict_sms(raw_text, package): clf package[classifier] vec package[vectorizer] cut cut_text(raw_text) x vec.transform([cut]) return clf.predict(x)[0] test_text 恭喜您获得iPhone大奖请点击链接领取 print(垃圾短信 if predict_sms(test_text, model_package) 1 else 正常短信)把stopwords也打包进model_package是因为cut_text函数依赖停用词表转移环境时缺了这个文件预处理结果就会不一样。predict_sms函数接收一条原始短信先经过cut_text清洗分词再vec.transform向量化最后送入classifier预测。vec.transform接收的必须是一个列表所以传入[cut]而不是cut。随机选一条典型的营销短信做验证比如“恭喜您获得iPhone大奖”这句模型应输出垃圾短信。如果输出正常优先检查训练数据里这类样本是否存在而不是急着调参数。4. 课程设计避坑指南5个让SVM识别翻车的常见问题4.1 中文乱码读CSV时编码不一致现象pd.read_csv加载短信语料后打印出来全是乱码更严重的情况下直接抛UnicodeDecodeErrorpandas一行代码都跑不动。原因中文短信语料大多来自Windows环境保存时用的编码是GBK或GB2312而pandas的默认读取编码是utf-8。两边字符集对不上解码自然失败。带BOM的utf-8也会出问题它会在文件开头多出三个字节有时界面正常但后续处理会出现隐藏的\uFEFF前缀。解决读取时显式声明编码我习惯的顺序是先utf-8-sig报错切gbk再不行切gb18030。gb18030是GBK的超集覆盖更全。这样还打不开就不要跟编码死磕了用编辑器打开另存为utf-8再读。所有中间结果在保存时统一用utf-8-sig可以避免Windows上的Excel打开时乱码也让后续脚本少一个编码变量。4.2 数据集不平衡模型全预测成“正常短信”现象训练完看准确率有90%多但把测试集里的垃圾短信样本挑出来逐个检查发现几乎全被预测成正常短信垃圾类别的召回率趋近于零。那90%的准确率完全是靠把占多数的“正常短信”全猜对刷出来的。原因语料里垃圾短信占比太低SVM的目标函数默认把多数类样本的损失权重算得更高因此学出来的决策边界为了让那90%的正常短信尽量都对直接放弃了对垃圾短信的覆盖。这是分类项目里极其普遍的陷阱跟算法本身关系不大。解决两个方向一起下手。数据层面把训练集里垃圾短信占比拉高到20%以上简单手段是少数类重复采样或者对正常短信做下采样。模型层面在LinearSVC或SVC里加class_weightbalanced让少数类的误分类代价被放大。改完之后不要只看准确率而是看垃圾短信那一行的召回率是否明显上升。每一次评估都带着混淆矩阵走心里才有底。4.3 SVM训练慢、内存暴涨现象数据量一两万条跑LinearSVC训练十几分钟没结束CPU占用还很高如果改用SVC(kernelrbf)甚至直接MemoryError进程被杀。原因文本特征虽然以稀疏矩阵存储但某些SVM实现内部会计算稠密的核矩阵复杂度随样本数平方甚至立方增长。RBF核在几万条文本样本上构建n×n的内积矩阵内存根本装不下。另一部分原因是TfidfVectorizer没设max_features词典膨胀到几十万维稀疏矩阵的行列都变大训练时间自然失控。解决文本分类优先用LinearSVC它在liblinear里做了大量优化复杂度可控。TfidfVectorizer上必须限制max_features5000已经够课程设计用了。如果训练仍慢检查数据量是否真的需要这么大抽样几千条往往足够。LinearSVC也可以调高max_iter但慢通常是数据规模或特征规模的锅不是迭代次数的问题。4.4 重新预测时特征维度对不上现象训练集跑得好好的把模型加载到另一个脚本里预测新短信突然报特征维度不匹配提示训练时有5000维预测时只有3000维。原因最常见的是预测脚本里新建了TfidfVectorizer并对新文本重新fit_transform。重新fit生成的词典来自新文本词表自然和训练时不同。另一种情况是预测时忘了分词把整条原始文本直接传给vectorizer构造出来的特征空间完全不同。解决训练脚本里把vectorizer和clf一起joblib.dump预测脚本里加载后只调用transform绝不能再fit。cut_text也要复用同一个函数不要把训练和预测的预处理逻辑写到两处。这里我想强调一个习惯单条预测函数必须在训练脚本里先写好并自测通过再原封不动地移到预测脚本不要重建输入管道。4.5 过拟合到训练集换条真实短信就失灵现象训练集和测试集上的F1都漂亮但现场演示时拿一条真实的促销短信来测模型判成了正常短信。评委的印象立刻打折扣。原因训练语料与真实短信分布有差异而且预处理不够干净时SVM会记住语料里一些特殊性特征比如某个具体网址、某个号段、某次活动的关键词。真实短信不会正好带这些特征模型自然失效。解决预处理里把网址统一替换成URL、数字替换成NUM让模型学习的是位置和语境特征而不是具体值。调参上可以把C调小一点让决策边界更平滑减少对训练集特殊点的过度拟合。另外我会在项目目录里放一个“never_seen.txt”放几条自己手动收集的真实短信每次训练完都拿它测一遍把测试结果记录在设计报告里比只报测试集分数更有说服力。5. 用指标说话混淆矩阵、交叉验证与核函数对比5.1 混淆矩阵垃圾短信识别到底该看哪个指标准确率在类别不平衡的垃圾短信场景里几乎失效。试想1000条测试短信里只有100条垃圾就算模型把垃圾短信全部漏掉只要它把900条正常短信都判对准确率照样90%。但这个模型在反垃圾场景里毫无用处。所以评估必须看向垃圾短信类别自身的precision和recall。precision表达的是“判定为垃圾的短信里确实垃圾的比例”recall是“真实垃圾短信里被正确找出来的比例”。在垃圾短信识别里recall通常比precision更重要。漏掉一条垃圾短信用户至多收到一次骚扰把正常的银行验证码、快递通知误判成垃圾用户会错过真正重要的信息产品口碑受损。报告里可以直接写“本系统以垃圾短信召回率为首要优化目标”这句话会显得你理解业务而不是只会调库。from sklearn.metrics import confusion_matrix y_pred clf.predict(X_test_tfidf) cm confusion_matrix(y_test, y_pred) print(cm) tn, fp, fn, tp cm.ravel() recall tp / (tp fn) precision tp / (tp fp) print(f垃圾短信 recall: {recall:.4f}) print(f垃圾短信 precision: {precision:.4f})confusion_matrix输出的是一个2×2矩阵第一行对应正常短信类别的预测第二行对应垃圾短信类别。cm.ravel()展平的顺序是[tn, fp, fn, tp]这个顺序是sklearn手册里写好的但初学者经常搞混我在评审自己的项目时吃过亏后来干脆把print语句写全直接在代码里算recall和precision。注意tp指的是“真实垃圾且预测为垃圾”的样本数fp是“真实正常但预测为垃圾”fn是“真实垃圾但预测为正常”。答辩时能不看笔记把这个矩阵讲清楚评委基本就相信你真的理解了模型。5.2 GridSearchCV调参C与gamma怎么搜SVM参数不多但每个参数的取值范围跨度很大手工试很浪费时间。常见做法是用GridSearchCV做网格搜索把候选参数组合都遍历一遍用交叉验证选出一组最佳组合。LinearSVC主要是CSVC的RBF核多一个gamma。gamma决定RBF核的“影响半径”gamma越大决策边界越复杂越贴近训练数据容易过拟合gamma越小边界越平滑但如果过小模型又可能欠拟合。sklearn里gammascale是一个安全的初始值等于1除以特征维度适配大多数场景。from sklearn.model_selection import GridSearchCV from sklearn.svm import SVC param_grid { C: [0.1, 1.0, 10.0], gamma: [0.01, 0.1, scale], kernel: [rbf] } svm SVC(class_weightbalanced, random_state42) grid GridSearchCV(svm, param_grid, cv5, scoringf1, n_jobs-1) grid.fit(X_train_tfidf, y_train) print(best params:, grid.best_params_)scoringf1是在不平衡分类下正确的选择如果搜索目标写成准确率垃圾类别的表现会被大量“正常短信”稀释。cv5意味着每组参数要训练5次每次用其中4折训练、1折验证最终取平均分。n_jobs-1让所有参数组合并行跑数据量不大时速度能接受。网格搜索的候选参数不宜过多3×3×19种组合比较合适再多就容易变成在验证集上反复试探泛化能力反而下降。搜索完成后在测试集上单独评估一次grid.best_estimator_这次得到的指标才是报告里能用的泛化结果。5.3 三种核函数对比线性、RBF与多项式答辩时评委常问的一个问题是“你试过其他核函数吗”只回答“没试过”会显得探索不足。常见的做法是拿同一份TF-IDF特征矩阵分别跑LinearSVC、SVC(kernelrbf)和SVC(kernelpoly)记录下训练时间和F1形成一张对比表这几乎是最低成本增加报告说服力的方式。核函数文本高维稀疏适配训练速度调参难度F1表现linear高度适配快低通常最好rbf一般适配慢中调好gamma可能持平poly较差适配慢高易过拟合这个结果在绝大多数文本二分类项目里会出现线性核的F1不低于RBF而训练时间只有后者的零头。原因前面讲过TF-IDF特征维度高数据在高维空间里已经接近线性可分非线性核的收益被高维特性抵消。多项式核则对特征尺度敏感词频分布极度偏斜阶数稍高就过拟合。实验不需要做得复杂三行代码反复用同一条评估流水线即可。我在报告里通常只给两步一张表格放三个模型对应指标的对比一段文字解释为什么线性核在文本场景下胜出。这两样东西能让实验章节显得完整也给了自己一个“在尝试过不同方案之后做出选择”的立论基础。6. 交付前的最后打磨设计报告配图与现场演示6.1 设计报告里放四张图一份能拿高分的课程设计报告核心是让评阅人快速确认三件事数据真实、流程完整、结果是严谨评估出来的。我一般按下面顺序组织图表第一张放数据集样例和类别分布直方图说明正负样本比例和处理方法第二张放某条短信分词前后的文本截图展示预处理效果第三张放classification_report的完整输出以及混淆矩阵图表第四张放核函数对比表或max_features变化曲线。四张图走完整个系统的证据链就闭环了。项目说明文件则退回README的朴素写法环境依赖、目录结构、从解压到跑出结果的命令三步写完评审老师拿到zip后能自行复现即达标。6.2 演示脚本准备三条现场短信现场演示不要只跑测试集打印指标评委对数字已经脱敏。更有效的做法是准备三条短信让评委自己看预测输出一条典型中奖诈骗、一条银行通知验证码、一条正常广告推销。分别调用第3章写好的predict_sms函数会在屏幕上看到输入原始文本、输出0或1的过程。三条短信一正一反一模糊模型的判断逻辑立刻就具象化了。演示前记得先跑一遍单条预测确认环境正常——我在课程设计答辩前吃过亏上午还能跑下午答辩前装了个库导致版本冲突模型加载直接报错。我的习惯是把所有关键产物落盘保留分词后的CSV、特征矩阵的shape、训练好的pkl包、测试集预测输出txt全放在output目录里。这样即使现场代码临时出错也能打开之前的结果继续讲解流程而不是站在那里重置环境。希望这个习惯连同上面的代码流程能帮到你在垃圾短信识别这个课程设计上少走几步弯路。本文还有配套的精品资源点击获取
