简介这是天津科技大学TUST一门本科毕业设计——基于机器学习的新闻标题分类系统的完整项目包涵盖数据、代码、文档与实验记录适合人工智能、机器学习或自然语言处理方向的本科生用于毕业设计、课程设计或项目复现。压缩包共包含63个文件大小约10.93MB文件类型涵盖7个Python核心代码、16个HTML与13个CSS组成的前端界面、8个JavaScript交互脚本、9个TXT数据词典停用词表、敏感词、标签映射等另有Jupyter Notebook实验笔记、SQL数据库、Word/PDF文档及配置说明。目前已有88人浏览学习。资源内含数据预处理、特征工程、模型训练与评估的完整流程附带的哈工大停用词表、中文停用词表、敏感词表、id2tag、vocab等文件可直接复用训练/测试数据集与preprocess.ipynb帮助还原实验过程论文PDF与README则能指导毕业设计文档撰写和系统部署。1. 一个zip包背后的短文本分类难题拿到这个课题时多数人的第一反应是新闻标题分类不是现成的吗跑个朴素贝叶斯不就行了实际把zip解开、把数据喂进去之后第一次测试集的准确率往往只有六成上下。原因在于新闻标题比正文短得多一条标题通常只有十几个到几十个汉字特征极度稀疏同一个词在不同语境下指向的类别完全不同。这个zip里打包的正是围绕这个难题展开的一整套机器学习方案数据集整理、中文分词、向量化、分类器对比、参数调优和评估。这套系统解决的问题很具体给定一条新闻标题自动判定它属于时政、财经、体育、娱乐、科技等若干类别之一。适合两类人复用一类是想在毕业设计框架上改自己实验的学生另一类是工作中需要快速搭短文本分类基线、判断该在特征工程上投入还是直接上深度学习的工程师。下文不预设你有现成环境从zip解压开始把每条能复现的命令和参数讲透。2. 新闻标题分类的特征工程从分词到TF-IDF向量化2.1 标题这么短为什么还要分词英文分类任务可以直接按空格切词中文不行。“中国乒乓球男团夺冠”切错位置特征就变成“中国乒乓”“球男团”这种无意义片段。所以第一步永远是中文分词。这里不讨论论文里常写的Jieba分词原理只讲工程选择jieba是默认起点因为不需要标注语料自带词典覆盖新闻领域常见词词典文件可追加扩展而且速度足够快几万条标题几十秒就能切完。新闻标题分类里分词错误的影响被短文本放大了。正文长文本里一个词切错了上下文还能兜住标题就这么几个词切错一个就少了一个关键区分特征。比如“周杰伦新歌上线”切成“周杰伦 新歌 上线”三个特征都能用如果自定义词典里没有“周杰伦”默认词典也能识别但遇到“双十一预售”这种词标准模式可能切成“双十 一 预售”。所以正式工程里我会在分词前加载一份新闻领域词典把平台名、人名、球赛名、综艺名先加进去。import jieba jieba.load_userdict(data/domain_words.txt) jieba.enable_paddle False def cut_text(text): return .join(jieba.lcut(str(text)))逻辑说明load_userdict加载自定义词典每一行是一个词格式为“词语 词频 词性”词频可以不写lcut返回list而不是cut的generator方便下一步直接拼接成空格分隔的字符串。注意enable_paddle是paddle模式的开关普通机器上不要开否则每条样本都慢一到两个数量级。分词只影响后续向量化的质量不会改变类别标签所以这一步放在整个pipeline的最前面。2.2 标题分类的默认特征TF-IDF的四个必调参数做短文本分类TF-IDF通常是第一个向量化方案而且往往能到不错的基线。原因是标题里词频普遍很低很多词只出现一次这时IDF权重比词袋的纯频数更有区分度再加上标题短向量稀疏但维度不高训练速度极快方便后面反复调参。from sklearn.feature_extraction.text import TfidfVectorizer tfidf TfidfVectorizer( token_patternr(?u)\b\w\b, ngram_range(1, 2), min_df2, max_df0.8, sublinear_tfTrue, ) X_train tfidf.fit_transform(train_texts) X_test tfidf.transform(test_texts)四个参数是短文本分类的必调项。token_pattern配合已经用空格切好的文本让TfidfVectorizer按空白切分而不是再走一遍默认的英文分词规则否则“中国 乒乓球”会被拆成两个独立tokenngram_range(1, 2)把“中国乒乓球”这种连续双词组合也算一个特征缓解标题词数太少的问题代价是特征维度涨几倍但标题短、词汇少实际可接受min_df2丢掉只在一条标题里出现一次的词这些词几乎都是噪声max_df0.8去掉出现在80%以上样本里的词比如“最新”“今天”这类对分类没有区分度的通用词。sublinear_tfTrue把词频换成1log(tf)降低高频词对权重的压制。这里有一个关键动作fit_transform只用在训练集测试集上只能用transform。如果对全量数据先fit再切分测试集的信息已经泄露进IDF权重里评估结果会虚高答辩时被问数据泄漏会很被动。2.3 词向量要不要上先看线性分类器的悬崖在哪常见做法是先拿TF-IDF加logistic regression跑一个基线如果类别不均衡严重或某些类F1掉到0.5以下再考虑换特征。预训练词向量Word2Vec、Glove对标题分类的提升没有那么直接因为标题太短词向量平均池化会把“输球”和“夺冠”这两种完全相反的情感混合进同一个向量里。更实用的升级方向是在TF-IDF基础上做有监督特征筛选或者对差异最小的混淆类别做同义词替换来扩充训练数据。我一般把词向量方案放在第二个实验周期。先用TF-IDF把每个类别的top特征词拉出来看如果发现分类错误集中在某几个词上比如“市场”同时出现在财经和科技类标题里这时再考虑用词向量计算近义词做特征增强而不是一上来就换表示。机器学习的应用流程里特征和模型是交替迭代的不是一步到位。3. 分类器选型与参数调优从朴素贝叶斯到SVM3.1 三个机器学习分类器的对比与适用边界吴恩达的课程里把分类器讲成决策边界李宏毅的课则更强调概率视角。落到新闻标题分类这个场景常用的是三个模型各自的前提假设不同。朴素贝叶斯假设特征条件独立这在词特征上显然不成立但它对稀疏文本的鲁棒性好、训练快适合当最低基线逻辑回归不假设特征独立但要求优化收敛正则化强度需要调胜在输出的概率有明确含义论文里很容易解释权重对应的词线性SVM对超平面的选择只依赖支持向量在小样本高维稀疏数据上通常和逻辑回归精度接近但推理时没有概率输出需要额外加sigmoid校准才能算置信度。三个模型在新闻标题数据上的表现差异通常不大更多差异来自特征。如果训练集只有几千条朴素贝叶斯反而可能比SVM稳定如果数据有几万条逻辑回归和线性SVM的上限更高。树模型在这里并不是首选虽然它不假设特征独立同分布对特征分布更鲁棒但在TF-IDF高维稀疏输入上容易过拟合而且难以利用词频的全局统计信息。模型前置假设概率输出训练速度调参重点朴素贝叶斯特征条件独立有但校准差极快平滑系数alpha逻辑回归线性决策边界有校准好快正则化C、class_weight线性SVM最大间隔超平面无需校准中C值、特征scale3.2 逻辑回归和SVM的参数怎么调逻辑回归在短文本分类里的核心超参数是正则化强度C。C越小正则化越强特征权重被压缩适合特征维度远大于样本量的TF-IDF场景C太大容易把训练集中偶然共现的词学成大权重导致过拟合。实践里我一般在一个指数网格上搜而不是用默认值。from sklearn.linear_model import LogisticRegression from sklearn.model_selection import GridSearchCV param_grid { C: [0.01, 0.1, 1.0, 10.0], class_weight: [None, balanced], } lr LogisticRegression(penaltyl2, max_iter1000, solverliblinear) grid GridSearchCV( lr, param_grid, cv5, scoringf1_macro, n_jobs-1, ) grid.fit(X_train_vec, y_train) print(best params:, grid.best_params_)逻辑说明penaltyl2是默认选择l1会把大量特征权重压成0在特征筛选场景才优先solverliblinear对中小规模稀疏矩阵收敛稳定比lbfgs更少报迭代不收敛的警告scoringf1_macro是关键类别不平衡时用accuracy做网格搜索会把多数类权重拉满n_jobs-1用满所有核网格搜索在词特征维度高时会明显占CPU。迭代次数写1000不是越大越好如果loss已经收敛继续迭代只会让权重在小范围震荡。线性SVM用SVC(kernellinear, C1.0)在稀疏TF-IDF上一般不需要标准化特征但如果换kernelrbf必须对特征做归一化否则高维稀疏向量的距离会被维度主导。RBF核在标题分类任务上很少带来实质提升性价比低。3.3 类别不平衡class_weight和阈值是首选新闻标题分类的训练数据天然不均衡娱乐和体育类标题数量可能是财经类的几倍。这个问题的处理顺序很重要先调class_weightbalanced让模型按类别频率逆比例加权再看每个类别的precision和recall最后才考虑重采样。class_weightbalanced在逻辑回归和SVM里都内置自动计算权重为n_samples / (n_classes * np.bincount(y))。如果加了class_weight之后少数类的recall上去但precision掉得厉害说明模型开始把大量边界样本判成少数类这时更适合用阈值移动在验证集上根据predict_proba输出的概率分布为每个类别单独找一个最优判定阈值。这一步在毕业设计里是加分项答辩老师问到类别不平衡能说出“阈值移动”和“重采样”的区别就说明不是只会调包。4. 从zip到可复现系统环境配置与训练脚本4.1 解压、中文文件名乱码与项目结构调整GitHub和网盘上下载的zip包在Linux或macOS上解压时最容易遇到中文文件名乱码。Windows压缩时默认用GBK编码文件名而unzip默认按UTF-8解释结果就是解压出一堆“锟斤拷”和“锟斤拷”。处理方式是先看zip里原始文件名再解压。unzip TUST本科毕业设计基于机器学习的新闻标题分类系统.zip -d news_cls python3 -c import zipfile; zzipfile.ZipFile(TUST本科毕业设计基于机器学习的新闻标题分类系统.zip); [print(i.filename) for i in z.infolist()]如果打印出来是乱码说明是GBK编码直接用unzip -O gbk重新解压macOS自带的unzip没有-O参数就用Python脚本解压并重命名。这里我用一个最稳的修复脚本顺带解决路径中的中文目录问题。import os import zipfile src TUST本科毕业设计基于机器学习的新闻标题分类系统.zip out_dir news_cls with zipfile.ZipFile(src, r) as zf: for info in zf.infolist(): name info.filename if not (info.flag_bits 0x800): # 没有设置UTF-8标记 try: name info.filename.encode(cp437).decode(gbk) except UnicodeDecodeError: pass target os.path.join(out_dir, name) os.makedirs(os.path.dirname(target), exist_okTrue) with zf.open(info, r) as src_f, open(target, wb) as dst_f: dst_f.write(src_f.read())参数说明info.flag_bits 0x800判断这条文件名的编码标记0x800是UTF-8标记位置位时说明文件名是UTF-8不需要解码未置位时把zipfile误用cp437解码出来的字符串重新编码再按GBK解码还原。zf.open(info)按ZipInfo对象读取比zf.read(name)更稳因为name已经被改过zipfile内部索引对不上时会抛KeyError。如果解压时抛BadZipFile或者CRC校验报错基本是网盘下载不完整先对比文件大小和SHA256不要反复重新下载。解压后的典型结构是data/、code/、docs/data里是带标题和类别的CSVdocs里是论文和答辩PPT。我会在code下新建artifacts/和report/两个空目录一个放训练好的模型文件一个放评估图表保持项目可复现。4.2 机器学习python环境配置半小时内跑通环境配置是这类zip项目最常见的卡点。建议直接用Anaconda或Miniconda新建一个虚拟环境不要往base环境里直接装包深度学习框架和sklearn对numpy的版本要求经常冲突。conda create -n news_cls python3.10 -y conda activate news_cls pip install jieba scikit-learn pandas matplotlib joblib如果项目代码里还有requirements.txtconda activate之后直接pip install -r requirements.txt。注意GitHub仓库下载的zip包一般没有.git目录如果代码里用pip install -e .安装本地包会因为没有版本元数据而失败此时应该先解压到源码目录再执行pip install -e .或者直接看项目里的setup.py是否存在。scikit-learn和numpy要一起装不要手动指定numpy的旧版本否则会碰到wheel冲突的编译错误。4.3 一条命令跑完的训练评估脚本把整个流程脚本化是毕业设计系统区别于玩具demo的关键。下面的文件把数据读取、分词、向量化、训练、评估、保存全部串起来可以直接替换数据路径后运行。# train_pipeline.py import joblib import pandas as pd import jieba from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report df pd.read_csv(data/news_title.csv) # 数据至少要包含 title 和 category 两列 df[cut] df[title].apply(lambda t: .join(jieba.lcut(str(t)))) tfidf TfidfVectorizer( token_patternr(?u)\b\w\b, ngram_range(1, 2), min_df2, max_df0.8, sublinear_tfTrue, ) X_train, X_test, y_train, y_test train_test_split( df[cut], df[category], test_size0.2, stratifydf[category], random_state42, ) X_train_vec tfidf.fit_transform(X_train) X_test_vec tfidf.transform(X_test) clf LogisticRegression(C0.5, class_weightbalanced, max_iter1000) clf.fit(X_train_vec, y_train) y_pred clf.predict(X_test_vec) print(classification_report(y_test, y_pred)) joblib.dump(tfidf, artifacts/tfidf.joblib) joblib.dump(clf, artifacts/clf.joblib)这里要重点解释两步。train_test_split里的stratifydf[category]按类别比例分层抽样保证测试集中每个类别的比例和全量数据一致否则如果随机切分把某个冷门类的样本全部切进测试集模型报告会一片红。fit_transform和transform的区别前面已经说过这里是另一个容易忽略的点df[cut]传入TfidfVectorizer后返回的是稀疏矩阵不要在中间调用toarray()去看内容几万条标题的特征矩阵转换后内存会暴涨。运行命令是python train_pipeline.py输出里重点看每个类别的f1-score不要只看accuracy。如果某个类别的F1在0.6以下后面第5章的误差分析会给出定位方法。4.4 模型保存joblib的坑与迭代版本管理模型保存用joblib.dump而不是pickle.dump因为sklearn内部很多对象是基于Cython的扩展类型joblib对这类对象的序列化处理更稳。保存时文件名带上版本日期例如clf_20250528_f1_0.83.joblib避免覆盖掉上一个效果还不错的模型。加载时用joblib.load但要注意加载模型必须和训练时的sklearn版本一致大版本升级后跨版本load可能报AttributeError。所以项目里我会在requirements.txt中固定sklearn版本号并在artifacts/里放一个env.txt记录当前环境。模型保存阶段的常见问题是漏存向量化器。很多新手只保存了分类器预测时拿原始文本直接往里塞结果维度完全对不上。原因是clf接受的是特征向量而非原始文本所以tfidf和clf必须同时保存、同时加载这个两件套在4.3的代码里已经体现。5. 评估不是准确率混淆矩阵、交叉验证与bad case5.1 准确率陷阱与分层K折新闻标题分类里准确率是最不可信的指标。如果数据里娱乐类占40%全猜娱乐也能有40%的准确率在6分类任务里这个数字已经接近随机多次蒙对的上限。更合理的评估是宏平均F1把每个类别的F1分别算出后再平均少数类和多数类被一视同仁。交叉验证用分层K折而不是普通K折原因和stratify参数一样。数据如果按采集时间顺序排列普通KFold会把最新的一批标题全部放进验证集新闻热点词的变化会导致验证集F1明显低于训练集。StratifiedKFold能在每折里保住相同的类别分布减小这种时间漂移带来的评估偏差。from sklearn.model_selection import StratifiedKFold, cross_val_score skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) scores cross_val_score(clf, X_vec, y, cvskf, scoringf1_macro) print(fold scores:, scores) print(mean:, scores.mean(), std:, scores.std())参数说明n_splits5是折数样本量少于5000时不要用10折每折训练集太少方差会变大shuffleTrue打乱样本顺序避免同源抓取的标题按时间聚集在同一折里random_state42固定随机种子保证每次跑出来的结果可复现。cross_val_score内部会自己完成fit和predict不会污染已经训练好的clf。交叉验证得到的均值和方差可以当作模型泛化误差的一个代理估计。5.2 从混淆矩阵定位错误类型假设跑完得到下面这张混淆矩阵数值仅为示例用来讲观察方法。对角线上的数字越大越好但更重要的是看非对角线上哪个格子最厚。实际\预测体育财经娱乐体育6211287财经930515娱乐10618540体育和娱乐互相混淆最严重这说明两类标题的词汇重叠度高比如“转会”“八卦”“综艺”等词同时出现在两个类别里。观察时先看最大非对角线位置再回头检查那部分原始标题。如果错误集中在少数几个模棱两可的标签上例如“电竞新闻”到底算体育还是娱乐这属于标注口径问题处理方法是统一标注规则而不是继续调模型参数。用可视化把混淆矩阵落成图片可以直接贴进论文的实验分析章节。import matplotlib.pyplot as plt from sklearn.metrics import ConfusionMatrixDisplay ConfusionMatrixDisplay.from_estimator( clf, X_test_vec, y_test, cmapBlues, xticks_rotation45, ) plt.tight_layout() plt.savefig(report/confusion_matrix.png, dpi150)逻辑说明from_estimator直接接受训练好的分类器和测试集内部会自动调用predict省去手动传预测结果的步骤xticks_rotation45防止类别名过长时重叠cmapBlues是白底蓝渐变打印出来比默认颜色省墨。保存图片后顺手打印一份CSV文本版给论文附录用。5.3 bad case分析把分类错误当成数据问题处理混淆矩阵只能看到错误数量看不到具体哪条错了。我会把预测错误的样本连同预测概率导出来逐条看是数据噪声还是特征不足。后面这段代码是毕设系统里最容易被答辩老师追问的部分。import pandas as pd from sklearn.metrics import classification_report proba clf.predict_proba(X_test_vec) pred clf.predict(X_test_vec) df_test X_test.reset_index(dropTrue) df_err df_test[pred ! y_test].copy() df_err[real] y_test[pred ! y_test] df_err[pred] pred[pred ! y_test] df_err[top2] proba[pred ! y_test].max(axis1) df_err.to_csv(report/bad_cases.csv, indexFalse)参数说明predict_proba返回每个类别的概率矩阵行数等于测试集样本数max(axis1)取出最大概率也就是模型对该预测的置信度。导出后按top2排序优先看高置信度的错误样本。高置信度但分错的大概率是标注错误或者同义词问题比如一条标题写“大盘跌破三千点”被分成科技类多半是“大盘”这个词在科技类标题里也频繁出现低置信度的错误则说明特征不足需要在分词词典或n-gram窗口上补信息。这个分析过程和机器学习三大假设里的独立同分布假设对不上时恰恰是找出真实业务规律的机会。6. 交付技巧给演示脚本加一个交互式置信度输出毕设验收时的常见尴尬是现场打开Jupyter Notebook从上到下重新跑一遍训练等两分钟出结果期间没有任何交互。更体面的做法是单独写一个demo.py加载训练好的模型从命令行读标题、实时输出类别和置信度答辩老师给什么标题都能当场回应。# demo.py import joblib import jieba tfidf joblib.load(artifacts/tfidf.joblib) clf joblib.load(artifacts/clf.joblib) while True: title input(输入新闻标题q 退出).strip() if title q: break vec tfidf.transform([ .join(jieba.lcut(title))]) proba clf.predict_proba(vec)[0] top3 proba.argsort()[::-1][:3] for idx in top3: print(f{clf.classes_[idx]}: {proba[idx]:.2%})逻辑说明加载时tfidf和clf的顺序不能反先有向量化器才能把文本变成模型能吃的特征矩阵。jieba.lcut出来的词拼接成空格字符串后传入transform这里不能再fit_transform否则会重建一个完全不同的特征空间维度对不上直接报错。argsort()[::-1]实现对概率数组从大到小排序截取前3个索引再通过clf.classes_把索引映射回类别名。预训练模型加载后会有一次初始化延迟演示前先随便输入一条标题“测试”跑一遍把模型预热后面每条预测基本都是毫秒级返回。输出用百分比格式答辩老师看到“体育: 87.32%”这种带置信度的结果比光秃秃一个类别名更有说服力也能顺势引出你做过概率校准和阈值调整的实验细节。如果想把这份演示做得更完整还可以把每条预测结果追加写入一个predict_log.csv作为现场验证的留痕。本文还有配套的精品资源点击获取
新闻标题分类系统实战：从分词、TF-IDF到逻辑回归调优
简介这是天津科技大学TUST一门本科毕业设计——基于机器学习的新闻标题分类系统的完整项目包涵盖数据、代码、文档与实验记录适合人工智能、机器学习或自然语言处理方向的本科生用于毕业设计、课程设计或项目复现。压缩包共包含63个文件大小约10.93MB文件类型涵盖7个Python核心代码、16个HTML与13个CSS组成的前端界面、8个JavaScript交互脚本、9个TXT数据词典停用词表、敏感词、标签映射等另有Jupyter Notebook实验笔记、SQL数据库、Word/PDF文档及配置说明。目前已有88人浏览学习。资源内含数据预处理、特征工程、模型训练与评估的完整流程附带的哈工大停用词表、中文停用词表、敏感词表、id2tag、vocab等文件可直接复用训练/测试数据集与preprocess.ipynb帮助还原实验过程论文PDF与README则能指导毕业设计文档撰写和系统部署。1. 一个zip包背后的短文本分类难题拿到这个课题时多数人的第一反应是新闻标题分类不是现成的吗跑个朴素贝叶斯不就行了实际把zip解开、把数据喂进去之后第一次测试集的准确率往往只有六成上下。原因在于新闻标题比正文短得多一条标题通常只有十几个到几十个汉字特征极度稀疏同一个词在不同语境下指向的类别完全不同。这个zip里打包的正是围绕这个难题展开的一整套机器学习方案数据集整理、中文分词、向量化、分类器对比、参数调优和评估。这套系统解决的问题很具体给定一条新闻标题自动判定它属于时政、财经、体育、娱乐、科技等若干类别之一。适合两类人复用一类是想在毕业设计框架上改自己实验的学生另一类是工作中需要快速搭短文本分类基线、判断该在特征工程上投入还是直接上深度学习的工程师。下文不预设你有现成环境从zip解压开始把每条能复现的命令和参数讲透。2. 新闻标题分类的特征工程从分词到TF-IDF向量化2.1 标题这么短为什么还要分词英文分类任务可以直接按空格切词中文不行。“中国乒乓球男团夺冠”切错位置特征就变成“中国乒乓”“球男团”这种无意义片段。所以第一步永远是中文分词。这里不讨论论文里常写的Jieba分词原理只讲工程选择jieba是默认起点因为不需要标注语料自带词典覆盖新闻领域常见词词典文件可追加扩展而且速度足够快几万条标题几十秒就能切完。新闻标题分类里分词错误的影响被短文本放大了。正文长文本里一个词切错了上下文还能兜住标题就这么几个词切错一个就少了一个关键区分特征。比如“周杰伦新歌上线”切成“周杰伦 新歌 上线”三个特征都能用如果自定义词典里没有“周杰伦”默认词典也能识别但遇到“双十一预售”这种词标准模式可能切成“双十 一 预售”。所以正式工程里我会在分词前加载一份新闻领域词典把平台名、人名、球赛名、综艺名先加进去。import jieba jieba.load_userdict(data/domain_words.txt) jieba.enable_paddle False def cut_text(text): return .join(jieba.lcut(str(text)))逻辑说明load_userdict加载自定义词典每一行是一个词格式为“词语 词频 词性”词频可以不写lcut返回list而不是cut的generator方便下一步直接拼接成空格分隔的字符串。注意enable_paddle是paddle模式的开关普通机器上不要开否则每条样本都慢一到两个数量级。分词只影响后续向量化的质量不会改变类别标签所以这一步放在整个pipeline的最前面。2.2 标题分类的默认特征TF-IDF的四个必调参数做短文本分类TF-IDF通常是第一个向量化方案而且往往能到不错的基线。原因是标题里词频普遍很低很多词只出现一次这时IDF权重比词袋的纯频数更有区分度再加上标题短向量稀疏但维度不高训练速度极快方便后面反复调参。from sklearn.feature_extraction.text import TfidfVectorizer tfidf TfidfVectorizer( token_patternr(?u)\b\w\b, ngram_range(1, 2), min_df2, max_df0.8, sublinear_tfTrue, ) X_train tfidf.fit_transform(train_texts) X_test tfidf.transform(test_texts)四个参数是短文本分类的必调项。token_pattern配合已经用空格切好的文本让TfidfVectorizer按空白切分而不是再走一遍默认的英文分词规则否则“中国 乒乓球”会被拆成两个独立tokenngram_range(1, 2)把“中国乒乓球”这种连续双词组合也算一个特征缓解标题词数太少的问题代价是特征维度涨几倍但标题短、词汇少实际可接受min_df2丢掉只在一条标题里出现一次的词这些词几乎都是噪声max_df0.8去掉出现在80%以上样本里的词比如“最新”“今天”这类对分类没有区分度的通用词。sublinear_tfTrue把词频换成1log(tf)降低高频词对权重的压制。这里有一个关键动作fit_transform只用在训练集测试集上只能用transform。如果对全量数据先fit再切分测试集的信息已经泄露进IDF权重里评估结果会虚高答辩时被问数据泄漏会很被动。2.3 词向量要不要上先看线性分类器的悬崖在哪常见做法是先拿TF-IDF加logistic regression跑一个基线如果类别不均衡严重或某些类F1掉到0.5以下再考虑换特征。预训练词向量Word2Vec、Glove对标题分类的提升没有那么直接因为标题太短词向量平均池化会把“输球”和“夺冠”这两种完全相反的情感混合进同一个向量里。更实用的升级方向是在TF-IDF基础上做有监督特征筛选或者对差异最小的混淆类别做同义词替换来扩充训练数据。我一般把词向量方案放在第二个实验周期。先用TF-IDF把每个类别的top特征词拉出来看如果发现分类错误集中在某几个词上比如“市场”同时出现在财经和科技类标题里这时再考虑用词向量计算近义词做特征增强而不是一上来就换表示。机器学习的应用流程里特征和模型是交替迭代的不是一步到位。3. 分类器选型与参数调优从朴素贝叶斯到SVM3.1 三个机器学习分类器的对比与适用边界吴恩达的课程里把分类器讲成决策边界李宏毅的课则更强调概率视角。落到新闻标题分类这个场景常用的是三个模型各自的前提假设不同。朴素贝叶斯假设特征条件独立这在词特征上显然不成立但它对稀疏文本的鲁棒性好、训练快适合当最低基线逻辑回归不假设特征独立但要求优化收敛正则化强度需要调胜在输出的概率有明确含义论文里很容易解释权重对应的词线性SVM对超平面的选择只依赖支持向量在小样本高维稀疏数据上通常和逻辑回归精度接近但推理时没有概率输出需要额外加sigmoid校准才能算置信度。三个模型在新闻标题数据上的表现差异通常不大更多差异来自特征。如果训练集只有几千条朴素贝叶斯反而可能比SVM稳定如果数据有几万条逻辑回归和线性SVM的上限更高。树模型在这里并不是首选虽然它不假设特征独立同分布对特征分布更鲁棒但在TF-IDF高维稀疏输入上容易过拟合而且难以利用词频的全局统计信息。模型前置假设概率输出训练速度调参重点朴素贝叶斯特征条件独立有但校准差极快平滑系数alpha逻辑回归线性决策边界有校准好快正则化C、class_weight线性SVM最大间隔超平面无需校准中C值、特征scale3.2 逻辑回归和SVM的参数怎么调逻辑回归在短文本分类里的核心超参数是正则化强度C。C越小正则化越强特征权重被压缩适合特征维度远大于样本量的TF-IDF场景C太大容易把训练集中偶然共现的词学成大权重导致过拟合。实践里我一般在一个指数网格上搜而不是用默认值。from sklearn.linear_model import LogisticRegression from sklearn.model_selection import GridSearchCV param_grid { C: [0.01, 0.1, 1.0, 10.0], class_weight: [None, balanced], } lr LogisticRegression(penaltyl2, max_iter1000, solverliblinear) grid GridSearchCV( lr, param_grid, cv5, scoringf1_macro, n_jobs-1, ) grid.fit(X_train_vec, y_train) print(best params:, grid.best_params_)逻辑说明penaltyl2是默认选择l1会把大量特征权重压成0在特征筛选场景才优先solverliblinear对中小规模稀疏矩阵收敛稳定比lbfgs更少报迭代不收敛的警告scoringf1_macro是关键类别不平衡时用accuracy做网格搜索会把多数类权重拉满n_jobs-1用满所有核网格搜索在词特征维度高时会明显占CPU。迭代次数写1000不是越大越好如果loss已经收敛继续迭代只会让权重在小范围震荡。线性SVM用SVC(kernellinear, C1.0)在稀疏TF-IDF上一般不需要标准化特征但如果换kernelrbf必须对特征做归一化否则高维稀疏向量的距离会被维度主导。RBF核在标题分类任务上很少带来实质提升性价比低。3.3 类别不平衡class_weight和阈值是首选新闻标题分类的训练数据天然不均衡娱乐和体育类标题数量可能是财经类的几倍。这个问题的处理顺序很重要先调class_weightbalanced让模型按类别频率逆比例加权再看每个类别的precision和recall最后才考虑重采样。class_weightbalanced在逻辑回归和SVM里都内置自动计算权重为n_samples / (n_classes * np.bincount(y))。如果加了class_weight之后少数类的recall上去但precision掉得厉害说明模型开始把大量边界样本判成少数类这时更适合用阈值移动在验证集上根据predict_proba输出的概率分布为每个类别单独找一个最优判定阈值。这一步在毕业设计里是加分项答辩老师问到类别不平衡能说出“阈值移动”和“重采样”的区别就说明不是只会调包。4. 从zip到可复现系统环境配置与训练脚本4.1 解压、中文文件名乱码与项目结构调整GitHub和网盘上下载的zip包在Linux或macOS上解压时最容易遇到中文文件名乱码。Windows压缩时默认用GBK编码文件名而unzip默认按UTF-8解释结果就是解压出一堆“锟斤拷”和“锟斤拷”。处理方式是先看zip里原始文件名再解压。unzip TUST本科毕业设计基于机器学习的新闻标题分类系统.zip -d news_cls python3 -c import zipfile; zzipfile.ZipFile(TUST本科毕业设计基于机器学习的新闻标题分类系统.zip); [print(i.filename) for i in z.infolist()]如果打印出来是乱码说明是GBK编码直接用unzip -O gbk重新解压macOS自带的unzip没有-O参数就用Python脚本解压并重命名。这里我用一个最稳的修复脚本顺带解决路径中的中文目录问题。import os import zipfile src TUST本科毕业设计基于机器学习的新闻标题分类系统.zip out_dir news_cls with zipfile.ZipFile(src, r) as zf: for info in zf.infolist(): name info.filename if not (info.flag_bits 0x800): # 没有设置UTF-8标记 try: name info.filename.encode(cp437).decode(gbk) except UnicodeDecodeError: pass target os.path.join(out_dir, name) os.makedirs(os.path.dirname(target), exist_okTrue) with zf.open(info, r) as src_f, open(target, wb) as dst_f: dst_f.write(src_f.read())参数说明info.flag_bits 0x800判断这条文件名的编码标记0x800是UTF-8标记位置位时说明文件名是UTF-8不需要解码未置位时把zipfile误用cp437解码出来的字符串重新编码再按GBK解码还原。zf.open(info)按ZipInfo对象读取比zf.read(name)更稳因为name已经被改过zipfile内部索引对不上时会抛KeyError。如果解压时抛BadZipFile或者CRC校验报错基本是网盘下载不完整先对比文件大小和SHA256不要反复重新下载。解压后的典型结构是data/、code/、docs/data里是带标题和类别的CSVdocs里是论文和答辩PPT。我会在code下新建artifacts/和report/两个空目录一个放训练好的模型文件一个放评估图表保持项目可复现。4.2 机器学习python环境配置半小时内跑通环境配置是这类zip项目最常见的卡点。建议直接用Anaconda或Miniconda新建一个虚拟环境不要往base环境里直接装包深度学习框架和sklearn对numpy的版本要求经常冲突。conda create -n news_cls python3.10 -y conda activate news_cls pip install jieba scikit-learn pandas matplotlib joblib如果项目代码里还有requirements.txtconda activate之后直接pip install -r requirements.txt。注意GitHub仓库下载的zip包一般没有.git目录如果代码里用pip install -e .安装本地包会因为没有版本元数据而失败此时应该先解压到源码目录再执行pip install -e .或者直接看项目里的setup.py是否存在。scikit-learn和numpy要一起装不要手动指定numpy的旧版本否则会碰到wheel冲突的编译错误。4.3 一条命令跑完的训练评估脚本把整个流程脚本化是毕业设计系统区别于玩具demo的关键。下面的文件把数据读取、分词、向量化、训练、评估、保存全部串起来可以直接替换数据路径后运行。# train_pipeline.py import joblib import pandas as pd import jieba from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report df pd.read_csv(data/news_title.csv) # 数据至少要包含 title 和 category 两列 df[cut] df[title].apply(lambda t: .join(jieba.lcut(str(t)))) tfidf TfidfVectorizer( token_patternr(?u)\b\w\b, ngram_range(1, 2), min_df2, max_df0.8, sublinear_tfTrue, ) X_train, X_test, y_train, y_test train_test_split( df[cut], df[category], test_size0.2, stratifydf[category], random_state42, ) X_train_vec tfidf.fit_transform(X_train) X_test_vec tfidf.transform(X_test) clf LogisticRegression(C0.5, class_weightbalanced, max_iter1000) clf.fit(X_train_vec, y_train) y_pred clf.predict(X_test_vec) print(classification_report(y_test, y_pred)) joblib.dump(tfidf, artifacts/tfidf.joblib) joblib.dump(clf, artifacts/clf.joblib)这里要重点解释两步。train_test_split里的stratifydf[category]按类别比例分层抽样保证测试集中每个类别的比例和全量数据一致否则如果随机切分把某个冷门类的样本全部切进测试集模型报告会一片红。fit_transform和transform的区别前面已经说过这里是另一个容易忽略的点df[cut]传入TfidfVectorizer后返回的是稀疏矩阵不要在中间调用toarray()去看内容几万条标题的特征矩阵转换后内存会暴涨。运行命令是python train_pipeline.py输出里重点看每个类别的f1-score不要只看accuracy。如果某个类别的F1在0.6以下后面第5章的误差分析会给出定位方法。4.4 模型保存joblib的坑与迭代版本管理模型保存用joblib.dump而不是pickle.dump因为sklearn内部很多对象是基于Cython的扩展类型joblib对这类对象的序列化处理更稳。保存时文件名带上版本日期例如clf_20250528_f1_0.83.joblib避免覆盖掉上一个效果还不错的模型。加载时用joblib.load但要注意加载模型必须和训练时的sklearn版本一致大版本升级后跨版本load可能报AttributeError。所以项目里我会在requirements.txt中固定sklearn版本号并在artifacts/里放一个env.txt记录当前环境。模型保存阶段的常见问题是漏存向量化器。很多新手只保存了分类器预测时拿原始文本直接往里塞结果维度完全对不上。原因是clf接受的是特征向量而非原始文本所以tfidf和clf必须同时保存、同时加载这个两件套在4.3的代码里已经体现。5. 评估不是准确率混淆矩阵、交叉验证与bad case5.1 准确率陷阱与分层K折新闻标题分类里准确率是最不可信的指标。如果数据里娱乐类占40%全猜娱乐也能有40%的准确率在6分类任务里这个数字已经接近随机多次蒙对的上限。更合理的评估是宏平均F1把每个类别的F1分别算出后再平均少数类和多数类被一视同仁。交叉验证用分层K折而不是普通K折原因和stratify参数一样。数据如果按采集时间顺序排列普通KFold会把最新的一批标题全部放进验证集新闻热点词的变化会导致验证集F1明显低于训练集。StratifiedKFold能在每折里保住相同的类别分布减小这种时间漂移带来的评估偏差。from sklearn.model_selection import StratifiedKFold, cross_val_score skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) scores cross_val_score(clf, X_vec, y, cvskf, scoringf1_macro) print(fold scores:, scores) print(mean:, scores.mean(), std:, scores.std())参数说明n_splits5是折数样本量少于5000时不要用10折每折训练集太少方差会变大shuffleTrue打乱样本顺序避免同源抓取的标题按时间聚集在同一折里random_state42固定随机种子保证每次跑出来的结果可复现。cross_val_score内部会自己完成fit和predict不会污染已经训练好的clf。交叉验证得到的均值和方差可以当作模型泛化误差的一个代理估计。5.2 从混淆矩阵定位错误类型假设跑完得到下面这张混淆矩阵数值仅为示例用来讲观察方法。对角线上的数字越大越好但更重要的是看非对角线上哪个格子最厚。实际\预测体育财经娱乐体育6211287财经930515娱乐10618540体育和娱乐互相混淆最严重这说明两类标题的词汇重叠度高比如“转会”“八卦”“综艺”等词同时出现在两个类别里。观察时先看最大非对角线位置再回头检查那部分原始标题。如果错误集中在少数几个模棱两可的标签上例如“电竞新闻”到底算体育还是娱乐这属于标注口径问题处理方法是统一标注规则而不是继续调模型参数。用可视化把混淆矩阵落成图片可以直接贴进论文的实验分析章节。import matplotlib.pyplot as plt from sklearn.metrics import ConfusionMatrixDisplay ConfusionMatrixDisplay.from_estimator( clf, X_test_vec, y_test, cmapBlues, xticks_rotation45, ) plt.tight_layout() plt.savefig(report/confusion_matrix.png, dpi150)逻辑说明from_estimator直接接受训练好的分类器和测试集内部会自动调用predict省去手动传预测结果的步骤xticks_rotation45防止类别名过长时重叠cmapBlues是白底蓝渐变打印出来比默认颜色省墨。保存图片后顺手打印一份CSV文本版给论文附录用。5.3 bad case分析把分类错误当成数据问题处理混淆矩阵只能看到错误数量看不到具体哪条错了。我会把预测错误的样本连同预测概率导出来逐条看是数据噪声还是特征不足。后面这段代码是毕设系统里最容易被答辩老师追问的部分。import pandas as pd from sklearn.metrics import classification_report proba clf.predict_proba(X_test_vec) pred clf.predict(X_test_vec) df_test X_test.reset_index(dropTrue) df_err df_test[pred ! y_test].copy() df_err[real] y_test[pred ! y_test] df_err[pred] pred[pred ! y_test] df_err[top2] proba[pred ! y_test].max(axis1) df_err.to_csv(report/bad_cases.csv, indexFalse)参数说明predict_proba返回每个类别的概率矩阵行数等于测试集样本数max(axis1)取出最大概率也就是模型对该预测的置信度。导出后按top2排序优先看高置信度的错误样本。高置信度但分错的大概率是标注错误或者同义词问题比如一条标题写“大盘跌破三千点”被分成科技类多半是“大盘”这个词在科技类标题里也频繁出现低置信度的错误则说明特征不足需要在分词词典或n-gram窗口上补信息。这个分析过程和机器学习三大假设里的独立同分布假设对不上时恰恰是找出真实业务规律的机会。6. 交付技巧给演示脚本加一个交互式置信度输出毕设验收时的常见尴尬是现场打开Jupyter Notebook从上到下重新跑一遍训练等两分钟出结果期间没有任何交互。更体面的做法是单独写一个demo.py加载训练好的模型从命令行读标题、实时输出类别和置信度答辩老师给什么标题都能当场回应。# demo.py import joblib import jieba tfidf joblib.load(artifacts/tfidf.joblib) clf joblib.load(artifacts/clf.joblib) while True: title input(输入新闻标题q 退出).strip() if title q: break vec tfidf.transform([ .join(jieba.lcut(title))]) proba clf.predict_proba(vec)[0] top3 proba.argsort()[::-1][:3] for idx in top3: print(f{clf.classes_[idx]}: {proba[idx]:.2%})逻辑说明加载时tfidf和clf的顺序不能反先有向量化器才能把文本变成模型能吃的特征矩阵。jieba.lcut出来的词拼接成空格字符串后传入transform这里不能再fit_transform否则会重建一个完全不同的特征空间维度对不上直接报错。argsort()[::-1]实现对概率数组从大到小排序截取前3个索引再通过clf.classes_把索引映射回类别名。预训练模型加载后会有一次初始化延迟演示前先随便输入一条标题“测试”跑一遍把模型预热后面每条预测基本都是毫秒级返回。输出用百分比格式答辩老师看到“体育: 87.32%”这种带置信度的结果比光秃秃一个类别名更有说服力也能顺势引出你做过概率校准和阈值调整的实验细节。如果想把这份演示做得更完整还可以把每条预测结果追加写入一个predict_log.csv作为现场验证的留痕。本文还有配套的精品资源点击获取
