简介一套面向Python学习者的毕业设计级完整项目以电影评论为数据对象实现基于深度学习的情感分析系统。项目后端采用Python编写前端使用HTML、CSS、JavaScript构建交互界面并附带MySQL数据库脚本可在PyCharm中直接配置运行适合作为课程设计、毕业设计或毕业答辩的参照方案。资源共290个文件压缩包约123MB其中包含23个Python源文件、17个HTML页面、30个CSS和34个JS文件以及大量gif演示动画、SQL脚本和说明文档代码、素材与数据库脚本一应俱全。已有163人学习下载。通过源码可深入理解文本预处理、模型训练到情感分类的完整流程借助gif录屏可快速掌握系统运行效果配合环境配置说明能减少部署障碍对完成设计文档和答辩准备均有实用价值。1. 基于深度学习的电影评论情感分析系统在毕设里的定位电影评论情感分析是自然语言处理里少有的“学术有深度、落地有界面、数据好获取”的毕设方向。它要解决的核心问题是把豆瓣、IMDb 等平台上用户写的短评自动判成正面、负面或中性并给出置信度。相比传统基于情感词典的方法深度学习路线不需要人工维护词表模型自己从语料里学语义特征在口语化严重的电影短评上准确率明显更高。适合选这个题的人有几类一是 NLP 方向想拿完整项目经验的学生二是希望系统有 Web 界面展示的开发者三是想从爬虫到模型再到部署全链路走一遍的初学者。这个题目的难点不在模型本身而在数据质量、标签标准和处理流程的完整性。2. 情感分析的技术路线对比与深度学习选型理由2.1 从词典法到深度学习三条路线各自的边界情感分析这个任务本身不新。最早的做法是情感词典法维护一张带极性分数的词表比如“好看”2分、“垃圾”-3分统计整条评论里所有词的极性累加。优点是解释性强、不需要训练数据缺点也很明显——不认否定“不是不好看”不认程度“太好看了”不认语境“这部电影太搞笑了”在不同的上下文里极性完全不同。电影评论里大量出现反讽和隐喻词典法基本招架不住。第二条路线是传统机器学习TF-IDF 或词袋做特征接 SVM、朴素贝叶斯或逻辑回归。这比词典法灵活但特征工程的手工成分依然很重而且对词序完全不敏感。“喜欢不讨厌”和“不讨厌喜欢”在词袋视角下是同一个向量语义差别完全丢失。第三条路线就是标题里说的深度学习。Embedding 层把词映射成稠密向量网络结构CNN、RNN、Transformer负责组合上下文语义。它的核心优势是不需要人工设计特征模型自己去学“什么词组合在一起代表负面”。在电影评论这种长度短、口语化强、噪声大的文本上深度模型的鲁棒性明显优于前两条路线。做毕设选它还有一个实际考虑答辩时能讲的技术点更多从数据到模型到调优都有东西可展示。2.2 三种常用模型结构怎么选BiLSTM、TextCNN、BERT模型选型是决定毕设工作量的关键一步。我一般会按数据量和硬件条件分三档模型适合场景训练时间CPU效果基准TextCNN小规模语料1万条以内10-30分钟0.82-0.86BiLSTM中规模语料1万-5万条1-3小时0.84-0.88BERT/中文预训练模型大规模语料或不计成本追求上限8小时以上需GPU0.90-0.95TextCNN 用多个尺寸的卷积核并行扫过文本相当于同时捕捉“一元词特征”和“二元词特征”实现简单、训练极快是毕设保底的最优选择。BiLSTM 通过前向和后向两个 LSTM 分别读两遍文本能建模更长距离的依赖对“虽然前面说了很多好话但是结尾逆转”这类结构更敏感。BERT 类模型效果最好但要面临显存占用、训练时间长、部署体积大三个现实问题而且如果用中文预训练模型评审老师会追问“你 Finetune 了什么、为什么有效”答不清楚反而露怯。我的建议是预算 4 周的话TextCNN 做基线 BiLSTM 做改进两个模型做对比实验最后用效果好的那个上线。预算 8 周可以尝试 BERT 微调。别一开始就上 BERT——你没法解释清楚每一层在干什么答辩时风险反而高。2.3 负采样与类别不均衡的现实问题电影评论的情感分布天然不均衡。豆瓣上的短评好评占比往往超过 60%差评和中性评论各占 20% 左右。直接用原始数据训练模型会倾向把所有评论都判成好评因为这样准确率也很高。处理这个问题的常见做法有三个第一按类别做负采样把好评数量砍到和差评一个量级。缺点是浪费数据。第二在损失函数里给少数类加权torch.nn.CrossEntropyLoss(weight...)里设置权重向量缺点是权重不好调。第三用 Focal Loss 替代交叉熵让模型把注意力放在难分类的样本上。我做毕设时用的最顺手的是第二种先统计三个类别的样本数然后设置weight max_count / class_count简单有效收敛也快。提示不要为了追求数据均衡而把所有类别都采样到同一个数量。中性评论本身标注一致性就差“一般般”“还行”“凑合”这些词在不同标注者眼中的极性完全不同样本太多反而放大噪声。3. 电影评论数据的获取、清洗与标注方案3.1 爬虫采集豆瓣短评的合规做法与反爬应对毕设用的数据最常来自豆瓣电影短评。豆瓣的前端是服务端渲染直接requests.get拿 HTML 再用lxml解析比调 AJAX 接口省事得多。一个最小可用的采集脚本长这样import requests from lxml import etree import time import csv headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://movie.douban.com/ } def fetch_comments(movie_id, pages10): comments [] for page in range(pages): url fhttps://movie.douban.com/subject/{movie_id}/comments?start{page * 20}limit20statusP resp requests.get(url, headersheaders, timeout10) if resp.status_code ! 200: time.sleep(5) continue tree etree.HTML(resp.text) for item in tree.xpath(//div[classcomment-item]): comment item.xpath(.//span[classshort]/text()) if comment: comments.append(comment[0].strip()) time.sleep(3) # 控制频率避免封IP return comments data fetch_comments(1292052, pages20) with open(douban_comments.csv, w, encodingutf-8-sig, newline) as f: writer csv.writer(f) writer.writerow([comment]) for c in data: writer.writerow([c])这段代码的要点有两个。一是headers里必须带User-Agent和Referer豆瓣对不带 Referer 的请求直接返回 403。二是time.sleep(3)不能省高频请求触发风控后返回页面里会出现“检测到有异常请求”的提示状态码依然是 200 但解析不到任何评论。utf-8-sig编码是为了让 Excel 打开 CSV 不乱码如果后续全在 Python 里处理用普通utf-8也行。提示毕设范围内采集公开评论数据用于学术研究是常见做法但要注意三点控制请求频率、不采集用户个人信息用户名、头像、主页链接都不要存、不公开发布原始数据集。3.2 数据清洗去除无效字符与长度过滤电影评论的噪声类型比普通文本多。常见的有表情符号、系统填充的固定短句“这篇影评有剧透”、大量重复的标点“好看”、以及超过 500 字的日记式长评。清洗策略按顺序做import pandas as pd df pd.read_csv(douban_comments.csv) df[comment] df[comment].astype(str) # 1. 去HTML标签和特殊符号 df[comment] df[comment].str.replace(r[^], , regexTrue) # 2. 保留中英文、数字和常见标点其余替换为空格 df[comment] df[comment].str.replace(r[^\u4e00-\u9fa5a-zA-Z0-9。、《》…·~#%……*], , regexTrue) # 3. 压缩连续空白 df[comment] df[comment].str.replace(r\s, , regexTrue) # 4. 过滤过短和过长的评论 df df[(df[comment].str.len() 4) (df[comment].str.len() 120)] # 5. 去重 df df.drop_duplicates(subset[comment])清洗完成后打印df[comment].str.len().describe()观察长度分布。长度中位数如果不到 30 字说明以正常短评为主符合电影评论的典型长度分布如果中位数超过 60 字检查是不是混入了长评需要回看采集逻辑。第 4 行正则里保留的字符范围很关键中文标点和英文标点都要保因为“好看很感动”和“好看!很感动”在语义上等价感叹号本身也意味着更强的情绪但不能把表情符号和特殊 markdown 语法带进模型。长度下限定在 4是因为“好看”“很差”这类 2 字评论虽然也有情感但信息量太低模型学不到有用的上下文上限定在 120 字是为了控制序列长度BiLSTM 在超长序列上梯度传播会衰减。3.3 标注策略用豆瓣星级映射三类标签情感分析任务的标签体系一般有两种选择二分法正面/负面和三分法正面/中性/负面。电影评论场景建议用三分法原因很现实豆瓣打分是 1-5 星“3 星”对应“还行”这部分评论规模不小文本里经常出现“不好不坏”“凑合”这类模棱两可的表达硬归到正或负都会引入大量噪声。标注的执行方式直接决定项目工作量。没有人工标注预算的情况下最常见的是用豆瓣星级直接映射标签4-5 星标为正面、3 星为中性、1-2 星为负面。这个思路没问题但要注意一个细节爬虫拿到的 HTML 里星级信息在span标签的title属性里需要一并解析不能只看评论正文不看评分。另一个替代方案是用自动标注工具给未标注数据打伪标签然后用置信度阈值筛选。这样做的好处是不需要人工参与坏处是伪标签噪声会直接传入训练阶段且模型会学到标注工具的偏好偏差。即使采用伪标签方案也至少人工校验 500 条计算标注工具本身的准确率在论文里明确写出这个数字——评审老师很看重这个诚实度。4. 基于 PyTorch 的模型实现与训练流程4.1 数据加载器分词、词表构建与 Batch 填充环境依赖只有五个torch、jieba、pandas、scikit-learn、flask。在 CPU 机器上装 torch 的 CPU 版即可训练一个 1 万条规模的 BiLSTM 用不了 GPU反而省去了 CUDA 环境配置的麻烦。在模型实现之前数据要转成数值张量。中文没有天然的空格分词常见的选择是jieba分词或按字切分。电影评论短平快的特性按字切分往往效果不差因为 CNN 和 Transformer 都能从字符序列中学到词边界信息jieba分词的好处是能直接获得词级别语义单元配合预训练词向量效果更好。毕设环境推荐jieba因为答辩时可以说“我用了分词”技术点更丰富。import jieba import torch from torch.utils.data import Dataset, DataLoader from collections import Counter class CommentDataset(Dataset): def __init__(self, texts, labels, vocab, max_len64): self.texts texts self.labels labels self.vocab vocab self.max_len max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): tokens list(jieba.cut(self.texts[idx])) ids [self.vocab.get(t, 1) for t in tokens[:self.max_len]] # 1 是 UNK ids ids [0] * (self.max_len - len(ids)) # 0 是 PAD return torch.tensor(ids), torch.tensor(self.labels[idx]) def build_vocab(texts, min_freq2): counter Counter() for text in texts: counter.update(jieba.cut(text)) vocab {PAD: 0, UNK: 1} for word, freq in counter.items(): if freq min_freq: vocab[word] len(vocab) return vocab # 使用时一行构建 Batch train_loader DataLoader(CommentDataset(train_texts, train_labels, vocab), batch_size64, shuffleTrue) val_loader DataLoader(CommentDataset(val_texts, val_labels, vocab), batch_size64, shuffleFalse)min_freq2的意思是出现次数少于 2 的词全部映射到UNK。这一行能显著减小词表体积避免模型过拟合到只出现一次的人名和专有名词上。max_len64对电影短评来说基本够用超过 64 个字的信息直接截断不会对情感判断产生决定性影响。padding 放在尾部因为头部位置的信息对情感判断更重要。验证集的shuffleFalse是标准做法确保评估结果不随顺序波动。4.2 BiLSTM 注意力模型代码与参数配置这里给一个能整体跑起来的 BiLSTM 分类模型结构包含 Embedding 层、双向 LSTM、注意力池化和全连接分类头import torch.nn as nn import torch.nn.functional as F class BiLSTMAttn(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128, num_classes3, num_layers2, dropout0.5): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_dim, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout) self.attn nn.Linear(hidden_dim * 2, 1) self.fc nn.Linear(hidden_dim * 2, num_classes) def forward(self, x): embedded self.embedding(x) # [B, L, E] lstm_out, _ self.lstm(embedded) # [B, L, 2H] attn_weights F.softmax(self.attn(lstm_out).squeeze(-1), dim1) attn_weights attn_weights.unsqueeze(1) # [B, 1, L] attn_output torch.bmm(attn_weights, lstm_out) # [B, 1, 2H] attn_output attn_output.squeeze(1) # [B, 2H] logits self.fc(attn_output) return logits注意力机制的加入是本模型的核心改进点。标准的 BiLSTM 取最后一步的隐藏状态作为分类层输入这等价于假设最后一步的向量包含全部序列信息——实际上当关键情感词出现在句子中部时这部分信息会被后续词冲淡。注意力池化让模型学一个权重分布自动决定“这句话里哪些位置更重要”。在电影评论场景里模型通常会给“垃圾”“烂片”“惊喜”“超出预期”这些词分配更高的权重训练结束后可以把这部分注意力系数可视化作为论文里的分析图。padding_idx0这个参数容易忽略。它指定 Embedding 层里 0 号位置的向量永远不被更新始终是零向量这样 PAD 位置不会向模型传递任何信息。如果漏掉这个参数PAD 位置会被随机初始化并参与反向传播等于给模型注入噪声。4.3 训练循环、学习率调度与早停策略训练循环的写法决定了模型能否稳定收敛。直接给一个调过的参数组合import torch.optim as optim from sklearn.metrics import f1_score model BiLSTMAttn(len(vocab), embed_dim128, hidden_dim128) criterion nn.CrossEntropyLoss(weighttorch.tensor([1.0, 1.6, 0.8])) optimizer optim.Adam(model.parameters(), lr2e-3, weight_decay1e-4) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max20, eta_min1e-5) best_f1 0 patience 5 triggers 0 for epoch in range(30): model.train() total_loss 0 for batch in train_loader: input_ids, labels batch optimizer.zero_grad() logits model(input_ids) loss criterion(logits, labels) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm2.0) optimizer.step() total_loss loss.item() model.eval() val_preds, val_labels [], [] with torch.no_grad(): for batch in val_loader: input_ids, labels batch logits model(input_ids) preds logits.argmax(dim1) val_preds.extend(preds.tolist()) val_labels.extend(labels.tolist()) val_f1 f1_score(val_labels, val_preds, averageweighted) if val_f1 best_f1: best_f1 val_f1 torch.save(model.state_dict(), best_model.pt) triggers 0 else: triggers 1 if triggers patience: break scheduler.step()几个参数的直觉解释学习率2e-3对 Adam 来说是偏大的起始值配合余弦退火在前 5 轮快速降温比固定学习率效果好。梯度裁剪max_norm2.0防止 LSTM 在长序列上梯度爆炸这是 RNN 系模型必加的一行。CosineAnnealingLR的T_max20表示从初始学习率到最低学习率的半周期是 20 轮在本任务 30 轮的配置里能保证后期收敛稳定。早停的patience5意味着连续 5 轮验证集 F1 不提升就停止训练避免在验证集上过拟合。这里用 F1 而不是准确率作为保存模型的指标因为类别不均衡时准确率有欺骗性——全预测为好评也能拿到 0.6 以上的准确率但 F1 能更均衡地反映三个类别的综合表现。5. 用 Flask 封装为可视化系统的验证与交付技巧5.1 推理链路与 Flask 接口对接训练好的模型要能对外服务核心是把训练阶段的预处理逻辑完整复刻到推理阶段包括分词、词表映射、填充和权重加载。这里直接贴最小可用的预测接口from flask import Flask, request, jsonify import torch import torch.nn.functional as F import jieba app Flask(__name__) def predict(text): tokens list(jieba.cut(text)) ids [vocab.get(t, 1) for t in tokens[:64]] ids ids [0] * (64 - len(ids)) input_tensor torch.tensor([ids]) model.eval() with torch.no_grad(): logits model(input_tensor) probs F.softmax(logits, dim1).squeeze(0) return {scores: { negative: probs[0].item(), neutral: probs[1].item(), positive: probs[2].item() }} app.route(/analyze, methods[POST]) def analyze(): text request.json.get(text, ) if not text: return jsonify({error: empty}), 400 return jsonify(predict(text))推理与训练不一致是毕设现场翻车的高频原因。最常见的坑是训练时用了jieba.cut推理时忘掉训练时max_len64推理时超出序列上限词表不一致导致索引错位。解决办法是把分词和映射逻辑封装成独立函数放在一个模块里训练脚本和 Flask 服务都从该模块导入不各自写一份。5.2 前端页面与 ECharts 概率展示简化版页面只需要一个输入框、一个提交按钮和一个结果容器form idreview-form textarea idreview-text rows3 placeholder输入电影评论.../textarea button typesubmit分析/button /form div idresult/div script document.getElementById(review-form).addEventListener(submit, async (e) { e.preventDefault(); const text document.getElementById(review-text).value; const resp await fetch(/analyze, { method: POST, headers: {Content-Type: application/json}, body: JSON.stringify({text}), }); const data await resp.json(); const scores Object.entries(data.scores); const best scores.sort((a, b) b[1] - a[1])[0]; document.getElementById(result).innerText 预测情感${best[0]} | 置信度${best[1].toFixed(3)}; }); /script界面展示别止步于标签和置信度建议用 ECharts 画三个类的概率分布条形图。答辩时演示输入文本后立即显示每个倾向概率的系统比单个标签更有说服力。5.3 交叉验证与错误样本分析数据集只有几千条到一两万条时单次随机划分验证集的结果受偶然因素影响很大。折中做法是 5 折交叉验证报告五折的平均 F1 和标准差——这展现了模型稳定性意识答辩时是加分项。另一个多数人省掉但效果明显的步骤是错误样本分析。把模型预测错的样本导出逐条看最常见的错误模式是中性样本被误判为正面“还行”“可以”“一般”这类模糊词被模型学到了正向特征。针对这类问题补充 200-500 条标注清晰的中性样本加入训练集效果通常立刻显现。如果不想从零训练 Embedding可以把nn.Embedding的初始权重换成腾讯词向量或百度中文向量以微调方式参与训练效果通常优于冻结和纯随机初始化。提示想做桌面工具的话Tkinter 也能完成同样功能打包成 exe 后演示更便携。本文还有配套的精品资源点击获取
深度学习情感分析系统构建：从电影评论数据到Flask部署
简介一套面向Python学习者的毕业设计级完整项目以电影评论为数据对象实现基于深度学习的情感分析系统。项目后端采用Python编写前端使用HTML、CSS、JavaScript构建交互界面并附带MySQL数据库脚本可在PyCharm中直接配置运行适合作为课程设计、毕业设计或毕业答辩的参照方案。资源共290个文件压缩包约123MB其中包含23个Python源文件、17个HTML页面、30个CSS和34个JS文件以及大量gif演示动画、SQL脚本和说明文档代码、素材与数据库脚本一应俱全。已有163人学习下载。通过源码可深入理解文本预处理、模型训练到情感分类的完整流程借助gif录屏可快速掌握系统运行效果配合环境配置说明能减少部署障碍对完成设计文档和答辩准备均有实用价值。1. 基于深度学习的电影评论情感分析系统在毕设里的定位电影评论情感分析是自然语言处理里少有的“学术有深度、落地有界面、数据好获取”的毕设方向。它要解决的核心问题是把豆瓣、IMDb 等平台上用户写的短评自动判成正面、负面或中性并给出置信度。相比传统基于情感词典的方法深度学习路线不需要人工维护词表模型自己从语料里学语义特征在口语化严重的电影短评上准确率明显更高。适合选这个题的人有几类一是 NLP 方向想拿完整项目经验的学生二是希望系统有 Web 界面展示的开发者三是想从爬虫到模型再到部署全链路走一遍的初学者。这个题目的难点不在模型本身而在数据质量、标签标准和处理流程的完整性。2. 情感分析的技术路线对比与深度学习选型理由2.1 从词典法到深度学习三条路线各自的边界情感分析这个任务本身不新。最早的做法是情感词典法维护一张带极性分数的词表比如“好看”2分、“垃圾”-3分统计整条评论里所有词的极性累加。优点是解释性强、不需要训练数据缺点也很明显——不认否定“不是不好看”不认程度“太好看了”不认语境“这部电影太搞笑了”在不同的上下文里极性完全不同。电影评论里大量出现反讽和隐喻词典法基本招架不住。第二条路线是传统机器学习TF-IDF 或词袋做特征接 SVM、朴素贝叶斯或逻辑回归。这比词典法灵活但特征工程的手工成分依然很重而且对词序完全不敏感。“喜欢不讨厌”和“不讨厌喜欢”在词袋视角下是同一个向量语义差别完全丢失。第三条路线就是标题里说的深度学习。Embedding 层把词映射成稠密向量网络结构CNN、RNN、Transformer负责组合上下文语义。它的核心优势是不需要人工设计特征模型自己去学“什么词组合在一起代表负面”。在电影评论这种长度短、口语化强、噪声大的文本上深度模型的鲁棒性明显优于前两条路线。做毕设选它还有一个实际考虑答辩时能讲的技术点更多从数据到模型到调优都有东西可展示。2.2 三种常用模型结构怎么选BiLSTM、TextCNN、BERT模型选型是决定毕设工作量的关键一步。我一般会按数据量和硬件条件分三档模型适合场景训练时间CPU效果基准TextCNN小规模语料1万条以内10-30分钟0.82-0.86BiLSTM中规模语料1万-5万条1-3小时0.84-0.88BERT/中文预训练模型大规模语料或不计成本追求上限8小时以上需GPU0.90-0.95TextCNN 用多个尺寸的卷积核并行扫过文本相当于同时捕捉“一元词特征”和“二元词特征”实现简单、训练极快是毕设保底的最优选择。BiLSTM 通过前向和后向两个 LSTM 分别读两遍文本能建模更长距离的依赖对“虽然前面说了很多好话但是结尾逆转”这类结构更敏感。BERT 类模型效果最好但要面临显存占用、训练时间长、部署体积大三个现实问题而且如果用中文预训练模型评审老师会追问“你 Finetune 了什么、为什么有效”答不清楚反而露怯。我的建议是预算 4 周的话TextCNN 做基线 BiLSTM 做改进两个模型做对比实验最后用效果好的那个上线。预算 8 周可以尝试 BERT 微调。别一开始就上 BERT——你没法解释清楚每一层在干什么答辩时风险反而高。2.3 负采样与类别不均衡的现实问题电影评论的情感分布天然不均衡。豆瓣上的短评好评占比往往超过 60%差评和中性评论各占 20% 左右。直接用原始数据训练模型会倾向把所有评论都判成好评因为这样准确率也很高。处理这个问题的常见做法有三个第一按类别做负采样把好评数量砍到和差评一个量级。缺点是浪费数据。第二在损失函数里给少数类加权torch.nn.CrossEntropyLoss(weight...)里设置权重向量缺点是权重不好调。第三用 Focal Loss 替代交叉熵让模型把注意力放在难分类的样本上。我做毕设时用的最顺手的是第二种先统计三个类别的样本数然后设置weight max_count / class_count简单有效收敛也快。提示不要为了追求数据均衡而把所有类别都采样到同一个数量。中性评论本身标注一致性就差“一般般”“还行”“凑合”这些词在不同标注者眼中的极性完全不同样本太多反而放大噪声。3. 电影评论数据的获取、清洗与标注方案3.1 爬虫采集豆瓣短评的合规做法与反爬应对毕设用的数据最常来自豆瓣电影短评。豆瓣的前端是服务端渲染直接requests.get拿 HTML 再用lxml解析比调 AJAX 接口省事得多。一个最小可用的采集脚本长这样import requests from lxml import etree import time import csv headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://movie.douban.com/ } def fetch_comments(movie_id, pages10): comments [] for page in range(pages): url fhttps://movie.douban.com/subject/{movie_id}/comments?start{page * 20}limit20statusP resp requests.get(url, headersheaders, timeout10) if resp.status_code ! 200: time.sleep(5) continue tree etree.HTML(resp.text) for item in tree.xpath(//div[classcomment-item]): comment item.xpath(.//span[classshort]/text()) if comment: comments.append(comment[0].strip()) time.sleep(3) # 控制频率避免封IP return comments data fetch_comments(1292052, pages20) with open(douban_comments.csv, w, encodingutf-8-sig, newline) as f: writer csv.writer(f) writer.writerow([comment]) for c in data: writer.writerow([c])这段代码的要点有两个。一是headers里必须带User-Agent和Referer豆瓣对不带 Referer 的请求直接返回 403。二是time.sleep(3)不能省高频请求触发风控后返回页面里会出现“检测到有异常请求”的提示状态码依然是 200 但解析不到任何评论。utf-8-sig编码是为了让 Excel 打开 CSV 不乱码如果后续全在 Python 里处理用普通utf-8也行。提示毕设范围内采集公开评论数据用于学术研究是常见做法但要注意三点控制请求频率、不采集用户个人信息用户名、头像、主页链接都不要存、不公开发布原始数据集。3.2 数据清洗去除无效字符与长度过滤电影评论的噪声类型比普通文本多。常见的有表情符号、系统填充的固定短句“这篇影评有剧透”、大量重复的标点“好看”、以及超过 500 字的日记式长评。清洗策略按顺序做import pandas as pd df pd.read_csv(douban_comments.csv) df[comment] df[comment].astype(str) # 1. 去HTML标签和特殊符号 df[comment] df[comment].str.replace(r[^], , regexTrue) # 2. 保留中英文、数字和常见标点其余替换为空格 df[comment] df[comment].str.replace(r[^\u4e00-\u9fa5a-zA-Z0-9。、《》…·~#%……*], , regexTrue) # 3. 压缩连续空白 df[comment] df[comment].str.replace(r\s, , regexTrue) # 4. 过滤过短和过长的评论 df df[(df[comment].str.len() 4) (df[comment].str.len() 120)] # 5. 去重 df df.drop_duplicates(subset[comment])清洗完成后打印df[comment].str.len().describe()观察长度分布。长度中位数如果不到 30 字说明以正常短评为主符合电影评论的典型长度分布如果中位数超过 60 字检查是不是混入了长评需要回看采集逻辑。第 4 行正则里保留的字符范围很关键中文标点和英文标点都要保因为“好看很感动”和“好看!很感动”在语义上等价感叹号本身也意味着更强的情绪但不能把表情符号和特殊 markdown 语法带进模型。长度下限定在 4是因为“好看”“很差”这类 2 字评论虽然也有情感但信息量太低模型学不到有用的上下文上限定在 120 字是为了控制序列长度BiLSTM 在超长序列上梯度传播会衰减。3.3 标注策略用豆瓣星级映射三类标签情感分析任务的标签体系一般有两种选择二分法正面/负面和三分法正面/中性/负面。电影评论场景建议用三分法原因很现实豆瓣打分是 1-5 星“3 星”对应“还行”这部分评论规模不小文本里经常出现“不好不坏”“凑合”这类模棱两可的表达硬归到正或负都会引入大量噪声。标注的执行方式直接决定项目工作量。没有人工标注预算的情况下最常见的是用豆瓣星级直接映射标签4-5 星标为正面、3 星为中性、1-2 星为负面。这个思路没问题但要注意一个细节爬虫拿到的 HTML 里星级信息在span标签的title属性里需要一并解析不能只看评论正文不看评分。另一个替代方案是用自动标注工具给未标注数据打伪标签然后用置信度阈值筛选。这样做的好处是不需要人工参与坏处是伪标签噪声会直接传入训练阶段且模型会学到标注工具的偏好偏差。即使采用伪标签方案也至少人工校验 500 条计算标注工具本身的准确率在论文里明确写出这个数字——评审老师很看重这个诚实度。4. 基于 PyTorch 的模型实现与训练流程4.1 数据加载器分词、词表构建与 Batch 填充环境依赖只有五个torch、jieba、pandas、scikit-learn、flask。在 CPU 机器上装 torch 的 CPU 版即可训练一个 1 万条规模的 BiLSTM 用不了 GPU反而省去了 CUDA 环境配置的麻烦。在模型实现之前数据要转成数值张量。中文没有天然的空格分词常见的选择是jieba分词或按字切分。电影评论短平快的特性按字切分往往效果不差因为 CNN 和 Transformer 都能从字符序列中学到词边界信息jieba分词的好处是能直接获得词级别语义单元配合预训练词向量效果更好。毕设环境推荐jieba因为答辩时可以说“我用了分词”技术点更丰富。import jieba import torch from torch.utils.data import Dataset, DataLoader from collections import Counter class CommentDataset(Dataset): def __init__(self, texts, labels, vocab, max_len64): self.texts texts self.labels labels self.vocab vocab self.max_len max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): tokens list(jieba.cut(self.texts[idx])) ids [self.vocab.get(t, 1) for t in tokens[:self.max_len]] # 1 是 UNK ids ids [0] * (self.max_len - len(ids)) # 0 是 PAD return torch.tensor(ids), torch.tensor(self.labels[idx]) def build_vocab(texts, min_freq2): counter Counter() for text in texts: counter.update(jieba.cut(text)) vocab {PAD: 0, UNK: 1} for word, freq in counter.items(): if freq min_freq: vocab[word] len(vocab) return vocab # 使用时一行构建 Batch train_loader DataLoader(CommentDataset(train_texts, train_labels, vocab), batch_size64, shuffleTrue) val_loader DataLoader(CommentDataset(val_texts, val_labels, vocab), batch_size64, shuffleFalse)min_freq2的意思是出现次数少于 2 的词全部映射到UNK。这一行能显著减小词表体积避免模型过拟合到只出现一次的人名和专有名词上。max_len64对电影短评来说基本够用超过 64 个字的信息直接截断不会对情感判断产生决定性影响。padding 放在尾部因为头部位置的信息对情感判断更重要。验证集的shuffleFalse是标准做法确保评估结果不随顺序波动。4.2 BiLSTM 注意力模型代码与参数配置这里给一个能整体跑起来的 BiLSTM 分类模型结构包含 Embedding 层、双向 LSTM、注意力池化和全连接分类头import torch.nn as nn import torch.nn.functional as F class BiLSTMAttn(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128, num_classes3, num_layers2, dropout0.5): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_dim, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout) self.attn nn.Linear(hidden_dim * 2, 1) self.fc nn.Linear(hidden_dim * 2, num_classes) def forward(self, x): embedded self.embedding(x) # [B, L, E] lstm_out, _ self.lstm(embedded) # [B, L, 2H] attn_weights F.softmax(self.attn(lstm_out).squeeze(-1), dim1) attn_weights attn_weights.unsqueeze(1) # [B, 1, L] attn_output torch.bmm(attn_weights, lstm_out) # [B, 1, 2H] attn_output attn_output.squeeze(1) # [B, 2H] logits self.fc(attn_output) return logits注意力机制的加入是本模型的核心改进点。标准的 BiLSTM 取最后一步的隐藏状态作为分类层输入这等价于假设最后一步的向量包含全部序列信息——实际上当关键情感词出现在句子中部时这部分信息会被后续词冲淡。注意力池化让模型学一个权重分布自动决定“这句话里哪些位置更重要”。在电影评论场景里模型通常会给“垃圾”“烂片”“惊喜”“超出预期”这些词分配更高的权重训练结束后可以把这部分注意力系数可视化作为论文里的分析图。padding_idx0这个参数容易忽略。它指定 Embedding 层里 0 号位置的向量永远不被更新始终是零向量这样 PAD 位置不会向模型传递任何信息。如果漏掉这个参数PAD 位置会被随机初始化并参与反向传播等于给模型注入噪声。4.3 训练循环、学习率调度与早停策略训练循环的写法决定了模型能否稳定收敛。直接给一个调过的参数组合import torch.optim as optim from sklearn.metrics import f1_score model BiLSTMAttn(len(vocab), embed_dim128, hidden_dim128) criterion nn.CrossEntropyLoss(weighttorch.tensor([1.0, 1.6, 0.8])) optimizer optim.Adam(model.parameters(), lr2e-3, weight_decay1e-4) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max20, eta_min1e-5) best_f1 0 patience 5 triggers 0 for epoch in range(30): model.train() total_loss 0 for batch in train_loader: input_ids, labels batch optimizer.zero_grad() logits model(input_ids) loss criterion(logits, labels) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm2.0) optimizer.step() total_loss loss.item() model.eval() val_preds, val_labels [], [] with torch.no_grad(): for batch in val_loader: input_ids, labels batch logits model(input_ids) preds logits.argmax(dim1) val_preds.extend(preds.tolist()) val_labels.extend(labels.tolist()) val_f1 f1_score(val_labels, val_preds, averageweighted) if val_f1 best_f1: best_f1 val_f1 torch.save(model.state_dict(), best_model.pt) triggers 0 else: triggers 1 if triggers patience: break scheduler.step()几个参数的直觉解释学习率2e-3对 Adam 来说是偏大的起始值配合余弦退火在前 5 轮快速降温比固定学习率效果好。梯度裁剪max_norm2.0防止 LSTM 在长序列上梯度爆炸这是 RNN 系模型必加的一行。CosineAnnealingLR的T_max20表示从初始学习率到最低学习率的半周期是 20 轮在本任务 30 轮的配置里能保证后期收敛稳定。早停的patience5意味着连续 5 轮验证集 F1 不提升就停止训练避免在验证集上过拟合。这里用 F1 而不是准确率作为保存模型的指标因为类别不均衡时准确率有欺骗性——全预测为好评也能拿到 0.6 以上的准确率但 F1 能更均衡地反映三个类别的综合表现。5. 用 Flask 封装为可视化系统的验证与交付技巧5.1 推理链路与 Flask 接口对接训练好的模型要能对外服务核心是把训练阶段的预处理逻辑完整复刻到推理阶段包括分词、词表映射、填充和权重加载。这里直接贴最小可用的预测接口from flask import Flask, request, jsonify import torch import torch.nn.functional as F import jieba app Flask(__name__) def predict(text): tokens list(jieba.cut(text)) ids [vocab.get(t, 1) for t in tokens[:64]] ids ids [0] * (64 - len(ids)) input_tensor torch.tensor([ids]) model.eval() with torch.no_grad(): logits model(input_tensor) probs F.softmax(logits, dim1).squeeze(0) return {scores: { negative: probs[0].item(), neutral: probs[1].item(), positive: probs[2].item() }} app.route(/analyze, methods[POST]) def analyze(): text request.json.get(text, ) if not text: return jsonify({error: empty}), 400 return jsonify(predict(text))推理与训练不一致是毕设现场翻车的高频原因。最常见的坑是训练时用了jieba.cut推理时忘掉训练时max_len64推理时超出序列上限词表不一致导致索引错位。解决办法是把分词和映射逻辑封装成独立函数放在一个模块里训练脚本和 Flask 服务都从该模块导入不各自写一份。5.2 前端页面与 ECharts 概率展示简化版页面只需要一个输入框、一个提交按钮和一个结果容器form idreview-form textarea idreview-text rows3 placeholder输入电影评论.../textarea button typesubmit分析/button /form div idresult/div script document.getElementById(review-form).addEventListener(submit, async (e) { e.preventDefault(); const text document.getElementById(review-text).value; const resp await fetch(/analyze, { method: POST, headers: {Content-Type: application/json}, body: JSON.stringify({text}), }); const data await resp.json(); const scores Object.entries(data.scores); const best scores.sort((a, b) b[1] - a[1])[0]; document.getElementById(result).innerText 预测情感${best[0]} | 置信度${best[1].toFixed(3)}; }); /script界面展示别止步于标签和置信度建议用 ECharts 画三个类的概率分布条形图。答辩时演示输入文本后立即显示每个倾向概率的系统比单个标签更有说服力。5.3 交叉验证与错误样本分析数据集只有几千条到一两万条时单次随机划分验证集的结果受偶然因素影响很大。折中做法是 5 折交叉验证报告五折的平均 F1 和标准差——这展现了模型稳定性意识答辩时是加分项。另一个多数人省掉但效果明显的步骤是错误样本分析。把模型预测错的样本导出逐条看最常见的错误模式是中性样本被误判为正面“还行”“可以”“一般”这类模糊词被模型学到了正向特征。针对这类问题补充 200-500 条标注清晰的中性样本加入训练集效果通常立刻显现。如果不想从零训练 Embedding可以把nn.Embedding的初始权重换成腾讯词向量或百度中文向量以微调方式参与训练效果通常优于冻结和纯随机初始化。提示想做桌面工具的话Tkinter 也能完成同样功能打包成 exe 后演示更便携。本文还有配套的精品资源点击获取
