简介面向人工智能导论课程学习者的一份实验源码与课程报告包聚焦“看图说话”与“微表情识别”两项视觉任务。项目在Jupyter Notebook环境中使用TensorFlow和Keras搭建模型目标是为输入图片生成描述性caption并在画面中检测到人脸时输出对应的情绪类别适合用于课程设计、实验复现和入门项目参考。资源包共9个文件整体约5.78MB包含3个ipynb源码文件、课程论文报告docx、Markdown说明文档、人脸检测所需的xml配置以及许可证文件主体明确、结构清晰方便按模块查阅与执行。目前已有338人学习/下载。其中ipynb文件覆盖环境准备、核心模型实现与结果展示课程报告则从问题定义、模型设计、训练过程到结果分析完整展开读者可据此获得可直接运行的Python/TensorFlow代码、可复现的实验流程以及基于Colab的快速上手入口从而深入理解图像描述生成与微表情识别中的建模思路和调优细节。1. 看图说话加微表情识别为什么把两个任务塞进一个导论项目里人工智能导论课的“大作业”最怕的就是题目看着简单跑起来全是坑。这个资源把看图说话和微表情识别拼在一起背后是一套很务实的教学思路一张图进来先让计算机生成一句描述再定位人脸最后判断人的情绪。两个任务串起来把卷积特征提取、序列生成、目标检测、图像分类这些导论课核心概念全落到代码上。适合正在憋人工智能课程报告的学生也适合想拿现成工程改造成 demo 的开发者。下面直接按解压后的真实文件顺序拆出每一步该怎么跑、参数怎么躲坑。2. 项目结构与双任务数据流从文件到模型的完整链路2.1 解压后先看清单哪个文件负责哪一段拿到“人工智能导论—看图说话微表情识别.zip”后先别急着打开 notebook而是把文件清单对一遍。你发现它其实只有三类东西课程论文报告、两个 Jupyter notebook、一个人脸检测用的 Haar 级联模型。这是导论课项目最常见的结构——报告负责把方法和实验结果讲清楚notebook 负责把代码跑通Haar 级联是成熟的开源检测模型不用自己训练就能先用起来。文件/目录在项目里的角色我拿到后第一反应课程论文报告.docx实验设计和结果说明先翻它再跑代码能少踩一半坑FacialExpressionRecognition.ipynb主实验代码覆盖看图和微表情核心需要逐 cell 跑FacialExpressionRecognition-checkpoint.ipynb带中间训练状态的备份遇到崩溃时回退用haarcascade_frontalface_default.xmlOpenCV 自带的人脸检测权重表情识别的前置定位工具Report Code 目录报告对应的散装源码或格式化代码用来核对 notebook 里的关键函数欢迎使用_Colaboratory.ipynbGoogle Colab 的引导文件不用实跑告诉你环境怎么挂载README.md / LICENSE说明和开源协议确认能不能用到自己作业里从这份清单能判断这个项目不依赖你重新训练一个超大模型而是把预训练 CNN、Haar 级联、小规模分类器组合起来完成两个子任务。所以运行门槛不高主要看你的 GPU 显存以及别人有没有给到对应权重文件。如果下载包里没带训练好的权重第一次运行大概率要手动加载预训练的 InceptionV3 或类似模型这一步对网络条件是个考验。2.2 双任务主流程先描述再定位人脸最后分类情绪我习惯把两个任务看成一条流水线。输入一张彩色图片第一个子任务是图片描述直接对整体图片提取特征并生成句子第二个子任务只关心图片中人脸所在的区域所以先用 OpenCV 读入 Haar 级联做检测再把人脸区域剪出来给表情分类器处理。下面这个伪代码结构是这类合体项目最常见骨架import cv2 import numpy as np # 读图 img cv2.imread(sample.jpg) rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 任务 1看图说话。模型先提取全局特征再生成描述句子 caption_result caption_model.generate(rgb) # 任务 2微表情识别。先做人脸检测再逐个人脸做情绪分类 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale( gray, scaleFactor1.15, # 每层图像缩放比例越小越精细但耗时更高 minNeighbors5, # 每个候选框需要有几个邻居才能保留越大漏检越多 minSize(48, 48) # 最小人脸尺寸小于 48x48 的框直接丢弃 ) for (x, y, w, h) in faces: face_img gray[y:yh, x:xw] # 裁出人脸 face_img cv2.resize(face_img, (48, 48)) # 统一到分类器输入尺寸 face_img face_img / 255.0 face_img face_img.reshape(1, 48, 48, 1) emotion emotion_model.predict(face_img, verbose0) # emotion 是 7 类概率取出 argmax 对应的标签即为最终情绪这里 scaleFactor 和 minNeighbors 是最容易随便调的两个参数。scaleFactor 越小成功率越高但也可能把额头、手背都当成脸minNeighbors 越大误检越少可人脸一倾斜就容易漏检。我一般固定 scaleFactor1.15minNeighbors5中远景照片很少翻车。从流程里能看出来两个模型的输入尺寸和预处理方式完全不同所以写代码时不要把它们揉进同一个函数否则后面调试会很痛苦。常见做法是定义两个类一个 CaptionGenerator一个 EmotionRecognizer各自封装加载和预测逻辑再在外层做统一预测顺序执行。2.3 数据准备要注意这个资源没有把你喂饭到嘴边顺着上面的流程往下走马上会遇到一个现实问题压缩包里没自带训练数据集。看图说话需要“图片-描述句子”的配对数据表情识别需要“人脸-情绪标签”的数据。导论级项目常用公共数据集来做对抗看图说话用 Flickr8k 或 COCO 的一小部分微表情用 FER2013 或 CK。因为你拿到的源码多数已经在模型里固定了输入尺寸和类别数贸然换数据集只会增加对齐工作。我在拆别人的导论源码时会先查一个点tokenizer 有没有在包里保存好。如果项目没有把 word_to_index.json 或 tokenizer.pickle 一起放进来那么第一次训练前必须用自己的数据集重新 fit tokenizer后面的模型输出层也必须跟着 vocab_size 一起改。这个细节很多初改者会忽略结果就是模型定义时 vocab_size 写死生成时维度全乱。后面避坑章节还会专门提。另外Haar 级联是 OpenCV 自带的不依赖额外训练。但在多人照片里你需要约定到底输出哪张脸的情绪。这个项目里多数写法是只取第一个检测框实操时建议按面积排序或按中心点排序。哪种都行但报告里最好把规则写清楚否则答辩现场会被问住。值得一提的是欢迎使用_Colaboratory.ipynb 并不是正式实验代码它只负责做环境检测和目录挂载。如果你在本地跑完全可以跳过但要用 Colab最好先执行它否则后续单元格里 os.chdir 到一个不存在的路径会报错。3. 看图说话用预训练 CNN 提取特征再用 LSTM 输出描述句子看图说话本质上是图像到文本的序列生成这也是它被称为“没有标准答案”的原因同一张图不同人描述出来的句子长度、词汇、顺序都不一样。所以把它当分类问题来做一定失败正确框架是编码器-解码器CNN 负责把图像压成一个语义向量LSTM 负责把这个向量展开成一句自然语言。这一章把 Keras 实现的关键代码和参数拆开讲。3.1 为什么编码器用 CNN、解码器用 LSTM核心是“语义向量”图像描述任务里有两个核心技术点图片怎么变成向量向量怎么变成单词序列。CNN 天然是空间特征提取器越靠后的卷积层越能捕捉“这是一只猫”“那个人在笑”这类高级语义所以把网络最后一层池化结果当作图像语义向量是通行做法。LSTM 适合生成序列它每一步接收上一个单词的 Embedding 和内部状态输出下一个单词的概率分布。这里关键点是LSTM 每一步生成单词时是否要把图像特征再注入一次。常见有两种做法——只在第一步把特征作为初始状态传入或者每一步都拼接到输入侧。前一种简单但生成后期容易忘记图像后一种更稳但训练更重。这个导论项目里通常采用“特征作为初始状态”的简化版本CNN 特征经过一个 Dense 层映射成 LSTM 的初始 hidden state。如果你是第一次接触建议先跑通这个简化版再改成每一步拼接输入的 attention 版本。不要在导论作业里一上来就抢 attention时间成本会失控。3.2 可抄作业的编码器-解码器定义Keras 功能 API 写得最清晰用 Keras 定义这类模型推荐 Functional API而不是 Sequential因为这里有两个输入图像张量和已生成单词序列输出是序列中每个单词的预测概率。下面是一个基础版模型骨架from tensorflow.keras.layers import Input, Dense, LSTM, Embedding, Dropout from tensorflow.keras.models import Model from tensorflow.keras.applications import InceptionV3 IMG_SHAPE (224, 224, 3) VOCAB_SIZE 5000 # 词表总大小 EMBEDDING_DIM 256 # 每个单词的向量维度 LSTM_UNITS 512 # LSTM 隐藏单元数 MAX_CAPTION_LEN 30 # 含 start 和 end 的总长 SEQ_LEN MAX_CAPTION_LEN - 1 # 实际输入序列长度去掉 start # 图像一侧先用预训练 CNN 提特征再映射到 LSTM 初始状态 image_input Input(shapeIMG_SHAPE, nameimage_input) base InceptionV3(weightsimagenet, include_topFalse, poolingavg) image_feat base(image_input) # (None, 2048) image_feat Dropout(0.5)(image_feat) image_feat Dense(LSTM_UNITS, activationrelu)(image_feat) # (None, 512) # 文本一侧输入的是已经 token 化的单词 id 序列 seq_input Input(shape(SEQ_LEN,), nameseq_input) embedding Embedding(VOCAB_SIZE, EMBEDDING_DIM, mask_zeroTrue)(seq_input) lstm_out LSTM(LSTM_UNITS, return_sequencesTrue)( embedding, initial_state[image_feat, image_feat] ) dense_out Dense(VOCAB_SIZE, activationsoftmax)(lstm_out) model Model([image_input, seq_input], dense_out) model.compile( optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy] )这里有几个参数需要解释。VOCAB_SIZE 必须和 tokenizer 的 num_words 保持一致否则损失计算时 softmax 维度对不上。LSTM 的 initial_state 传两个向量分别对应 hidden state h 和 cell state c这里都用了同一个全连接结果是简化处理。真正的工程里一般让 h 和 c 各自经过不同的 Dense 层。Embedding 层 mask_zeroTrue 让 padding 位置不参与 LSTM 更新保证pad不会被当成真实单词学习。训练时最常见的配套技巧是 teacher forcing也就是每一步的输入都使用真实单词序列而不是模型上一步预测的词。Keras 里只要把真实描述序列 pad 成 MAX_CAPTION_LEN并让输入去掉start标签去掉end即可# 假设 caption_batch 的每一行已经 pad 成 MAX_CAPTION_LEN且包含 start 和 end X_img image_batch # (batch, 224, 224, 3) X_seq caption_batch[:, :-1] # (batch, SEQ_LEN)去掉了最后一个 end y_seq caption_batch[:, 1:] # (batch, SEQ_LEN)去掉了开头的 start model.fit([X_img, X_seq], y_seq, batch_size64, epochs30, validation_split0.2)按这个写法每个时间步的标签就是“下一个词”。训练时 loss 会下降得比较快因为模型每一步都拿着正确答案在生成。真正到了推理阶段没有正确答案就必须自己循环生成。这也是很多导论项目的训练代码跑得挺顺但生成句子不可读的原因——推理循环写得太糙。3.3 生成描述贪心搜索与 beam search 的取舍推理时最土的方法是贪心搜索每一步只取预测概率最高的单词。优点是快缺点是错一步、后面全跑偏生成结果经常出现“cat cat cat”这种重复。更稳的做法是 beam search保留 top-k 个候选序列每步继续扩展并打分。考虑到导论课的规模建议写一个简单 beam searchbeam_width 取 3 或 5 就够一共没几十行还能写进报告当亮点。def beam_search_predict(image_feat, tokenizer, max_len30, beam_width3): start tokenizer.word_index[start] candidates [([start], 0.0)] for _ in range(max_len): all_cands [] for seq, score in candidates: # 生成时每次都要把当前序列 pad 到 SEQ_LEN 再丢进模型 padded_seq keras.preprocessing.sequence.pad_sequences( [seq], maxlenSEQ_LEN, paddingpost ) # 模型输入 [图片特征, 填充后的词序列]输出 (1, SEQ_LEN, VOCAB) preds model.predict([image_feat, padded_seq], verbose0)[0, len(seq)-1] top_idx np.argsort(preds)[-beam_width:] for idx in top_idx: new_seq seq [idx] new_score score np.log(preds[idx] 1e-8) all_cands.append((new_seq, new_score)) # 只保留分数最高的 beam_width 个候选 candidates sorted(all_cands, keylambda x: x[1], reverseTrue)[:beam_width] best_seq sorted(candidates, keylambda x: x[1], reverseTrue)[0][0] return tokenizer.sequences_to_texts([best_seq])[0]真正落地时需要根据 Keras 返回维度处理好序列长度每次加入新词后重新 pad 到 SEQ_LEN并确保预测位置和当前序列长度对齐。beam score 用 log 概率相加是为了防止数值下溢。这里 beam_width3 很合适太宽会成倍增加推理时间在导论课数据量下收益也不明显。4. 微表情识别Haar 级联先找人脸CNN 再分情绪4.1 Haar 级联的角色先缩小检测范围再谈情绪分类情绪分类如果直接拿整张图去做会被背景干扰。人脸区域的像素分布相对稳定所以第一步是把人脸位置找出来。Haar 级联是 OpenCV 里传统目标检测方法用大量正负样本训练出多个弱分类器再级联成强分类器。模型文件就是 haarcascade_frontalface_default.xml里面存的是分类器参数不像深度模型那样要反向传播。它跑得飞快CPU 上也能轻松处理视频流适合导论项目。缺点是检测框不精确会有大量重叠框而且表情很大时框不一定正好容纳整张脸。所以使用 detectMultiScale 之后要加一个简单后处理按面积筛选只保留最大的人脸框。import cv2 face_cascade cv2.CascadeClassifier(haarcascade_frontalface_default.xml) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, scaleFactor1.15, minNeighbors5) if len(faces) 0: max_area 0 best_face None for (x, y, w, h) in faces: area w * h if area max_area: max_area area best_face (x, y, w, h)参数上scaleFactor 越小搜索层数越多精度越高但速度越慢。如果漏检优先把 minNeighbors 从 5 降到 3而不是去动 scaleFactor。minSize 设成 (48, 48)是因为后面表情分类器的输入是 48 分辨率小于这个尺寸的人脸信息已经被压缩得没法分类了。4.2 人脸裁剪、灰度化与数据归一化这几步直接影响准确率表情分类器在 FER2013 这类数据集上训练时会把图片统一成 48x48 灰度图像素值缩放到 0~1。如果你从原图裁出来的脸是彩色、大小不定直接塞进去会严重拉低精度。所以预处理管线要固化下来def preprocess_face(face_bgr, target_size(48, 48)): gray cv2.cvtColor(face_bgr, cv2.COLOR_BGR2GRAY) resized cv2.resize(gray, target_size, interpolationcv2.INTER_AREA) normalized resized.astype(float32) / 255.0 # 转成 Keras 需要的 (height, width, channel) 且带 batch 维度 return normalized.reshape(1, target_size[0], target_size[1], 1)这里的 interpolation 值得注意缩小图片用 INTER_AREA 能保留更多结构信息放大图片用 INTER_LINEAR 更平滑。很多人的表情识别准确率上不去不是因为模型太弱而是因为从 Haar 框里切出来的区域直接 resize没做灰度化也没归一化。颜色对基础情绪分类并不重要反而 RGB 通道会增加过拟合风险。4.3 七分类 CNN参数别贪多导论项目要的是稳定微表情识别本质是一个图像分类问题类别通常有七种生气、厌恶、恐惧、开心、难过、惊讶、中性。考虑到训练数据量不大CNN 不宜太深卷积核数量也要克制。下面是一个可靠的四层卷积基础结构from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout, BatchNormalization emotion_model Sequential([ Conv2D(32, (3, 3), activationrelu, paddingsame, input_shape(48, 48, 1)), BatchNormalization(), MaxPooling2D((2, 2)), Conv2D(64, (3, 3), activationrelu, paddingsame), BatchNormalization(), MaxPooling2D((2, 2)), Conv2D(128, (3, 3), activationrelu, paddingsame), BatchNormalization(), MaxPooling2D((2, 2)), Flatten(), Dense(128, activationrelu), Dropout(0.5), Dense(7, activationsoftmax) ]) emotion_model.compile(optimizeradam, losscategorical_crossentropy, metrics[accuracy])BatchNormalization 放在 Conv 和激活之后、池化之前为了缓解梯度消失也让学习率可以稍微调大。Dropout 放在全连接层防止小数据集上过拟合。FER2013 里 happy 和 neutral 偏多surprise 和 disgust 偏少分类不均衡时要在 fit 的 class_weight 参数里给少数类别加权。训练时建议配合数据增强比如随机水平翻转、小幅旋转、亮度变化。注意表情和文字不同左右翻转不影响语义可以放心做。数据增强要放在预处理管线之后不要直接对原图增强否则 Haar 定位框又要重算徒增耗时。5. 避坑指南训练和推理阶段最容易翻车的五个地方5.1 现象训练 loss 不降但验证集准确率还在涨很多同学把导论项目第一次跑完 30 个 epoch看到 training loss 没怎么动就以为代码写错了。实际上在 LSTM 序列生成里loss 是逐词交叉熵的累加值数值天然比分类任务大下降曲线也没有 CNN 那么平滑。这里“验证集准确率在涨”通常是每个时间步 top-1 的概率与标签匹配率它和最后生成句子的 BLEU 评分是两码事别拿准确率安慰自己。原因一般有两个一是图片特征没有正确进入 LSTM 初始状态比如 Dense 层输出维度跟 LSTM_UNITS 不一致Keras 不报错但其实没学到图像信息二是训练数据里 padding 了太多无效词Embedding 层没设置 mask_zeroTrue导致pad也被当真实单词参与梯度更新。解决方法是自上而下排查。先用 model.summary() 打印模型确认 image_input 到 LSTM 路径上 tensor 形状确实是 (batch, LSTM_UNITS)再单独跑一个 3 个 batch、10 个 epoch 的极短训练如果 loss 一直不降就用一个固定测试输入观察预测分布有没有跟着 batch 数据变化。一个小技巧是初始化权重前固定随机种子这样可以复现同一个结果排错时会轻松很多。5.2 现象Haar 级联把肩膀、手掌也当成脸表情输出全乱在一张多人合照或者带肤色的背景图里检测框会突然多出好几个后边 emotion_model 逐一分类就会输出一堆离谱标签。原因是 Haar 级联由弱分类器叠加而成对正脸正面鲁棒一旦出现偏侧脸、手部或浅色背景置信度就会变得不可靠。解决思路是加后处理过滤器不只看面积还要看宽高比和人脸框的上下文。通常成年人脸宽高比在 0.7 到 1.3 之间脖子到肩膀的误检往往又宽又扁手部则多是细长型号。下面这段代码放在 detectMultiScale 之后def filter_faces(faces, img_width, img_height): valid [] for (x, y, w, h) in faces: aspect w / h if not (0.7 aspect 1.3): continue if x 0 or y 0 or x w img_width or y h img_height: continue valid.append((x, y, w, h)) return valid这里限制宽高比和越界核心是减少“背景噪声进入分类器”。你甚至可以再加一个条件人脸区域的平均像素方差不能太小纯色窗帘区域会因为方差过低直接被排除。这种传统图像处理技巧和深度学习不冲突导论课上用起来很讨巧。另外如果干净背景上依然误检优先把 minNeighbors 调到 6而不是去减 scaleFactor。scaleFactor 太小会让检测层数变多误检和耗时同时上升对演示环境并不友好。5.3 现象生成的描述句子反反复复是同一个词这基本是所有序列生成项目的通病。用贪心搜索时模型一旦在某个词上置信度超高预测下一个词还是同一个词于是输出变成“cat cat cat”。根本原因是训练时 teacher forcing 只让模型见过真值推理时模型拿自己上一步的错误输出作为输入误差一路传播这叫“暴露偏差”。解决第一步是改用 beam search前面已经演示过。如果嫌 beam search 代码量大可以加一个非常简洁的重复惩罚decoded_ids [] for step in range(max_len): logits model_step(image_feat, decoded_ids) # 拿到(1, VOCAB)概率 for idx in decoded_ids: logits[0][idx] * 0.7 # 惩罚已经出现过的词 next_id np.argmax(logits, axis-1) decoded_ids.append(next_id) if next_id tokenizer.word_index[end]: break这段代码让已生成词的概率缩水迫使模型选择其他词。惩罚系数 0.7 是我试下来比较稳的太大会导致句子生硬太小不解决问题。如果用了 beam search 还重复就检查一下你的 beam 是否在不知道end的情况下无限制展开很多实现会把end的概率也加入打分导致它永远排后面。5.4 现象Keras/TensorFlow 版本混用加载 checkpoint 直接报错项目里那个 FacialExpressionRecognition-checkpoint.ipynb名字带 checkpoint但它可能只是保存了某些层的权重而不是完整模型。如果你把这个文件放到新环境里用 model.load_weightsTensorFlow 2.x 会提示 expected input_shape 之类错误这时很容易一脸懵。原因是旧版本 TensorFlow 保存的层名、权重名和新版本不完全一致尤其是 Keras 内置的 InceptionV3每次版本升级权重名字会有细微变化。如果保存的是 h5 权重没保存 optimizer 状态即便加回各层也会发现训练时的准确率曲线对不上。解决方法是不要指望别人给的 checkpoint直接用自己的数据集重新训练。如果时间不够正确做法是保存整个模型model.save(final.h5)加载时用 tf.keras.models.load_model结构和权重一起恢复。还有在 Colab 和本地环境切换前最好都跑一下 !pip list保证 tensorflow 大版本接近。我不止一次因为本机是 2.15、Colab 是 2.11结果加载权重时排查了半小时。5.5 现象现场演示时摄像头打不开程序直接崩掉答辩演示最考验代码健壮性。你写的代码如果第一行就是 cap cv2.VideoCapture(0)讲台电脑摄像头一旦被禁用cap.isOpened() 返回 False下一行 ret, frame cap.read() 直接报错后面的情绪分类根本不会执行。原因是你没有做前置检查也没有给失败留退路。导论课评估里演示能否跑通往往比模型准确率更重要。解决方式是写一个带 fallback 的输入函数def get_image(): cap cv2.VideoCapture(0) if cap.isOpened(): ret, frame cap.read() cap.release() if ret: return frame, camera import os if os.path.exists(demo_fallback.jpg): return cv2.imread(demo_fallback.jpg), local_image raise RuntimeError(no camera and no fallback image)这样摄像头不可用时自动读取目录里的 demo_fallback.jpg 继续跑。我还会把这个逻辑延伸到模型加载阶段加载权重失败就自动换到完整模型文件再不行就从零开始跑。导论项目宁可输出结果差一点也不能在演示时黑屏。6. 进阶验证和效果调优不看测试集也能判断模型真的会了6.1 用 BLEU 做硬核量化给自己一个数字交代导论课里判断“看图说话”学得好不好不能只靠肉眼。一个非常朴素的量化指标是 BLEU它计算生成句子和参考句子的 n-gram 重合度。哪怕没有官方评测脚本也能用纯 Python 写一个简化版from collections import Counter def bleu_simple(candidate, reference, n2): c_ngrams Counter(zip(*[candidate[i:] for i in range(n)])) r_ngrams Counter(zip(*[reference[i:] for i in range(n)])) hit sum((c_ngrams r_ngrams).values()) total sum(c_ngrams.values()) return hit / total if total 0 else 0.0这一小段代码只算了 2-gram 精确率足够让你在报告里画一条对比曲线beam_width 3 比贪心高多少、加重复惩罚后又高多少。表情识别那边的验证更直接统计十张测试图的混淆矩阵你会发现模型最容易把 surprise 误判成 neutral。把握住这一点演示时就可以挑不踩雷的图。6.2 用手工样例看特征可视化确认真没背题比 BLEU 更有说服力的是把 CNN 最后一层特征图可视化或者直接打印图像描述生成时的 beam 候选列表。如果两张完全不同的图片生成的前几个候选词几乎一样说明模型更依赖语言先验而不是图像信息。这时把 LSTM_UNITS 从 512 降到 256再调高 Dropout会逼模型多看图像特征。我从拆这个项目里学到的一个习惯是每次改完超参数不要只看最后的 BLEU 数字而是固定三张相同类别的照片把生成的句子打印出来逐字对比。如果改了一个无关参数导致输出全变那不是超参优化而是训练不稳定。从那以后我每次调完模型都强制走一遍“三图两会话”的抽查流程比任何验证集指标都更能让我安心。希望这些拆解能帮到正在跟这个项目死磕的你。本文还有配套的精品资源点击获取
看图说话与微表情识别实战：CNN-LSTM与Haar级联完整拆解
简介面向人工智能导论课程学习者的一份实验源码与课程报告包聚焦“看图说话”与“微表情识别”两项视觉任务。项目在Jupyter Notebook环境中使用TensorFlow和Keras搭建模型目标是为输入图片生成描述性caption并在画面中检测到人脸时输出对应的情绪类别适合用于课程设计、实验复现和入门项目参考。资源包共9个文件整体约5.78MB包含3个ipynb源码文件、课程论文报告docx、Markdown说明文档、人脸检测所需的xml配置以及许可证文件主体明确、结构清晰方便按模块查阅与执行。目前已有338人学习/下载。其中ipynb文件覆盖环境准备、核心模型实现与结果展示课程报告则从问题定义、模型设计、训练过程到结果分析完整展开读者可据此获得可直接运行的Python/TensorFlow代码、可复现的实验流程以及基于Colab的快速上手入口从而深入理解图像描述生成与微表情识别中的建模思路和调优细节。1. 看图说话加微表情识别为什么把两个任务塞进一个导论项目里人工智能导论课的“大作业”最怕的就是题目看着简单跑起来全是坑。这个资源把看图说话和微表情识别拼在一起背后是一套很务实的教学思路一张图进来先让计算机生成一句描述再定位人脸最后判断人的情绪。两个任务串起来把卷积特征提取、序列生成、目标检测、图像分类这些导论课核心概念全落到代码上。适合正在憋人工智能课程报告的学生也适合想拿现成工程改造成 demo 的开发者。下面直接按解压后的真实文件顺序拆出每一步该怎么跑、参数怎么躲坑。2. 项目结构与双任务数据流从文件到模型的完整链路2.1 解压后先看清单哪个文件负责哪一段拿到“人工智能导论—看图说话微表情识别.zip”后先别急着打开 notebook而是把文件清单对一遍。你发现它其实只有三类东西课程论文报告、两个 Jupyter notebook、一个人脸检测用的 Haar 级联模型。这是导论课项目最常见的结构——报告负责把方法和实验结果讲清楚notebook 负责把代码跑通Haar 级联是成熟的开源检测模型不用自己训练就能先用起来。文件/目录在项目里的角色我拿到后第一反应课程论文报告.docx实验设计和结果说明先翻它再跑代码能少踩一半坑FacialExpressionRecognition.ipynb主实验代码覆盖看图和微表情核心需要逐 cell 跑FacialExpressionRecognition-checkpoint.ipynb带中间训练状态的备份遇到崩溃时回退用haarcascade_frontalface_default.xmlOpenCV 自带的人脸检测权重表情识别的前置定位工具Report Code 目录报告对应的散装源码或格式化代码用来核对 notebook 里的关键函数欢迎使用_Colaboratory.ipynbGoogle Colab 的引导文件不用实跑告诉你环境怎么挂载README.md / LICENSE说明和开源协议确认能不能用到自己作业里从这份清单能判断这个项目不依赖你重新训练一个超大模型而是把预训练 CNN、Haar 级联、小规模分类器组合起来完成两个子任务。所以运行门槛不高主要看你的 GPU 显存以及别人有没有给到对应权重文件。如果下载包里没带训练好的权重第一次运行大概率要手动加载预训练的 InceptionV3 或类似模型这一步对网络条件是个考验。2.2 双任务主流程先描述再定位人脸最后分类情绪我习惯把两个任务看成一条流水线。输入一张彩色图片第一个子任务是图片描述直接对整体图片提取特征并生成句子第二个子任务只关心图片中人脸所在的区域所以先用 OpenCV 读入 Haar 级联做检测再把人脸区域剪出来给表情分类器处理。下面这个伪代码结构是这类合体项目最常见骨架import cv2 import numpy as np # 读图 img cv2.imread(sample.jpg) rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 任务 1看图说话。模型先提取全局特征再生成描述句子 caption_result caption_model.generate(rgb) # 任务 2微表情识别。先做人脸检测再逐个人脸做情绪分类 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale( gray, scaleFactor1.15, # 每层图像缩放比例越小越精细但耗时更高 minNeighbors5, # 每个候选框需要有几个邻居才能保留越大漏检越多 minSize(48, 48) # 最小人脸尺寸小于 48x48 的框直接丢弃 ) for (x, y, w, h) in faces: face_img gray[y:yh, x:xw] # 裁出人脸 face_img cv2.resize(face_img, (48, 48)) # 统一到分类器输入尺寸 face_img face_img / 255.0 face_img face_img.reshape(1, 48, 48, 1) emotion emotion_model.predict(face_img, verbose0) # emotion 是 7 类概率取出 argmax 对应的标签即为最终情绪这里 scaleFactor 和 minNeighbors 是最容易随便调的两个参数。scaleFactor 越小成功率越高但也可能把额头、手背都当成脸minNeighbors 越大误检越少可人脸一倾斜就容易漏检。我一般固定 scaleFactor1.15minNeighbors5中远景照片很少翻车。从流程里能看出来两个模型的输入尺寸和预处理方式完全不同所以写代码时不要把它们揉进同一个函数否则后面调试会很痛苦。常见做法是定义两个类一个 CaptionGenerator一个 EmotionRecognizer各自封装加载和预测逻辑再在外层做统一预测顺序执行。2.3 数据准备要注意这个资源没有把你喂饭到嘴边顺着上面的流程往下走马上会遇到一个现实问题压缩包里没自带训练数据集。看图说话需要“图片-描述句子”的配对数据表情识别需要“人脸-情绪标签”的数据。导论级项目常用公共数据集来做对抗看图说话用 Flickr8k 或 COCO 的一小部分微表情用 FER2013 或 CK。因为你拿到的源码多数已经在模型里固定了输入尺寸和类别数贸然换数据集只会增加对齐工作。我在拆别人的导论源码时会先查一个点tokenizer 有没有在包里保存好。如果项目没有把 word_to_index.json 或 tokenizer.pickle 一起放进来那么第一次训练前必须用自己的数据集重新 fit tokenizer后面的模型输出层也必须跟着 vocab_size 一起改。这个细节很多初改者会忽略结果就是模型定义时 vocab_size 写死生成时维度全乱。后面避坑章节还会专门提。另外Haar 级联是 OpenCV 自带的不依赖额外训练。但在多人照片里你需要约定到底输出哪张脸的情绪。这个项目里多数写法是只取第一个检测框实操时建议按面积排序或按中心点排序。哪种都行但报告里最好把规则写清楚否则答辩现场会被问住。值得一提的是欢迎使用_Colaboratory.ipynb 并不是正式实验代码它只负责做环境检测和目录挂载。如果你在本地跑完全可以跳过但要用 Colab最好先执行它否则后续单元格里 os.chdir 到一个不存在的路径会报错。3. 看图说话用预训练 CNN 提取特征再用 LSTM 输出描述句子看图说话本质上是图像到文本的序列生成这也是它被称为“没有标准答案”的原因同一张图不同人描述出来的句子长度、词汇、顺序都不一样。所以把它当分类问题来做一定失败正确框架是编码器-解码器CNN 负责把图像压成一个语义向量LSTM 负责把这个向量展开成一句自然语言。这一章把 Keras 实现的关键代码和参数拆开讲。3.1 为什么编码器用 CNN、解码器用 LSTM核心是“语义向量”图像描述任务里有两个核心技术点图片怎么变成向量向量怎么变成单词序列。CNN 天然是空间特征提取器越靠后的卷积层越能捕捉“这是一只猫”“那个人在笑”这类高级语义所以把网络最后一层池化结果当作图像语义向量是通行做法。LSTM 适合生成序列它每一步接收上一个单词的 Embedding 和内部状态输出下一个单词的概率分布。这里关键点是LSTM 每一步生成单词时是否要把图像特征再注入一次。常见有两种做法——只在第一步把特征作为初始状态传入或者每一步都拼接到输入侧。前一种简单但生成后期容易忘记图像后一种更稳但训练更重。这个导论项目里通常采用“特征作为初始状态”的简化版本CNN 特征经过一个 Dense 层映射成 LSTM 的初始 hidden state。如果你是第一次接触建议先跑通这个简化版再改成每一步拼接输入的 attention 版本。不要在导论作业里一上来就抢 attention时间成本会失控。3.2 可抄作业的编码器-解码器定义Keras 功能 API 写得最清晰用 Keras 定义这类模型推荐 Functional API而不是 Sequential因为这里有两个输入图像张量和已生成单词序列输出是序列中每个单词的预测概率。下面是一个基础版模型骨架from tensorflow.keras.layers import Input, Dense, LSTM, Embedding, Dropout from tensorflow.keras.models import Model from tensorflow.keras.applications import InceptionV3 IMG_SHAPE (224, 224, 3) VOCAB_SIZE 5000 # 词表总大小 EMBEDDING_DIM 256 # 每个单词的向量维度 LSTM_UNITS 512 # LSTM 隐藏单元数 MAX_CAPTION_LEN 30 # 含 start 和 end 的总长 SEQ_LEN MAX_CAPTION_LEN - 1 # 实际输入序列长度去掉 start # 图像一侧先用预训练 CNN 提特征再映射到 LSTM 初始状态 image_input Input(shapeIMG_SHAPE, nameimage_input) base InceptionV3(weightsimagenet, include_topFalse, poolingavg) image_feat base(image_input) # (None, 2048) image_feat Dropout(0.5)(image_feat) image_feat Dense(LSTM_UNITS, activationrelu)(image_feat) # (None, 512) # 文本一侧输入的是已经 token 化的单词 id 序列 seq_input Input(shape(SEQ_LEN,), nameseq_input) embedding Embedding(VOCAB_SIZE, EMBEDDING_DIM, mask_zeroTrue)(seq_input) lstm_out LSTM(LSTM_UNITS, return_sequencesTrue)( embedding, initial_state[image_feat, image_feat] ) dense_out Dense(VOCAB_SIZE, activationsoftmax)(lstm_out) model Model([image_input, seq_input], dense_out) model.compile( optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy] )这里有几个参数需要解释。VOCAB_SIZE 必须和 tokenizer 的 num_words 保持一致否则损失计算时 softmax 维度对不上。LSTM 的 initial_state 传两个向量分别对应 hidden state h 和 cell state c这里都用了同一个全连接结果是简化处理。真正的工程里一般让 h 和 c 各自经过不同的 Dense 层。Embedding 层 mask_zeroTrue 让 padding 位置不参与 LSTM 更新保证pad不会被当成真实单词学习。训练时最常见的配套技巧是 teacher forcing也就是每一步的输入都使用真实单词序列而不是模型上一步预测的词。Keras 里只要把真实描述序列 pad 成 MAX_CAPTION_LEN并让输入去掉start标签去掉end即可# 假设 caption_batch 的每一行已经 pad 成 MAX_CAPTION_LEN且包含 start 和 end X_img image_batch # (batch, 224, 224, 3) X_seq caption_batch[:, :-1] # (batch, SEQ_LEN)去掉了最后一个 end y_seq caption_batch[:, 1:] # (batch, SEQ_LEN)去掉了开头的 start model.fit([X_img, X_seq], y_seq, batch_size64, epochs30, validation_split0.2)按这个写法每个时间步的标签就是“下一个词”。训练时 loss 会下降得比较快因为模型每一步都拿着正确答案在生成。真正到了推理阶段没有正确答案就必须自己循环生成。这也是很多导论项目的训练代码跑得挺顺但生成句子不可读的原因——推理循环写得太糙。3.3 生成描述贪心搜索与 beam search 的取舍推理时最土的方法是贪心搜索每一步只取预测概率最高的单词。优点是快缺点是错一步、后面全跑偏生成结果经常出现“cat cat cat”这种重复。更稳的做法是 beam search保留 top-k 个候选序列每步继续扩展并打分。考虑到导论课的规模建议写一个简单 beam searchbeam_width 取 3 或 5 就够一共没几十行还能写进报告当亮点。def beam_search_predict(image_feat, tokenizer, max_len30, beam_width3): start tokenizer.word_index[start] candidates [([start], 0.0)] for _ in range(max_len): all_cands [] for seq, score in candidates: # 生成时每次都要把当前序列 pad 到 SEQ_LEN 再丢进模型 padded_seq keras.preprocessing.sequence.pad_sequences( [seq], maxlenSEQ_LEN, paddingpost ) # 模型输入 [图片特征, 填充后的词序列]输出 (1, SEQ_LEN, VOCAB) preds model.predict([image_feat, padded_seq], verbose0)[0, len(seq)-1] top_idx np.argsort(preds)[-beam_width:] for idx in top_idx: new_seq seq [idx] new_score score np.log(preds[idx] 1e-8) all_cands.append((new_seq, new_score)) # 只保留分数最高的 beam_width 个候选 candidates sorted(all_cands, keylambda x: x[1], reverseTrue)[:beam_width] best_seq sorted(candidates, keylambda x: x[1], reverseTrue)[0][0] return tokenizer.sequences_to_texts([best_seq])[0]真正落地时需要根据 Keras 返回维度处理好序列长度每次加入新词后重新 pad 到 SEQ_LEN并确保预测位置和当前序列长度对齐。beam score 用 log 概率相加是为了防止数值下溢。这里 beam_width3 很合适太宽会成倍增加推理时间在导论课数据量下收益也不明显。4. 微表情识别Haar 级联先找人脸CNN 再分情绪4.1 Haar 级联的角色先缩小检测范围再谈情绪分类情绪分类如果直接拿整张图去做会被背景干扰。人脸区域的像素分布相对稳定所以第一步是把人脸位置找出来。Haar 级联是 OpenCV 里传统目标检测方法用大量正负样本训练出多个弱分类器再级联成强分类器。模型文件就是 haarcascade_frontalface_default.xml里面存的是分类器参数不像深度模型那样要反向传播。它跑得飞快CPU 上也能轻松处理视频流适合导论项目。缺点是检测框不精确会有大量重叠框而且表情很大时框不一定正好容纳整张脸。所以使用 detectMultiScale 之后要加一个简单后处理按面积筛选只保留最大的人脸框。import cv2 face_cascade cv2.CascadeClassifier(haarcascade_frontalface_default.xml) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, scaleFactor1.15, minNeighbors5) if len(faces) 0: max_area 0 best_face None for (x, y, w, h) in faces: area w * h if area max_area: max_area area best_face (x, y, w, h)参数上scaleFactor 越小搜索层数越多精度越高但速度越慢。如果漏检优先把 minNeighbors 从 5 降到 3而不是去动 scaleFactor。minSize 设成 (48, 48)是因为后面表情分类器的输入是 48 分辨率小于这个尺寸的人脸信息已经被压缩得没法分类了。4.2 人脸裁剪、灰度化与数据归一化这几步直接影响准确率表情分类器在 FER2013 这类数据集上训练时会把图片统一成 48x48 灰度图像素值缩放到 0~1。如果你从原图裁出来的脸是彩色、大小不定直接塞进去会严重拉低精度。所以预处理管线要固化下来def preprocess_face(face_bgr, target_size(48, 48)): gray cv2.cvtColor(face_bgr, cv2.COLOR_BGR2GRAY) resized cv2.resize(gray, target_size, interpolationcv2.INTER_AREA) normalized resized.astype(float32) / 255.0 # 转成 Keras 需要的 (height, width, channel) 且带 batch 维度 return normalized.reshape(1, target_size[0], target_size[1], 1)这里的 interpolation 值得注意缩小图片用 INTER_AREA 能保留更多结构信息放大图片用 INTER_LINEAR 更平滑。很多人的表情识别准确率上不去不是因为模型太弱而是因为从 Haar 框里切出来的区域直接 resize没做灰度化也没归一化。颜色对基础情绪分类并不重要反而 RGB 通道会增加过拟合风险。4.3 七分类 CNN参数别贪多导论项目要的是稳定微表情识别本质是一个图像分类问题类别通常有七种生气、厌恶、恐惧、开心、难过、惊讶、中性。考虑到训练数据量不大CNN 不宜太深卷积核数量也要克制。下面是一个可靠的四层卷积基础结构from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout, BatchNormalization emotion_model Sequential([ Conv2D(32, (3, 3), activationrelu, paddingsame, input_shape(48, 48, 1)), BatchNormalization(), MaxPooling2D((2, 2)), Conv2D(64, (3, 3), activationrelu, paddingsame), BatchNormalization(), MaxPooling2D((2, 2)), Conv2D(128, (3, 3), activationrelu, paddingsame), BatchNormalization(), MaxPooling2D((2, 2)), Flatten(), Dense(128, activationrelu), Dropout(0.5), Dense(7, activationsoftmax) ]) emotion_model.compile(optimizeradam, losscategorical_crossentropy, metrics[accuracy])BatchNormalization 放在 Conv 和激活之后、池化之前为了缓解梯度消失也让学习率可以稍微调大。Dropout 放在全连接层防止小数据集上过拟合。FER2013 里 happy 和 neutral 偏多surprise 和 disgust 偏少分类不均衡时要在 fit 的 class_weight 参数里给少数类别加权。训练时建议配合数据增强比如随机水平翻转、小幅旋转、亮度变化。注意表情和文字不同左右翻转不影响语义可以放心做。数据增强要放在预处理管线之后不要直接对原图增强否则 Haar 定位框又要重算徒增耗时。5. 避坑指南训练和推理阶段最容易翻车的五个地方5.1 现象训练 loss 不降但验证集准确率还在涨很多同学把导论项目第一次跑完 30 个 epoch看到 training loss 没怎么动就以为代码写错了。实际上在 LSTM 序列生成里loss 是逐词交叉熵的累加值数值天然比分类任务大下降曲线也没有 CNN 那么平滑。这里“验证集准确率在涨”通常是每个时间步 top-1 的概率与标签匹配率它和最后生成句子的 BLEU 评分是两码事别拿准确率安慰自己。原因一般有两个一是图片特征没有正确进入 LSTM 初始状态比如 Dense 层输出维度跟 LSTM_UNITS 不一致Keras 不报错但其实没学到图像信息二是训练数据里 padding 了太多无效词Embedding 层没设置 mask_zeroTrue导致pad也被当真实单词参与梯度更新。解决方法是自上而下排查。先用 model.summary() 打印模型确认 image_input 到 LSTM 路径上 tensor 形状确实是 (batch, LSTM_UNITS)再单独跑一个 3 个 batch、10 个 epoch 的极短训练如果 loss 一直不降就用一个固定测试输入观察预测分布有没有跟着 batch 数据变化。一个小技巧是初始化权重前固定随机种子这样可以复现同一个结果排错时会轻松很多。5.2 现象Haar 级联把肩膀、手掌也当成脸表情输出全乱在一张多人合照或者带肤色的背景图里检测框会突然多出好几个后边 emotion_model 逐一分类就会输出一堆离谱标签。原因是 Haar 级联由弱分类器叠加而成对正脸正面鲁棒一旦出现偏侧脸、手部或浅色背景置信度就会变得不可靠。解决思路是加后处理过滤器不只看面积还要看宽高比和人脸框的上下文。通常成年人脸宽高比在 0.7 到 1.3 之间脖子到肩膀的误检往往又宽又扁手部则多是细长型号。下面这段代码放在 detectMultiScale 之后def filter_faces(faces, img_width, img_height): valid [] for (x, y, w, h) in faces: aspect w / h if not (0.7 aspect 1.3): continue if x 0 or y 0 or x w img_width or y h img_height: continue valid.append((x, y, w, h)) return valid这里限制宽高比和越界核心是减少“背景噪声进入分类器”。你甚至可以再加一个条件人脸区域的平均像素方差不能太小纯色窗帘区域会因为方差过低直接被排除。这种传统图像处理技巧和深度学习不冲突导论课上用起来很讨巧。另外如果干净背景上依然误检优先把 minNeighbors 调到 6而不是去减 scaleFactor。scaleFactor 太小会让检测层数变多误检和耗时同时上升对演示环境并不友好。5.3 现象生成的描述句子反反复复是同一个词这基本是所有序列生成项目的通病。用贪心搜索时模型一旦在某个词上置信度超高预测下一个词还是同一个词于是输出变成“cat cat cat”。根本原因是训练时 teacher forcing 只让模型见过真值推理时模型拿自己上一步的错误输出作为输入误差一路传播这叫“暴露偏差”。解决第一步是改用 beam search前面已经演示过。如果嫌 beam search 代码量大可以加一个非常简洁的重复惩罚decoded_ids [] for step in range(max_len): logits model_step(image_feat, decoded_ids) # 拿到(1, VOCAB)概率 for idx in decoded_ids: logits[0][idx] * 0.7 # 惩罚已经出现过的词 next_id np.argmax(logits, axis-1) decoded_ids.append(next_id) if next_id tokenizer.word_index[end]: break这段代码让已生成词的概率缩水迫使模型选择其他词。惩罚系数 0.7 是我试下来比较稳的太大会导致句子生硬太小不解决问题。如果用了 beam search 还重复就检查一下你的 beam 是否在不知道end的情况下无限制展开很多实现会把end的概率也加入打分导致它永远排后面。5.4 现象Keras/TensorFlow 版本混用加载 checkpoint 直接报错项目里那个 FacialExpressionRecognition-checkpoint.ipynb名字带 checkpoint但它可能只是保存了某些层的权重而不是完整模型。如果你把这个文件放到新环境里用 model.load_weightsTensorFlow 2.x 会提示 expected input_shape 之类错误这时很容易一脸懵。原因是旧版本 TensorFlow 保存的层名、权重名和新版本不完全一致尤其是 Keras 内置的 InceptionV3每次版本升级权重名字会有细微变化。如果保存的是 h5 权重没保存 optimizer 状态即便加回各层也会发现训练时的准确率曲线对不上。解决方法是不要指望别人给的 checkpoint直接用自己的数据集重新训练。如果时间不够正确做法是保存整个模型model.save(final.h5)加载时用 tf.keras.models.load_model结构和权重一起恢复。还有在 Colab 和本地环境切换前最好都跑一下 !pip list保证 tensorflow 大版本接近。我不止一次因为本机是 2.15、Colab 是 2.11结果加载权重时排查了半小时。5.5 现象现场演示时摄像头打不开程序直接崩掉答辩演示最考验代码健壮性。你写的代码如果第一行就是 cap cv2.VideoCapture(0)讲台电脑摄像头一旦被禁用cap.isOpened() 返回 False下一行 ret, frame cap.read() 直接报错后面的情绪分类根本不会执行。原因是你没有做前置检查也没有给失败留退路。导论课评估里演示能否跑通往往比模型准确率更重要。解决方式是写一个带 fallback 的输入函数def get_image(): cap cv2.VideoCapture(0) if cap.isOpened(): ret, frame cap.read() cap.release() if ret: return frame, camera import os if os.path.exists(demo_fallback.jpg): return cv2.imread(demo_fallback.jpg), local_image raise RuntimeError(no camera and no fallback image)这样摄像头不可用时自动读取目录里的 demo_fallback.jpg 继续跑。我还会把这个逻辑延伸到模型加载阶段加载权重失败就自动换到完整模型文件再不行就从零开始跑。导论项目宁可输出结果差一点也不能在演示时黑屏。6. 进阶验证和效果调优不看测试集也能判断模型真的会了6.1 用 BLEU 做硬核量化给自己一个数字交代导论课里判断“看图说话”学得好不好不能只靠肉眼。一个非常朴素的量化指标是 BLEU它计算生成句子和参考句子的 n-gram 重合度。哪怕没有官方评测脚本也能用纯 Python 写一个简化版from collections import Counter def bleu_simple(candidate, reference, n2): c_ngrams Counter(zip(*[candidate[i:] for i in range(n)])) r_ngrams Counter(zip(*[reference[i:] for i in range(n)])) hit sum((c_ngrams r_ngrams).values()) total sum(c_ngrams.values()) return hit / total if total 0 else 0.0这一小段代码只算了 2-gram 精确率足够让你在报告里画一条对比曲线beam_width 3 比贪心高多少、加重复惩罚后又高多少。表情识别那边的验证更直接统计十张测试图的混淆矩阵你会发现模型最容易把 surprise 误判成 neutral。把握住这一点演示时就可以挑不踩雷的图。6.2 用手工样例看特征可视化确认真没背题比 BLEU 更有说服力的是把 CNN 最后一层特征图可视化或者直接打印图像描述生成时的 beam 候选列表。如果两张完全不同的图片生成的前几个候选词几乎一样说明模型更依赖语言先验而不是图像信息。这时把 LSTM_UNITS 从 512 降到 256再调高 Dropout会逼模型多看图像特征。我从拆这个项目里学到的一个习惯是每次改完超参数不要只看最后的 BLEU 数字而是固定三张相同类别的照片把生成的句子打印出来逐字对比。如果改了一个无关参数导致输出全变那不是超参优化而是训练不稳定。从那以后我每次调完模型都强制走一遍“三图两会话”的抽查流程比任何验证集指标都更能让我安心。希望这些拆解能帮到正在跟这个项目死磕的你。本文还有配套的精品资源点击获取
