简介这份PDF面向深度学习方向的研究生与算法工程师聚焦卷积神经网络的理论改进与跨领域应用。内容系统梳理了CNN的结构、训练流程及LeNet-5等经典模型并针对传统损失函数的局限引入Triplet Network正则约束提出改进型卷积神经网络算法在手写字符识别任务上验证了有效性同时将CNN提取的特征与小波散射网络特征通过向量拼接融合应用于图像检索场景为特征表示与检索精度提升提供了可复现的思路。资源包共1个PDF文件大小约1.45MB内容涵盖摘要、绪论、理论背景、改进方法与实验分析等完整章节适合作为课题入门、算法复现或论文写作的参考材料。目前已有234人学习便于读者快速把握CNN改进与多特征融合的研究脉络。1. 从一份硕士论文拆出的两条改进路线Triplet 约束与特征融合如果你手头正缺一份能把卷积神经网络从理论推导到工程改进讲透的参考资料这份《人工智能-卷积神经网络的改进及其应用》值得放进你的技术书架。它不是那种只讲 LeNet-5 结构就收尾的入门讲义而是把两条相对少见的改进路线完整走了一遍一条是在经典分类损失函数上叠加 Triplet Network 的正则约束用度量学习的思路去重塑特征空间另一条是把卷积网络提取的深层特征与小波散射网络提取的多尺度特征做向量拼接落到图像检索任务上验证。前者解决的是类内紧凑度不够、类间边界模糊的问题后者解决的是单一特征表达在纹理和结构信息上的缺失。适合正在做图像检索、细粒度分类或者想理解损失函数设计逻辑的从业者也适合拿它当毕业设计或课程大作业的参考骨架。下面按我拆解这份文档的顺序把能复现的部分、参数怎么定、哪里容易翻车逐层讲清楚。2. 卷积神经网络的结构底座从 LeNet-5 到训练流程的完整链路2.1 卷积层与池化层的参数含义这份文档在第二章把卷积神经网络拆成了输入层、卷积层、池化层、全连接层四块来讲其中卷积层和池化层是重点。卷积层的核心操作是用卷积核在输入特征图上滑动做点积卷积核的尺寸、步长、填充方式直接决定了输出特征图的空间尺寸。文档里给的公式是输出尺寸等于输入尺寸减去卷积核尺寸加上两倍填充再除以步长再加一这个公式在手动搭网络时一定要记牢不然特征图尺寸对不上后面全连接层的输入维度就会报错。池化层做的是下采样常见的是最大池化和平均池化。文档里 LeNet-5 用的是平均池化但现在的工程实践中最大池化更常见因为它在保留纹理边缘信息上表现更稳。池化窗口一般取 2×2步长也取 2这样特征图尺寸刚好减半。这里有个容易忽略的点池化层没有可学习参数但它会不可逆地丢失空间信息所以如果你的任务对位置敏感比如关键点检测池化层就不能堆太多。2.2 LeNet-5 的逐层结构与复现LeNet-5 是文档里唯一给出完整结构的经典模型它的输入是 32×32 的灰度图经过两层卷积、两层池化再接三层全连接最后输出 10 类。下面用 PyTorch 把它的结构复现出来注意原版用的是 tanh 激活和平均池化这里保持原样以便对照文档。import torch import torch.nn as nn class LeNet5(nn.Module): def __init__(self, num_classes10): super(LeNet5, self).__init__() # 第一层卷积1通道输入6个5x5卷积核padding2使输出保持32x32 self.conv1 nn.Conv2d(1, 6, kernel_size5, padding2) # 平均池化窗口2x2步长2 self.pool1 nn.AvgPool2d(kernel_size2, stride2) # 第二层卷积6通道输入16个5x5卷积核 self.conv2 nn.Conv2d(6, 16, kernel_size5) self.pool2 nn.AvgPool2d(kernel_size2, stride2) # 全连接层16*5*5 - 120 - 84 - num_classes self.fc1 nn.Linear(16 * 5 * 5, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, num_classes) self.act nn.Tanh() # 原版LeNet-5使用tanh def forward(self, x): x self.act(self.conv1(x)) # [B,6,32,32] x self.pool1(x) # [B,6,16,16] x self.act(self.conv2(x)) # [B,16,12,12] x self.pool2(x) # [B,16,5,5] x x.view(x.size(0), -1) # 展平 x self.act(self.fc1(x)) x self.act(self.fc2(x)) x self.fc3(x) return x这段代码里padding2是为了让第一层卷积后特征图保持 32×32和文档里 LeNet-5 的结构一致。view(x.size(0), -1)是展平操作把 [B,16,5,5] 变成 [B,400]这里的 400 必须和fc1的输入维度对上改网络结构时这是第一个要检查的地方。激活函数用 tanh 是忠于原版但如果你自己训练换成 ReLU 收敛会快很多代价是和文档的实验结果不能直接对比。2.3 训练流程与 BP 算法的落地文档在 2.1.3 节讲了 BP 算法核心就是链式法则反向传播误差逐层更新权重。落到代码上训练循环要写清楚前向传播、损失计算、反向传播、参数更新四步。下面是一个最小可运行的训练骨架用的是 MNIST 数据集。from torch.utils.data import DataLoader from torchvision import datasets, transforms # 数据准备MNIST是28x28需要padding到32x32以匹配LeNet-5输入 transform transforms.Compose([ transforms.Resize((32, 32)), transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_set datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) train_loader DataLoader(train_set, batch_size64, shuffleTrue) model LeNet5(num_classes10) criterion nn.CrossEntropyLoss() optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9) for epoch in range(10): model.train() for imgs, labels in train_loader: optimizer.zero_grad() outputs model(imgs) loss criterion(outputs, labels) loss.backward() # BP反向传播 optimizer.step() # 参数更新 print(fepoch {epoch}, loss {loss.item():.4f})batch_size64是常见起点显存不够就降到 32。lr0.01配合 SGD 和 momentum0.9 是 LeNet 时代的经典配置如果你换 Adam学习率要降到 1e-3 左右。Normalize里的均值和方差是 MNIST 的统计值换成自己的数据集必须重新算否则输入分布偏移会导致训练震荡。这里没有加验证集实际跑的时候建议从训练集里切 10% 出来看验证准确率不然过拟合了你还以为在收敛。3. 损失函数改进Triplet 正则约束怎么加、加在哪一层3.1 Triplet Network 的算法思路与选型理由文档第三章的核心改进是在经典卷积神经网络的损失函数基础上加上 Triplet Network 的正则约束。先说清楚 Triplet 是什么它每次取三张图一张锚点、一张同类的正样本、一张异类的负样本目标是让锚点和正样本的距离尽可能小锚点和负样本的距离尽可能大两者之间留一个边界值 margin。这个思路来自度量学习和 Softmax 这种直接分类的损失不一样它优化的是特征空间里的相对距离。为什么要在分类损失上叠加 Triplet 约束因为纯 Softmax 只保证类间可分不保证类内紧凑。在手写字符这种类内差异大的任务上同一个数字的不同写法可能被映射到特征空间里相距很远的两个区域分类边界就会很脆弱。加上 Triplet 约束后同类样本被拉近异类样本被推远特征空间的判别性会明显提升。文档在 MNIST 上验证了这一点识别率有提升具体数值文档里有表格这里不重复。3.2 联合损失函数的实现与参数设置联合损失的形式是分类损失加上一个权重系数乘以 Triplet 损失。Triplet 损失本身有三种形式第一种是基础的合页损失第二种是带软边界的第三种是难样本挖掘的。文档没有明确说用的是哪种但从实验设置看常见做法是用带 margin 的合页损失。下面给出实现。import torch.nn.functional as F class TripletLoss(nn.Module): def __init__(self, margin1.0): super(TripletLoss, self).__init__() self.margin margin def forward(self, anchor, positive, negative): # 计算锚点与正样本、锚点与负样本的欧氏距离 pos_dist F.pairwise_distance(anchor, positive, p2) neg_dist F.pairwise_distance(anchor, negative, p2) # 合页损失max(0, pos_dist - neg_dist margin) loss torch.clamp(pos_dist - neg_dist self.margin, min0.0) return loss.mean() # 联合损失分类损失 lambda * Triplet损失 class CombinedLoss(nn.Module): def __init__(self, margin1.0, lam0.5): super(CombinedLoss, self).__init__() self.ce nn.CrossEntropyLoss() self.triplet TripletLoss(marginmargin) self.lam lam def forward(self, logits, feats, anchor_idx, pos_idx, neg_idx): ce_loss self.ce(logits, anchor_idx) # 分类损失 tri_loss self.triplet(feats[anchor_idx], feats[pos_idx], feats[neg_idx]) return ce_loss self.lam * tri_lossmargin1.0是常用起点太小了约束不起作用太大了训练初期损失降不下去。lam0.5是分类损失和 Triplet 损失的平衡系数如果 Triplet 占主导分类精度会掉如果太小特征空间又拉不开。我一般会从 0.1 开始试看验证集上的类内距离和类间距离的比值来调。pairwise_distance默认算的是 p2 的欧氏距离如果你用余弦距离要把p参数去掉换成余弦相似度计算。3.3 三元组的采样策略与训练循环改造Triplet 训练最大的坑在采样。如果随机采三元组大部分三元组满足pos_dist margin neg_dist损失为 0梯度就没了。所以要做难样本挖掘常见做法是选那些neg_dist pos_dist margin的三元组也就是让模型去学那些它当前分不开的样本。下面是一个简化的在线难样本挖掘逻辑。def mine_triplets(feats, labels, margin1.0): # feats: [B, D], labels: [B] B feats.size(0) dist_mat torch.cdist(feats, feats, p2) # 两两距离矩阵 triplets [] for i in range(B): pos_mask (labels labels[i]) (torch.arange(B) ! i) neg_mask labels ! labels[i] if pos_mask.sum() 0 or neg_mask.sum() 0: continue # 选最难的负样本距离最小的异类 neg_dist dist_mat[i][neg_mask] hardest_neg torch.argmin(neg_dist) # 选最难的正样本距离最大的同类 pos_dist dist_mat[i][pos_mask] hardest_pos torch.argmax(pos_dist) triplets.append((i, hardest_pos, hardest_neg)) return triplets这段逻辑在每个 batch 内做在线挖掘torch.cdist算的是批次内所有样本对的距离。选最难正样本和最难负样本是标准做法但要注意如果 batch 里某个类只有一个样本正样本就没了所以要保证batch_size足够大或者用 PK 采样每个 batch 选 P 个类、每类 K 个样本。训练循环里要把特征提取和分类头分开特征用于算 Triplet 损失分类头输出用于算交叉熵。4. 图像检索中的特征融合AlexNet 与小波散射怎么拼4.1 小波散射网络的特征提取原理文档第四章把卷积神经网络和小波散射网络的特征做了融合。小波散射网络是一种基于小波变换的多尺度特征提取方法它不需要训练通过一系列小波滤波和模运算、平均池化操作得到对平移和形变稳定的特征表示。和卷积网络学出来的特征相比小波散射特征在纹理、边缘这类低频结构信息上更完整而且它对旋转和尺度变化有天然的鲁棒性。为什么选小波散射而不是别的传统特征比如 SIFT 或 HOG因为小波散射是深层结构它通过多层散射变换逐级提取特征层数越深特征的抽象程度越高这和卷积网络的多层堆叠思路是一致的。而且它不需要反向传播训练在小样本场景下不会过拟合。文档里把它和 AlexNet 的特征拼接本质上是想让检索系统同时具备深层语义特征和底层纹理特征。4.2 AlexNet 特征提取与向量拼接AlexNet 的结构文档在 4.3 节有讲这里不重复。实际做特征提取时通常取最后一个全连接层之前的特征也就是 4096 维的那一层因为它的语义信息最丰富。小波散射这边用 Kymatio 库可以快速提取输出维度取决于散射层数和方向数。下面给出拼接的代码。import torch from kymatio.torch import Scattering2D # 小波散射2层散射每层8个方向输入32x32 scattering Scattering2D(J2, shape(32, 32), L8) def extract_scattering(imgs): # imgs: [B, 1, 32, 32] with torch.no_grad(): scat scattering(imgs) # 输出 [B, C, H, W] # 全局平均池化得到固定维度向量 return scat.mean(dim[2, 3]) # 假设AlexNet提取的4096维特征为 cnn_feat # 小波散射特征为 scat_feat def fuse_features(cnn_feat, scat_feat): # 归一化后拼接避免量纲差异 cnn_norm F.normalize(cnn_feat, p2, dim1) scat_norm F.normalize(scat_feat, p2, dim1) return torch.cat([cnn_norm, scat_norm], dim1)J2表示两层散射L8表示每层 8 个方向这两个参数决定了特征维度。J越大感受野越大但计算量也越大。F.normalize这一步很关键因为 AlexNet 的特征值范围和小波散射的特征值范围差很多不归一化直接拼检索时距离计算会被量纲大的那部分主导。拼接后的向量维度是 4096 加上散射特征维度如果太大会影响检索速度常见做法是再做一次 PCA 降维到 512 或 256 维。4.3 相似度计算与检索流程检索的核心是算查询图和库中所有图的相似度然后排序返回 top-k。文档 4.6 节讲了相似度计算常见的是余弦相似度和欧氏距离。特征归一化之后余弦相似度和欧氏距离是等价的所以用哪个都行。下面是一个完整的检索流程。def build_index(features): # features: [N, D] 归一化后的特征矩阵 return features def search(query_feat, index_feats, top_k10): # query_feat: [1, D] sims torch.mm(query_feat, index_feats.t()) # 余弦相似度 scores, indices torch.topk(sims, top_k, dim1) return scores, indicestorch.mm做的是矩阵乘法因为特征已经归一化结果就是余弦相似度。top_k一般取 10 到 20看你的检索库大小。如果库很大比如百万级暴力算相似度会慢常见做法是用 FAISS 建索引但文档里没有提这里也不展开。检索性能的评价指标文档里用了 mAP这个指标比准确率更能反映排序质量自己复现时建议也用它。5. 避坑与排查复现这份文档时最容易翻车的五个地方5.1 特征图尺寸对不上导致全连接层报错现象是运行时报mat1 and mat2 shapes cannot be multiplied原因是卷积和池化后的特征图尺寸算错了。解决办法是逐层打印x.shape从输入开始一层层核对或者用torchsummary把每层输出维度打出来。改网络结构时只要卷积核尺寸、步长、填充有一个变了全连接层的输入维度就要重算。5.2 Triplet 损失一直为 0 导致梯度消失现象是训练几个 epoch 后 Triplet 损失始终是 0模型没有学到任何度量信息。原因是随机采的三元组大部分已经满足pos_dist margin neg_dist损失被 clamp 到 0 了。解决办法是改成在线难样本挖掘每个 batch 内选最难的正负样本或者用 PK 采样保证每个 batch 里每类有多个样本。5.3 小波散射特征维度爆炸拖慢检索现象是拼接后的特征维度上万检索一次要好几秒。原因是J和L设得太大散射系数数量随层数和方向数指数增长。解决办法是先把J降到 2、L降到 8如果还大就做全局平均池化把空间维度压掉再不行就上 PCA 降维。检索场景下特征维度控制在 512 到 1024 之间比较合适。5.4 数据归一化参数用错导致训练不收敛现象是 loss 震荡或者一直不降验证准确率卡在随机水平。原因是Normalize里的均值和方差用的是 MNIST 的统计值但你的数据集不是 MNIST。解决办法是先用torch.utils.data遍历一遍训练集算出自定义数据集的均值和方差再填进Normalize。这个坑我踩过不止一次血泪经验就是换数据集先重算统计量。5.5 检索时特征没归一化导致距离度量失效现象是检索结果里相似图片排不到前面top-k 里混进大量不相关的图。原因是拼接前没有对两部分特征分别做 L2 归一化量纲大的那部分主导了距离计算。解决办法是在拼接前对每个特征向量做F.normalize拼接后再做一次整体归一化。这个操作不增加计算量但对检索效果影响很大。6. 进阶技巧用 mAP 验证融合特征是否真的有效6.1 mAP 的计算与对比实验设计文档在 4.7 节做了不同算法的检索性能比较用的指标是 mAP。mAP 的计算逻辑是对每个查询图按相似度排序后算平均精度 AP再对所有查询图取平均。AP 的计算是在每个相关样本的位置上算精度然后取平均。下面是一个简化的 mAP 实现。def compute_ap(ranked_labels, query_label): # ranked_labels: 按相似度排序的标签列表 # query_label: 查询图的标签 hits 0 sum_precision 0.0 for i, label in enumerate(ranked_labels): if label query_label: hits 1 sum_precision hits / (i 1) if hits 0: return 0.0 return sum_precision / hits def compute_map(all_ranked_labels, all_query_labels): aps [compute_ap(ranked, q) for ranked, q in zip(all_ranked_labels, all_query_labels)] return sum(aps) / len(aps)ranked_labels是按相似度从高到低排的标签列表hits统计到当前位置为止命中多少相关样本hits / (i 1)就是当前位置的精度。把所有命中位置的精度取平均就是 AP。这个实现假设每个查询图只有一个相关类如果你的检索任务里一个查询对应多个相关图要把label query_label换成判断是否在相关集合里。6.2 消融实验单独 CNN、单独散射、融合特征的对比要验证融合是否真的有效必须做消融实验。我一般会跑三组第一组只用 AlexNet 的 4096 维特征第二组只用小波散射特征第三组用拼接后的融合特征。每组都算 mAP如果融合特征的 mAP 比两组单独的都高说明融合有效如果只比其中一组高说明另一组特征可能是冗余的。文档里的实验结果是融合特征最优但你自己复现时数据集不同结论可能不一样所以这个对比必须做。还有一个容易忽略的点是特征权重的分配。简单拼接是等权重的但实际中 CNN 特征和散射特征的重要性可能不同。进阶做法是给两部分特征各加一个权重系数用验证集上的 mAP 来调。权重从 0.1 到 1.0 扫一遍通常能比等权重再涨一两个点。这个技巧文档里没写但我在实际项目里用过多次效果稳定。6.3 检索系统的工程化收尾最后说一个工程上的习惯。检索系统上线前我会强制走一遍完整流程用一批查询图跑检索人工看 top-10 的结果把 bad case 挑出来分析是特征问题还是相似度计算问题。如果是特征问题看是 CNN 特征没提取对还是散射参数设错了如果是相似度问题检查归一化有没有漏。这个人工检查环节比看 mAP 数值更能发现问题因为 mAP 是平均值会掩盖掉某些类别的系统性失败。从那以后我每次做完特征融合实验都强制走一遍 top-10 人工检查希望这个习惯也能帮到你。本文还有配套的精品资源点击获取
卷积神经网络改进实战：Triplet约束与特征融合
简介这份PDF面向深度学习方向的研究生与算法工程师聚焦卷积神经网络的理论改进与跨领域应用。内容系统梳理了CNN的结构、训练流程及LeNet-5等经典模型并针对传统损失函数的局限引入Triplet Network正则约束提出改进型卷积神经网络算法在手写字符识别任务上验证了有效性同时将CNN提取的特征与小波散射网络特征通过向量拼接融合应用于图像检索场景为特征表示与检索精度提升提供了可复现的思路。资源包共1个PDF文件大小约1.45MB内容涵盖摘要、绪论、理论背景、改进方法与实验分析等完整章节适合作为课题入门、算法复现或论文写作的参考材料。目前已有234人学习便于读者快速把握CNN改进与多特征融合的研究脉络。1. 从一份硕士论文拆出的两条改进路线Triplet 约束与特征融合如果你手头正缺一份能把卷积神经网络从理论推导到工程改进讲透的参考资料这份《人工智能-卷积神经网络的改进及其应用》值得放进你的技术书架。它不是那种只讲 LeNet-5 结构就收尾的入门讲义而是把两条相对少见的改进路线完整走了一遍一条是在经典分类损失函数上叠加 Triplet Network 的正则约束用度量学习的思路去重塑特征空间另一条是把卷积网络提取的深层特征与小波散射网络提取的多尺度特征做向量拼接落到图像检索任务上验证。前者解决的是类内紧凑度不够、类间边界模糊的问题后者解决的是单一特征表达在纹理和结构信息上的缺失。适合正在做图像检索、细粒度分类或者想理解损失函数设计逻辑的从业者也适合拿它当毕业设计或课程大作业的参考骨架。下面按我拆解这份文档的顺序把能复现的部分、参数怎么定、哪里容易翻车逐层讲清楚。2. 卷积神经网络的结构底座从 LeNet-5 到训练流程的完整链路2.1 卷积层与池化层的参数含义这份文档在第二章把卷积神经网络拆成了输入层、卷积层、池化层、全连接层四块来讲其中卷积层和池化层是重点。卷积层的核心操作是用卷积核在输入特征图上滑动做点积卷积核的尺寸、步长、填充方式直接决定了输出特征图的空间尺寸。文档里给的公式是输出尺寸等于输入尺寸减去卷积核尺寸加上两倍填充再除以步长再加一这个公式在手动搭网络时一定要记牢不然特征图尺寸对不上后面全连接层的输入维度就会报错。池化层做的是下采样常见的是最大池化和平均池化。文档里 LeNet-5 用的是平均池化但现在的工程实践中最大池化更常见因为它在保留纹理边缘信息上表现更稳。池化窗口一般取 2×2步长也取 2这样特征图尺寸刚好减半。这里有个容易忽略的点池化层没有可学习参数但它会不可逆地丢失空间信息所以如果你的任务对位置敏感比如关键点检测池化层就不能堆太多。2.2 LeNet-5 的逐层结构与复现LeNet-5 是文档里唯一给出完整结构的经典模型它的输入是 32×32 的灰度图经过两层卷积、两层池化再接三层全连接最后输出 10 类。下面用 PyTorch 把它的结构复现出来注意原版用的是 tanh 激活和平均池化这里保持原样以便对照文档。import torch import torch.nn as nn class LeNet5(nn.Module): def __init__(self, num_classes10): super(LeNet5, self).__init__() # 第一层卷积1通道输入6个5x5卷积核padding2使输出保持32x32 self.conv1 nn.Conv2d(1, 6, kernel_size5, padding2) # 平均池化窗口2x2步长2 self.pool1 nn.AvgPool2d(kernel_size2, stride2) # 第二层卷积6通道输入16个5x5卷积核 self.conv2 nn.Conv2d(6, 16, kernel_size5) self.pool2 nn.AvgPool2d(kernel_size2, stride2) # 全连接层16*5*5 - 120 - 84 - num_classes self.fc1 nn.Linear(16 * 5 * 5, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, num_classes) self.act nn.Tanh() # 原版LeNet-5使用tanh def forward(self, x): x self.act(self.conv1(x)) # [B,6,32,32] x self.pool1(x) # [B,6,16,16] x self.act(self.conv2(x)) # [B,16,12,12] x self.pool2(x) # [B,16,5,5] x x.view(x.size(0), -1) # 展平 x self.act(self.fc1(x)) x self.act(self.fc2(x)) x self.fc3(x) return x这段代码里padding2是为了让第一层卷积后特征图保持 32×32和文档里 LeNet-5 的结构一致。view(x.size(0), -1)是展平操作把 [B,16,5,5] 变成 [B,400]这里的 400 必须和fc1的输入维度对上改网络结构时这是第一个要检查的地方。激活函数用 tanh 是忠于原版但如果你自己训练换成 ReLU 收敛会快很多代价是和文档的实验结果不能直接对比。2.3 训练流程与 BP 算法的落地文档在 2.1.3 节讲了 BP 算法核心就是链式法则反向传播误差逐层更新权重。落到代码上训练循环要写清楚前向传播、损失计算、反向传播、参数更新四步。下面是一个最小可运行的训练骨架用的是 MNIST 数据集。from torch.utils.data import DataLoader from torchvision import datasets, transforms # 数据准备MNIST是28x28需要padding到32x32以匹配LeNet-5输入 transform transforms.Compose([ transforms.Resize((32, 32)), transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_set datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) train_loader DataLoader(train_set, batch_size64, shuffleTrue) model LeNet5(num_classes10) criterion nn.CrossEntropyLoss() optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9) for epoch in range(10): model.train() for imgs, labels in train_loader: optimizer.zero_grad() outputs model(imgs) loss criterion(outputs, labels) loss.backward() # BP反向传播 optimizer.step() # 参数更新 print(fepoch {epoch}, loss {loss.item():.4f})batch_size64是常见起点显存不够就降到 32。lr0.01配合 SGD 和 momentum0.9 是 LeNet 时代的经典配置如果你换 Adam学习率要降到 1e-3 左右。Normalize里的均值和方差是 MNIST 的统计值换成自己的数据集必须重新算否则输入分布偏移会导致训练震荡。这里没有加验证集实际跑的时候建议从训练集里切 10% 出来看验证准确率不然过拟合了你还以为在收敛。3. 损失函数改进Triplet 正则约束怎么加、加在哪一层3.1 Triplet Network 的算法思路与选型理由文档第三章的核心改进是在经典卷积神经网络的损失函数基础上加上 Triplet Network 的正则约束。先说清楚 Triplet 是什么它每次取三张图一张锚点、一张同类的正样本、一张异类的负样本目标是让锚点和正样本的距离尽可能小锚点和负样本的距离尽可能大两者之间留一个边界值 margin。这个思路来自度量学习和 Softmax 这种直接分类的损失不一样它优化的是特征空间里的相对距离。为什么要在分类损失上叠加 Triplet 约束因为纯 Softmax 只保证类间可分不保证类内紧凑。在手写字符这种类内差异大的任务上同一个数字的不同写法可能被映射到特征空间里相距很远的两个区域分类边界就会很脆弱。加上 Triplet 约束后同类样本被拉近异类样本被推远特征空间的判别性会明显提升。文档在 MNIST 上验证了这一点识别率有提升具体数值文档里有表格这里不重复。3.2 联合损失函数的实现与参数设置联合损失的形式是分类损失加上一个权重系数乘以 Triplet 损失。Triplet 损失本身有三种形式第一种是基础的合页损失第二种是带软边界的第三种是难样本挖掘的。文档没有明确说用的是哪种但从实验设置看常见做法是用带 margin 的合页损失。下面给出实现。import torch.nn.functional as F class TripletLoss(nn.Module): def __init__(self, margin1.0): super(TripletLoss, self).__init__() self.margin margin def forward(self, anchor, positive, negative): # 计算锚点与正样本、锚点与负样本的欧氏距离 pos_dist F.pairwise_distance(anchor, positive, p2) neg_dist F.pairwise_distance(anchor, negative, p2) # 合页损失max(0, pos_dist - neg_dist margin) loss torch.clamp(pos_dist - neg_dist self.margin, min0.0) return loss.mean() # 联合损失分类损失 lambda * Triplet损失 class CombinedLoss(nn.Module): def __init__(self, margin1.0, lam0.5): super(CombinedLoss, self).__init__() self.ce nn.CrossEntropyLoss() self.triplet TripletLoss(marginmargin) self.lam lam def forward(self, logits, feats, anchor_idx, pos_idx, neg_idx): ce_loss self.ce(logits, anchor_idx) # 分类损失 tri_loss self.triplet(feats[anchor_idx], feats[pos_idx], feats[neg_idx]) return ce_loss self.lam * tri_lossmargin1.0是常用起点太小了约束不起作用太大了训练初期损失降不下去。lam0.5是分类损失和 Triplet 损失的平衡系数如果 Triplet 占主导分类精度会掉如果太小特征空间又拉不开。我一般会从 0.1 开始试看验证集上的类内距离和类间距离的比值来调。pairwise_distance默认算的是 p2 的欧氏距离如果你用余弦距离要把p参数去掉换成余弦相似度计算。3.3 三元组的采样策略与训练循环改造Triplet 训练最大的坑在采样。如果随机采三元组大部分三元组满足pos_dist margin neg_dist损失为 0梯度就没了。所以要做难样本挖掘常见做法是选那些neg_dist pos_dist margin的三元组也就是让模型去学那些它当前分不开的样本。下面是一个简化的在线难样本挖掘逻辑。def mine_triplets(feats, labels, margin1.0): # feats: [B, D], labels: [B] B feats.size(0) dist_mat torch.cdist(feats, feats, p2) # 两两距离矩阵 triplets [] for i in range(B): pos_mask (labels labels[i]) (torch.arange(B) ! i) neg_mask labels ! labels[i] if pos_mask.sum() 0 or neg_mask.sum() 0: continue # 选最难的负样本距离最小的异类 neg_dist dist_mat[i][neg_mask] hardest_neg torch.argmin(neg_dist) # 选最难的正样本距离最大的同类 pos_dist dist_mat[i][pos_mask] hardest_pos torch.argmax(pos_dist) triplets.append((i, hardest_pos, hardest_neg)) return triplets这段逻辑在每个 batch 内做在线挖掘torch.cdist算的是批次内所有样本对的距离。选最难正样本和最难负样本是标准做法但要注意如果 batch 里某个类只有一个样本正样本就没了所以要保证batch_size足够大或者用 PK 采样每个 batch 选 P 个类、每类 K 个样本。训练循环里要把特征提取和分类头分开特征用于算 Triplet 损失分类头输出用于算交叉熵。4. 图像检索中的特征融合AlexNet 与小波散射怎么拼4.1 小波散射网络的特征提取原理文档第四章把卷积神经网络和小波散射网络的特征做了融合。小波散射网络是一种基于小波变换的多尺度特征提取方法它不需要训练通过一系列小波滤波和模运算、平均池化操作得到对平移和形变稳定的特征表示。和卷积网络学出来的特征相比小波散射特征在纹理、边缘这类低频结构信息上更完整而且它对旋转和尺度变化有天然的鲁棒性。为什么选小波散射而不是别的传统特征比如 SIFT 或 HOG因为小波散射是深层结构它通过多层散射变换逐级提取特征层数越深特征的抽象程度越高这和卷积网络的多层堆叠思路是一致的。而且它不需要反向传播训练在小样本场景下不会过拟合。文档里把它和 AlexNet 的特征拼接本质上是想让检索系统同时具备深层语义特征和底层纹理特征。4.2 AlexNet 特征提取与向量拼接AlexNet 的结构文档在 4.3 节有讲这里不重复。实际做特征提取时通常取最后一个全连接层之前的特征也就是 4096 维的那一层因为它的语义信息最丰富。小波散射这边用 Kymatio 库可以快速提取输出维度取决于散射层数和方向数。下面给出拼接的代码。import torch from kymatio.torch import Scattering2D # 小波散射2层散射每层8个方向输入32x32 scattering Scattering2D(J2, shape(32, 32), L8) def extract_scattering(imgs): # imgs: [B, 1, 32, 32] with torch.no_grad(): scat scattering(imgs) # 输出 [B, C, H, W] # 全局平均池化得到固定维度向量 return scat.mean(dim[2, 3]) # 假设AlexNet提取的4096维特征为 cnn_feat # 小波散射特征为 scat_feat def fuse_features(cnn_feat, scat_feat): # 归一化后拼接避免量纲差异 cnn_norm F.normalize(cnn_feat, p2, dim1) scat_norm F.normalize(scat_feat, p2, dim1) return torch.cat([cnn_norm, scat_norm], dim1)J2表示两层散射L8表示每层 8 个方向这两个参数决定了特征维度。J越大感受野越大但计算量也越大。F.normalize这一步很关键因为 AlexNet 的特征值范围和小波散射的特征值范围差很多不归一化直接拼检索时距离计算会被量纲大的那部分主导。拼接后的向量维度是 4096 加上散射特征维度如果太大会影响检索速度常见做法是再做一次 PCA 降维到 512 或 256 维。4.3 相似度计算与检索流程检索的核心是算查询图和库中所有图的相似度然后排序返回 top-k。文档 4.6 节讲了相似度计算常见的是余弦相似度和欧氏距离。特征归一化之后余弦相似度和欧氏距离是等价的所以用哪个都行。下面是一个完整的检索流程。def build_index(features): # features: [N, D] 归一化后的特征矩阵 return features def search(query_feat, index_feats, top_k10): # query_feat: [1, D] sims torch.mm(query_feat, index_feats.t()) # 余弦相似度 scores, indices torch.topk(sims, top_k, dim1) return scores, indicestorch.mm做的是矩阵乘法因为特征已经归一化结果就是余弦相似度。top_k一般取 10 到 20看你的检索库大小。如果库很大比如百万级暴力算相似度会慢常见做法是用 FAISS 建索引但文档里没有提这里也不展开。检索性能的评价指标文档里用了 mAP这个指标比准确率更能反映排序质量自己复现时建议也用它。5. 避坑与排查复现这份文档时最容易翻车的五个地方5.1 特征图尺寸对不上导致全连接层报错现象是运行时报mat1 and mat2 shapes cannot be multiplied原因是卷积和池化后的特征图尺寸算错了。解决办法是逐层打印x.shape从输入开始一层层核对或者用torchsummary把每层输出维度打出来。改网络结构时只要卷积核尺寸、步长、填充有一个变了全连接层的输入维度就要重算。5.2 Triplet 损失一直为 0 导致梯度消失现象是训练几个 epoch 后 Triplet 损失始终是 0模型没有学到任何度量信息。原因是随机采的三元组大部分已经满足pos_dist margin neg_dist损失被 clamp 到 0 了。解决办法是改成在线难样本挖掘每个 batch 内选最难的正负样本或者用 PK 采样保证每个 batch 里每类有多个样本。5.3 小波散射特征维度爆炸拖慢检索现象是拼接后的特征维度上万检索一次要好几秒。原因是J和L设得太大散射系数数量随层数和方向数指数增长。解决办法是先把J降到 2、L降到 8如果还大就做全局平均池化把空间维度压掉再不行就上 PCA 降维。检索场景下特征维度控制在 512 到 1024 之间比较合适。5.4 数据归一化参数用错导致训练不收敛现象是 loss 震荡或者一直不降验证准确率卡在随机水平。原因是Normalize里的均值和方差用的是 MNIST 的统计值但你的数据集不是 MNIST。解决办法是先用torch.utils.data遍历一遍训练集算出自定义数据集的均值和方差再填进Normalize。这个坑我踩过不止一次血泪经验就是换数据集先重算统计量。5.5 检索时特征没归一化导致距离度量失效现象是检索结果里相似图片排不到前面top-k 里混进大量不相关的图。原因是拼接前没有对两部分特征分别做 L2 归一化量纲大的那部分主导了距离计算。解决办法是在拼接前对每个特征向量做F.normalize拼接后再做一次整体归一化。这个操作不增加计算量但对检索效果影响很大。6. 进阶技巧用 mAP 验证融合特征是否真的有效6.1 mAP 的计算与对比实验设计文档在 4.7 节做了不同算法的检索性能比较用的指标是 mAP。mAP 的计算逻辑是对每个查询图按相似度排序后算平均精度 AP再对所有查询图取平均。AP 的计算是在每个相关样本的位置上算精度然后取平均。下面是一个简化的 mAP 实现。def compute_ap(ranked_labels, query_label): # ranked_labels: 按相似度排序的标签列表 # query_label: 查询图的标签 hits 0 sum_precision 0.0 for i, label in enumerate(ranked_labels): if label query_label: hits 1 sum_precision hits / (i 1) if hits 0: return 0.0 return sum_precision / hits def compute_map(all_ranked_labels, all_query_labels): aps [compute_ap(ranked, q) for ranked, q in zip(all_ranked_labels, all_query_labels)] return sum(aps) / len(aps)ranked_labels是按相似度从高到低排的标签列表hits统计到当前位置为止命中多少相关样本hits / (i 1)就是当前位置的精度。把所有命中位置的精度取平均就是 AP。这个实现假设每个查询图只有一个相关类如果你的检索任务里一个查询对应多个相关图要把label query_label换成判断是否在相关集合里。6.2 消融实验单独 CNN、单独散射、融合特征的对比要验证融合是否真的有效必须做消融实验。我一般会跑三组第一组只用 AlexNet 的 4096 维特征第二组只用小波散射特征第三组用拼接后的融合特征。每组都算 mAP如果融合特征的 mAP 比两组单独的都高说明融合有效如果只比其中一组高说明另一组特征可能是冗余的。文档里的实验结果是融合特征最优但你自己复现时数据集不同结论可能不一样所以这个对比必须做。还有一个容易忽略的点是特征权重的分配。简单拼接是等权重的但实际中 CNN 特征和散射特征的重要性可能不同。进阶做法是给两部分特征各加一个权重系数用验证集上的 mAP 来调。权重从 0.1 到 1.0 扫一遍通常能比等权重再涨一两个点。这个技巧文档里没写但我在实际项目里用过多次效果稳定。6.3 检索系统的工程化收尾最后说一个工程上的习惯。检索系统上线前我会强制走一遍完整流程用一批查询图跑检索人工看 top-10 的结果把 bad case 挑出来分析是特征问题还是相似度计算问题。如果是特征问题看是 CNN 特征没提取对还是散射参数设错了如果是相似度问题检查归一化有没有漏。这个人工检查环节比看 mAP 数值更能发现问题因为 mAP 是平均值会掩盖掉某些类别的系统性失败。从那以后我每次做完特征融合实验都强制走一遍 top-10 人工检查希望这个习惯也能帮到你。本文还有配套的精品资源点击获取
