简介基础面料图像多分类数据集收录灯芯绒、棉麻、牛仔、皮质、轻纱五类面料图像共计1900余张并按7:3比例划分训练集与验证集面向计算机视觉初学者、算法工程师以及服装纺织领域研究者解决多类面料自动识别与分类问题。所有图片已做统一分辨率预处理可直接输入卷积神经网络、支持向量机等分类模型节省数据清洗与尺寸调整时间提升模型训练稳定性。压缩包内含1970个文件其中1969张JPG图片配合1个JSON标签文件方便构建图像分类任务的数据管线整个压缩包大小63.03MB便于下载与存储。目前该资源已有102人学习使用可支撑纺织品检测、电商材质识别、智能穿戴设备等应用场景。借助该数据集可系统实践数据读取、模型训练、精度评估等流程也可基于五类样本进行迁移学习或数据增强实验帮助学习者快速掌握图像分类实战技巧并为进一步研究模型泛化能力提供支持。1. 五类面料图像多分类数据集做自动打标之前先把这批图验明白做服装电商自动打标、面料库检索或者纺织辅料分类的时候最卡人的不是模型选型而是手里没有一张带干净标签的图。这个「基础面料灯芯绒、棉麻、牛仔、皮质、轻纱」5分类数据集压缩包里是1900多张图7:3划分好训练集和验证集专治那种“标签靠肉眼猜、图像还得自己爬”的起步阶段。我拆过不少同类资源这个包的优势是类别卡得准——五类全是服装面料里日常最高频的颗粒度够细但又不至于像“涤纶平纹/斜纹”那样分到人眼都犯迷糊。适合正在做图像多分类落地、拿它跑基线或者做迁移学习预热的人群至少能帮你省掉一整天的数据整理时间。2. 标签体系与类别边界先搞懂这五类各自长什么样2.1 五个类别的辨识特征与易混点拿到数据集第一步不是急着开训练而是先把五个类别的图像特征在脑子里过一遍。灯芯绒的辨识度主要靠纵向条纹光线斜着打的时候条纹阴影会特别明显棉麻本色偏暖灰、织物表面有粗细不匀的颗粒感很容易跟涤纶仿真麻混淆但这个数据集里只有真棉麻牛仔布的核心特征是斜纹组织加靛蓝染色表面有磨白或猫须纹皮质最难因为皮的表面可能是光滑亮面也可能是压花颗粒面遇到哑光压花皮时跟麂皮绒很像轻纱就是透视感最强的那个图像里能看到背景透过来网眼结构有时候比纹理更可靠。我拆数据集时习惯先验一遍标签有没有串类。实际看下来最容易翻车的两对是灯芯绒vs牛仔、皮质vs轻纱。灯芯绒的条绒是纵向的牛仔的斜纹是45度走向但拍照角度一歪条纹方向感会变弱皮质和轻纱在缩略图里都很暗、反光都很碎不放大看很难快速区分。所以训练之前建议做一次人工抽检每类抽20张图对照上面的特征过一遍标签干净后面训练出来的模型才不会被脏样本带偏。2.2 数据规模与类别的均衡性估算按标题标注1900多张图、5分类来算每类大约380张上下。交叉验证的时候我一般先看每类样本数是不是均衡太偏科的话模型会对样本多的类过拟合。这个包是7:3划分过的即训练集约1330张、验证集约570张——按这个规模跑图像多分类是够用的但前提是训练集里每一类也要大体均衡。因为原包是划分好的我通常会额外写一个脚本复核每个子集里的类别数量分布等于给数据集上一个保险import os from collections import Counter train_dir train val_dir val classes [corduroy, linen, denim, leather, gauze] for split in [train_dir, val_dir]: counter Counter() for cls in classes: cls_path os.path.join(split, cls) n len([f for f in os.listdir(cls_path) if f.lower().endswith((.jpg, .jpeg, .png))]) counter[cls] n total sum(counter.values()) print(f[{split}] 总数: {total}) for cls in classes: print(f {cls}: {counter[cls]} ({counter[cls]/total*100:.1f}%))这段代码做的是复核算子集分布。逻辑上先遍历训练集和验证集两个目录再对每个类统计图片后缀为 jpg、jpeg、png 的文件数最后打印每类的占比。参数理解上classes 的类别名要跟你解压后的子目录名完全一致大小写也要对齐否则 os.listdir 会定位不到路径而报错。跑完如果发现训练集和验证集的类别比例差异超过5个百分点建议重新划分。这个数据集是7:3已经划分好的状态但买来的数据仍然要以防打包时切分不均验一遍比默认信任更省事。3. 7:3 划分的落地脚本按类别分层切分是最稳的做法3.1 为什么分层采样比随机打散更稳很多人自己划分数据集时喜欢直接 random.shuffle 然后按比例切这在样本量上千的时候容易出问题。假设皮质类只有340张随机打散后可能训练集只分到230张、验证集110张比例失衡影响验证集的代表性严重时某些小类在验证集里只有不到50张评估指标的方差会大得吓人——这次跑出来准确率91%换个随机种子可能直接掉到84%。所以无论原包是否已经划分好我习惯在复现时用 sklearn 的 train_test_split 配合 stratify 参数做一次分层切分保证每类图在训练集和验证集里的比例大致都等于7:3。这个操作对1900张规模的小数据集几乎是必须的尤其是在做迁移学习实验时验证集稳定了你调 backbone 或调学习率的结论才可信。3.2 一份可复用的分层划分代码如果你是打算把这份数据集作为子模块引入自己的项目或者想重新划分成6:4对比实验可以拿下面这份脚本改。它的目标是把 images 目录下按类别子目录存放的原图按7:3分层切分后生成 train/val 结构。import os import shutil import random import argparse from sklearn.model_selection import train_test_split def split_dataset(source_dir, train_dir, val_dir, val_ratio0.3, seed42): random.seed(seed) os.makedirs(train_dir, exist_okTrue) os.makedirs(val_dir, exist_okTrue) for cls in sorted(os.listdir(source_dir)): cls_path os.path.join(source_dir, cls) if not os.path.isdir(cls_path): continue images [f for f in os.listdir(cls_path) if f.lower().endswith((.jpg, .jpeg, .png))] if not images: continue train_imgs, val_imgs train_test_split( images, test_sizeval_ratio, stratifyNone, random_stateseed ) for subset, imgs in [(train_dir, train_imgs), (val_dir, val_imgs)]: dest_cls os.path.join(subset, cls) os.makedirs(dest_cls, exist_okTrue) for img in imgs: shutil.copy2(os.path.join(cls_path, img), os.path.join(dest_cls, img)) print(f{cls}: {len(train_imgs)} train / {len(val_imgs)} val) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--source, typestr, requiredTrue, help原始图像目录) parser.add_argument(--train, typestr, defaulttrain) parser.add_argument(--val, typestr, defaultval) parser.add_argument(--val-ratio, typefloat, default0.3) parser.add_argument(--seed, typeint, default42) args parser.parse_args() split_dataset(args.source, args.train, args.val, args.val_ratio, args.seed)这段脚本的逻辑是遍历源目录下每个类别文件夹收集所有图片文件名然后用 train_test_split 按 30% 的比例切出验证集再逐类 copy 到目标目录。参数理解上val_ratio 控制切分比例想改成 8:2 就传 0.2seed 用于固定随机序列复现实验结果时强制同一批图进同一个子集。要注意的是这里我没有给 stratify 传值因为循环里已经在按类别独立划分了天然是分层状态。如果是整个目录的文件拍平后再一次性切分才需要给 stratify 传类别标签数组。如果某个类别的图片数特别少比如低于30张建议单独抽出来做人工评估不要硬塞进验证集。3.3 划分完成后的目录检查清单划分完不要急着训练先看一眼目录结构是否跟训练框架的 ImageFolder 预期一致。最常见的结构是dataset/ ├── train/ │ ├── corduroy/ │ ├── linen/ │ ├── denim/ │ ├── leather/ │ └── gauze/ └── val/ ├── corduroy/ ├── linen/ ├── denim/ ├── leather/ └── gauze/torchvision 的 datasets.ImageFolder 就是按这个结构读标签的类名排序按字符串走所以目录命名最好只用小写字母加下划线不要用中文或空格。如果你用的是 TensorFlow 的 image_dataset_from_directory那要额外留意类名排序问题——官方 API 默认按字母序映射除类标签目录顺序变动不会影响映射但训练脚本里打印的 class_indices 一定要核对一遍不然模型的预测索引跟真实类别错位的时候排查起来很恶心。4. 五分类训练基线用 ResNet18 验证这份数据集的可用性4.1 为什么在小规模数据上用 ResNet18 而非更大网络1900多张的数据规模对深度学习模型来说属于轻量级。这个规模下直接上 ResNet50、EfficientNet-B3 这类深网络除非你在 ImageNet 预训练权重上做全参数微调否则极易过拟合——训练集准确率冲到98%验证集卡在86%上不去。我在这类资源上跑基线的习惯是先上 ResNet18 加 ImageNet 预训练权重把分类头改成5输出只微调最后两层加分类头等到验证集准确率稳定在90%上下再考虑要不要换成 ResNet50 做对比实验。ResNet18 在这个场景下有几个明确优势模型小、前向推理快GTX 1660 级别的卡就能在几分钟内跑一个 epoch结构足够深能提取到灯芯绒条纹、牛仔斜纹这类中等复杂度纹理特征而且预训练权重的底子可以保证收敛速度快省掉漫长的调参过程。如果你手里没有 GPU用 CPU 跑 ResNet18一个 epoch 大约慢3-5倍但也不是跑不动就是别把 epoch 数设太大。4.2 PyTorch 训练代码与关键参数解析这里给一份我常用的训练脚本框架输入输出做了最简处理重点在于参数怎么设、每段在干什么复制后改下路径就能用。import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import datasets, transforms, models # 数据增强轻度几何变换颜色扰动防止面料纹理过拟合 train_ts transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.RandomAffine(degrees8, translate(0.05, 0.05)), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_ts transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_ds datasets.ImageFolder(train, transformtrain_ts) val_ds datasets.ImageFolder(val, transformval_ts) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4) val_loader DataLoader(val_ds, batch_size32, shuffleFalse, num_workers4) # 加载预训练模型替换分类头为5类输出 model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) in_features model.fc.in_features model.fc nn.Linear(in_features, 5) device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30) # 只训练分类头和最后一层卷积块的参数加快收敛 for name, param in model.named_parameters(): if layer4 not in name and fc not in name: param.requires_grad False epochs 30 for epoch in range(epochs): model.train() total_loss, correct, total 0, 0, 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) _, preds torch.max(outputs, 1) correct (preds labels).sum().item() total labels.size(0) model.eval() val_correct, val_total 0, 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, preds torch.max(outputs, 1) val_correct (preds labels).sum().item() val_total labels.size(0) scheduler.step() print(fEpoch {epoch1}/{epochs} | fTrain Loss: {total_loss/total:.4f} | fTrain Acc: {correct/total:.4f} | fVal Acc: {val_correct/val_total:.4f})逻辑上的关键点有三处。第一数据增强里的 ColorJitter 对皮质类影响很大饱和度拉高会让黑色皮面的反光变得更难分辨所以 brightness 和 contrast 设得保守一点0.2 的幅度足够提升泛化能力又不会扭曲类别特征。第二冻结 layer4 之前的所有参数是典型的迁移学习做法对1900多张的小数据集来说微调全部参数很容易把预训练学到的纹理基底给冲掉。第三CosineAnnealingLR 配合 30 个 epoch 能在后期平稳收敛比固定学习率在最后几个 epoch 更不容易出现验证集震荡。参数设置上lr 1e-3 对微调是稳妥起步值如果你只训练分类头不管特征层可以提高到 5e-3收敛更快weight_decay 1e-4 用来压制过拟合针对面料这种纹理重复度高的数据特别有效。batch_size 32 是兼顾显存和 BN 稳定性的选择换到 16 会让 BN 的统计量波动变大。4.3 训练过程中观察哪些指标跑起来以后每轮日志输出里我们只盯三个数训练损失、训练准确率、验证准确率。训练损失下降、训练准确率同步上升属于正常训练准确率很高但验证准确率徘徊在低位说明过拟合了把它压下去的手段按优先级排序是把 layer4 也冻结只训练 fc 分类头增强 RandomAffine 的平移幅度加大 weight_decay。验证准确率如果出现大起大落往往不是模型问题而是验证集本身太小导致单 batch 的偶发误差被放大。这时候多跑几个不同的 seed 取平均或者把验证集改成按类分 batch 统计再汇总都比急着换模型靠谱。5. 避坑排查训练五类面料时最容易翻车的四个地方5.1 皮质类老是跟深色牛仔混淆现象验证集里皮质和牛仔互相分错尤其是黑色哑光皮面对上深蓝色水洗牛仔预测置信度接近五五开。原因两种面料的全局颜色都很深预训练网络在 ImageNet 上见过大量深色物体但没见过“皮面高光牛仔磨白”这类组合特征导致特征提取偏向颜色而非纹理。解决在数据增强里加入高斯模糊或者随机灰度化让模型被迫去学局部纹理而不是直接拿颜色做捷径判断。我一般会以 30% 概率对输入图做随机灰度化皮质和牛仔在灰度图下依然有明显差异——皮面高光是锐利的、牛仔斜纹是有方向性的。5.2 轻纱类被背景干扰带偏现象训练集里轻纱类很多图的背景是白色或浅灰的桌面模型直接学到了“浅色背景就是轻纱”换到深色背景的真实拍摄图后准确率骤降。原因轻纱类因为透视感强背景占比天然高模型很容易把大面积背景色当作判别特征。解决训练时轻纱类单独加一个 RandomErasing 增强以一定概率随机擦除图像中间的矩形区域强迫模型去关注纱线的网格纹理而不是背景。同时调大 RandomAffine 的旋转角度让纱线纹理的方向变化更大减少方向性过拟合。5.3 训练集准确率接近100%、验证集只有88%左右现象训练进行到第20个epoch左右训练集准确率已经到99%验证集却一直卡在88%上下之后几个epoch也不涨。原因1900张图的规模不大模型容量相对过剩训练集背得动、验证集没见过的新纹理组合就露馅。解决把冻结边界往上提只训练最后的 fc 层同时把 weight_decay 从 1e-4 加大到 5e-4。如果验证集还是不动检查是不是训练集和验证集的图像来源分布不一致——比如训练集里灯芯绒全是细条纹、验证集里全是粗条纹这种情况靠调参救不回来只能换一个更细粒度的类别定义。5.4 类别子目录名不一致导致预测结果错位现象训练时准确率很高但真实预测时把灯芯绒图片输出成了贝叶斯风格或者标签索引莫名其妙错位。原因训练脚本里手写的 classes 顺序和数据集 ImageFolder 实际生成的 class_to_idx 不一致常见于手动修改目录名后忘了重新打印映射。解决每次训练前强制打印 model 的 class_to_idx 并人工核对。以 torchvision 为例train_ds.class_to_idx 输出的字典就是模型输出索引和类名的映射关系如果发现排序跟预期不一致直接在脚本里用 classes sorted(os.listdir(train)) 动态生成并据此设置最后的 Linear 输出尺寸。从那以后我每次换数据集都会强制走一遍这个验证流程方法就是拿它跑推理贴三个不同类的真实样本看输出索引。6. 用混淆矩阵和 Grad-CAM 热力图验收模型看它靠什么做判断训练完成后验证集准确率告诉你“对不对”但没告诉你“为什么对”。对五分类面料模型我建议跑两个验收环节一是混淆矩阵把错误配对看得更细二是 Grad-CAM 热力图确认模型聚焦的是面料纹理而不是背景或拍摄道具。混淆矩阵用 sklearn 就能出from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay import numpy as np all_preds, all_labels [], [] with torch.no_grad(): for images, labels in val_loader: images images.to(device) outputs model(images) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) disp ConfusionMatrixDisplay(confusion_matrixcm, display_labelstrain_ds.classes) disp.plot(cmapBlues)逻辑上这段就是把验证集所有预测结果和真实标签收集齐生成 5x5 的矩阵。参数理解上display_labels 用 train_ds.classes 而非手写列表避免标签顺序错位。对对角线之外的非零项逐对看如果灯芯绒那行错分到牛仔的格子数量超过总量15%说明这两类特征距离太近需要考虑在数据增强里加入针对性的旋转变换。Grad-CAM 的代码要稍微长一点核心逻辑是钩住模型最后一个卷积层的输出from torchvision.transforms import functional as F model.eval() # 钩住 layer4 的输出和对应的梯度 feature_maps None gradients None def save_fmaps(module, input, output): global feature_maps feature_maps output.detach() def save_grads(module, grad_in, grad_out): global gradients gradients grad_out[0].detach() h1 model.layer4.register_forward_hook(save_fmaps) h2 model.layer4.register_full_backward_hook(save_grads) img, label val_ds[0] img_tensor img.unsqueeze(0).to(device).requires_grad_(True) output model(img_tensor) loss output[0, label] loss.backward() # 全局平均池化梯度再和特征图加权求和 weights gradients.mean(dim(2, 3), keepdimTrue) cam (weights * feature_maps).sum(dim1, keepdimTrue) cam F.relu(cam) cam F.interpolate(cam, size(224, 224), modebilinear, align_cornersFalse) cam_map cam.squeeze().cpu().numpy() h1.remove() h2.remove()这段的机制是回归特征图之后把梯度做全局平均得到每个通道的权重再与特征图加权求和、过 ReLU得到的就是模型重点关注区域的响应图。参数理解上register_full_backward_hook 在 PyTorch 1.8 之后用于获取梯度输出老版本用 register_backward_hook 会有签名不稳定的问题F.interpolate 的 align_cornersFalse 是配合 bilinear 上采样防止像素偏移的常见搭配。实际操作中我一般会把热力图叠到原图上看三类典型样本灯芯绒的热点应该落在条纹区域并跟随条纹方向延伸牛仔的热点应该集中在斜纹或磨白区域皮质的热点如果落在图片角落的阴影或背景上就说明模型学到的是背景而不是皮面此时训练集里皮质类的拍摄背景一定不够多样化建议对皮质类做背景抠除或者增加背景多样性。只有波形对得上纹理而不是对得上桌面边缘这个模型才真正算验收合格。有一回我训练棉麻分类时验证集准确率到了93%但就是不敢上线最后用热力图一看模型关注的全是图片右下角的水印logo位置。从那以后我每次训练完都强制走一遍 Grad-CAM 验证流程再决定能不能进测试。希望帮到你。本文还有配套的精品资源点击获取
五类面料图像多分类实战：数据集验证、训练与避坑指南
简介基础面料图像多分类数据集收录灯芯绒、棉麻、牛仔、皮质、轻纱五类面料图像共计1900余张并按7:3比例划分训练集与验证集面向计算机视觉初学者、算法工程师以及服装纺织领域研究者解决多类面料自动识别与分类问题。所有图片已做统一分辨率预处理可直接输入卷积神经网络、支持向量机等分类模型节省数据清洗与尺寸调整时间提升模型训练稳定性。压缩包内含1970个文件其中1969张JPG图片配合1个JSON标签文件方便构建图像分类任务的数据管线整个压缩包大小63.03MB便于下载与存储。目前该资源已有102人学习使用可支撑纺织品检测、电商材质识别、智能穿戴设备等应用场景。借助该数据集可系统实践数据读取、模型训练、精度评估等流程也可基于五类样本进行迁移学习或数据增强实验帮助学习者快速掌握图像分类实战技巧并为进一步研究模型泛化能力提供支持。1. 五类面料图像多分类数据集做自动打标之前先把这批图验明白做服装电商自动打标、面料库检索或者纺织辅料分类的时候最卡人的不是模型选型而是手里没有一张带干净标签的图。这个「基础面料灯芯绒、棉麻、牛仔、皮质、轻纱」5分类数据集压缩包里是1900多张图7:3划分好训练集和验证集专治那种“标签靠肉眼猜、图像还得自己爬”的起步阶段。我拆过不少同类资源这个包的优势是类别卡得准——五类全是服装面料里日常最高频的颗粒度够细但又不至于像“涤纶平纹/斜纹”那样分到人眼都犯迷糊。适合正在做图像多分类落地、拿它跑基线或者做迁移学习预热的人群至少能帮你省掉一整天的数据整理时间。2. 标签体系与类别边界先搞懂这五类各自长什么样2.1 五个类别的辨识特征与易混点拿到数据集第一步不是急着开训练而是先把五个类别的图像特征在脑子里过一遍。灯芯绒的辨识度主要靠纵向条纹光线斜着打的时候条纹阴影会特别明显棉麻本色偏暖灰、织物表面有粗细不匀的颗粒感很容易跟涤纶仿真麻混淆但这个数据集里只有真棉麻牛仔布的核心特征是斜纹组织加靛蓝染色表面有磨白或猫须纹皮质最难因为皮的表面可能是光滑亮面也可能是压花颗粒面遇到哑光压花皮时跟麂皮绒很像轻纱就是透视感最强的那个图像里能看到背景透过来网眼结构有时候比纹理更可靠。我拆数据集时习惯先验一遍标签有没有串类。实际看下来最容易翻车的两对是灯芯绒vs牛仔、皮质vs轻纱。灯芯绒的条绒是纵向的牛仔的斜纹是45度走向但拍照角度一歪条纹方向感会变弱皮质和轻纱在缩略图里都很暗、反光都很碎不放大看很难快速区分。所以训练之前建议做一次人工抽检每类抽20张图对照上面的特征过一遍标签干净后面训练出来的模型才不会被脏样本带偏。2.2 数据规模与类别的均衡性估算按标题标注1900多张图、5分类来算每类大约380张上下。交叉验证的时候我一般先看每类样本数是不是均衡太偏科的话模型会对样本多的类过拟合。这个包是7:3划分过的即训练集约1330张、验证集约570张——按这个规模跑图像多分类是够用的但前提是训练集里每一类也要大体均衡。因为原包是划分好的我通常会额外写一个脚本复核每个子集里的类别数量分布等于给数据集上一个保险import os from collections import Counter train_dir train val_dir val classes [corduroy, linen, denim, leather, gauze] for split in [train_dir, val_dir]: counter Counter() for cls in classes: cls_path os.path.join(split, cls) n len([f for f in os.listdir(cls_path) if f.lower().endswith((.jpg, .jpeg, .png))]) counter[cls] n total sum(counter.values()) print(f[{split}] 总数: {total}) for cls in classes: print(f {cls}: {counter[cls]} ({counter[cls]/total*100:.1f}%))这段代码做的是复核算子集分布。逻辑上先遍历训练集和验证集两个目录再对每个类统计图片后缀为 jpg、jpeg、png 的文件数最后打印每类的占比。参数理解上classes 的类别名要跟你解压后的子目录名完全一致大小写也要对齐否则 os.listdir 会定位不到路径而报错。跑完如果发现训练集和验证集的类别比例差异超过5个百分点建议重新划分。这个数据集是7:3已经划分好的状态但买来的数据仍然要以防打包时切分不均验一遍比默认信任更省事。3. 7:3 划分的落地脚本按类别分层切分是最稳的做法3.1 为什么分层采样比随机打散更稳很多人自己划分数据集时喜欢直接 random.shuffle 然后按比例切这在样本量上千的时候容易出问题。假设皮质类只有340张随机打散后可能训练集只分到230张、验证集110张比例失衡影响验证集的代表性严重时某些小类在验证集里只有不到50张评估指标的方差会大得吓人——这次跑出来准确率91%换个随机种子可能直接掉到84%。所以无论原包是否已经划分好我习惯在复现时用 sklearn 的 train_test_split 配合 stratify 参数做一次分层切分保证每类图在训练集和验证集里的比例大致都等于7:3。这个操作对1900张规模的小数据集几乎是必须的尤其是在做迁移学习实验时验证集稳定了你调 backbone 或调学习率的结论才可信。3.2 一份可复用的分层划分代码如果你是打算把这份数据集作为子模块引入自己的项目或者想重新划分成6:4对比实验可以拿下面这份脚本改。它的目标是把 images 目录下按类别子目录存放的原图按7:3分层切分后生成 train/val 结构。import os import shutil import random import argparse from sklearn.model_selection import train_test_split def split_dataset(source_dir, train_dir, val_dir, val_ratio0.3, seed42): random.seed(seed) os.makedirs(train_dir, exist_okTrue) os.makedirs(val_dir, exist_okTrue) for cls in sorted(os.listdir(source_dir)): cls_path os.path.join(source_dir, cls) if not os.path.isdir(cls_path): continue images [f for f in os.listdir(cls_path) if f.lower().endswith((.jpg, .jpeg, .png))] if not images: continue train_imgs, val_imgs train_test_split( images, test_sizeval_ratio, stratifyNone, random_stateseed ) for subset, imgs in [(train_dir, train_imgs), (val_dir, val_imgs)]: dest_cls os.path.join(subset, cls) os.makedirs(dest_cls, exist_okTrue) for img in imgs: shutil.copy2(os.path.join(cls_path, img), os.path.join(dest_cls, img)) print(f{cls}: {len(train_imgs)} train / {len(val_imgs)} val) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--source, typestr, requiredTrue, help原始图像目录) parser.add_argument(--train, typestr, defaulttrain) parser.add_argument(--val, typestr, defaultval) parser.add_argument(--val-ratio, typefloat, default0.3) parser.add_argument(--seed, typeint, default42) args parser.parse_args() split_dataset(args.source, args.train, args.val, args.val_ratio, args.seed)这段脚本的逻辑是遍历源目录下每个类别文件夹收集所有图片文件名然后用 train_test_split 按 30% 的比例切出验证集再逐类 copy 到目标目录。参数理解上val_ratio 控制切分比例想改成 8:2 就传 0.2seed 用于固定随机序列复现实验结果时强制同一批图进同一个子集。要注意的是这里我没有给 stratify 传值因为循环里已经在按类别独立划分了天然是分层状态。如果是整个目录的文件拍平后再一次性切分才需要给 stratify 传类别标签数组。如果某个类别的图片数特别少比如低于30张建议单独抽出来做人工评估不要硬塞进验证集。3.3 划分完成后的目录检查清单划分完不要急着训练先看一眼目录结构是否跟训练框架的 ImageFolder 预期一致。最常见的结构是dataset/ ├── train/ │ ├── corduroy/ │ ├── linen/ │ ├── denim/ │ ├── leather/ │ └── gauze/ └── val/ ├── corduroy/ ├── linen/ ├── denim/ ├── leather/ └── gauze/torchvision 的 datasets.ImageFolder 就是按这个结构读标签的类名排序按字符串走所以目录命名最好只用小写字母加下划线不要用中文或空格。如果你用的是 TensorFlow 的 image_dataset_from_directory那要额外留意类名排序问题——官方 API 默认按字母序映射除类标签目录顺序变动不会影响映射但训练脚本里打印的 class_indices 一定要核对一遍不然模型的预测索引跟真实类别错位的时候排查起来很恶心。4. 五分类训练基线用 ResNet18 验证这份数据集的可用性4.1 为什么在小规模数据上用 ResNet18 而非更大网络1900多张的数据规模对深度学习模型来说属于轻量级。这个规模下直接上 ResNet50、EfficientNet-B3 这类深网络除非你在 ImageNet 预训练权重上做全参数微调否则极易过拟合——训练集准确率冲到98%验证集卡在86%上不去。我在这类资源上跑基线的习惯是先上 ResNet18 加 ImageNet 预训练权重把分类头改成5输出只微调最后两层加分类头等到验证集准确率稳定在90%上下再考虑要不要换成 ResNet50 做对比实验。ResNet18 在这个场景下有几个明确优势模型小、前向推理快GTX 1660 级别的卡就能在几分钟内跑一个 epoch结构足够深能提取到灯芯绒条纹、牛仔斜纹这类中等复杂度纹理特征而且预训练权重的底子可以保证收敛速度快省掉漫长的调参过程。如果你手里没有 GPU用 CPU 跑 ResNet18一个 epoch 大约慢3-5倍但也不是跑不动就是别把 epoch 数设太大。4.2 PyTorch 训练代码与关键参数解析这里给一份我常用的训练脚本框架输入输出做了最简处理重点在于参数怎么设、每段在干什么复制后改下路径就能用。import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import datasets, transforms, models # 数据增强轻度几何变换颜色扰动防止面料纹理过拟合 train_ts transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.RandomAffine(degrees8, translate(0.05, 0.05)), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_ts transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_ds datasets.ImageFolder(train, transformtrain_ts) val_ds datasets.ImageFolder(val, transformval_ts) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4) val_loader DataLoader(val_ds, batch_size32, shuffleFalse, num_workers4) # 加载预训练模型替换分类头为5类输出 model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) in_features model.fc.in_features model.fc nn.Linear(in_features, 5) device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30) # 只训练分类头和最后一层卷积块的参数加快收敛 for name, param in model.named_parameters(): if layer4 not in name and fc not in name: param.requires_grad False epochs 30 for epoch in range(epochs): model.train() total_loss, correct, total 0, 0, 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) _, preds torch.max(outputs, 1) correct (preds labels).sum().item() total labels.size(0) model.eval() val_correct, val_total 0, 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, preds torch.max(outputs, 1) val_correct (preds labels).sum().item() val_total labels.size(0) scheduler.step() print(fEpoch {epoch1}/{epochs} | fTrain Loss: {total_loss/total:.4f} | fTrain Acc: {correct/total:.4f} | fVal Acc: {val_correct/val_total:.4f})逻辑上的关键点有三处。第一数据增强里的 ColorJitter 对皮质类影响很大饱和度拉高会让黑色皮面的反光变得更难分辨所以 brightness 和 contrast 设得保守一点0.2 的幅度足够提升泛化能力又不会扭曲类别特征。第二冻结 layer4 之前的所有参数是典型的迁移学习做法对1900多张的小数据集来说微调全部参数很容易把预训练学到的纹理基底给冲掉。第三CosineAnnealingLR 配合 30 个 epoch 能在后期平稳收敛比固定学习率在最后几个 epoch 更不容易出现验证集震荡。参数设置上lr 1e-3 对微调是稳妥起步值如果你只训练分类头不管特征层可以提高到 5e-3收敛更快weight_decay 1e-4 用来压制过拟合针对面料这种纹理重复度高的数据特别有效。batch_size 32 是兼顾显存和 BN 稳定性的选择换到 16 会让 BN 的统计量波动变大。4.3 训练过程中观察哪些指标跑起来以后每轮日志输出里我们只盯三个数训练损失、训练准确率、验证准确率。训练损失下降、训练准确率同步上升属于正常训练准确率很高但验证准确率徘徊在低位说明过拟合了把它压下去的手段按优先级排序是把 layer4 也冻结只训练 fc 分类头增强 RandomAffine 的平移幅度加大 weight_decay。验证准确率如果出现大起大落往往不是模型问题而是验证集本身太小导致单 batch 的偶发误差被放大。这时候多跑几个不同的 seed 取平均或者把验证集改成按类分 batch 统计再汇总都比急着换模型靠谱。5. 避坑排查训练五类面料时最容易翻车的四个地方5.1 皮质类老是跟深色牛仔混淆现象验证集里皮质和牛仔互相分错尤其是黑色哑光皮面对上深蓝色水洗牛仔预测置信度接近五五开。原因两种面料的全局颜色都很深预训练网络在 ImageNet 上见过大量深色物体但没见过“皮面高光牛仔磨白”这类组合特征导致特征提取偏向颜色而非纹理。解决在数据增强里加入高斯模糊或者随机灰度化让模型被迫去学局部纹理而不是直接拿颜色做捷径判断。我一般会以 30% 概率对输入图做随机灰度化皮质和牛仔在灰度图下依然有明显差异——皮面高光是锐利的、牛仔斜纹是有方向性的。5.2 轻纱类被背景干扰带偏现象训练集里轻纱类很多图的背景是白色或浅灰的桌面模型直接学到了“浅色背景就是轻纱”换到深色背景的真实拍摄图后准确率骤降。原因轻纱类因为透视感强背景占比天然高模型很容易把大面积背景色当作判别特征。解决训练时轻纱类单独加一个 RandomErasing 增强以一定概率随机擦除图像中间的矩形区域强迫模型去关注纱线的网格纹理而不是背景。同时调大 RandomAffine 的旋转角度让纱线纹理的方向变化更大减少方向性过拟合。5.3 训练集准确率接近100%、验证集只有88%左右现象训练进行到第20个epoch左右训练集准确率已经到99%验证集却一直卡在88%上下之后几个epoch也不涨。原因1900张图的规模不大模型容量相对过剩训练集背得动、验证集没见过的新纹理组合就露馅。解决把冻结边界往上提只训练最后的 fc 层同时把 weight_decay 从 1e-4 加大到 5e-4。如果验证集还是不动检查是不是训练集和验证集的图像来源分布不一致——比如训练集里灯芯绒全是细条纹、验证集里全是粗条纹这种情况靠调参救不回来只能换一个更细粒度的类别定义。5.4 类别子目录名不一致导致预测结果错位现象训练时准确率很高但真实预测时把灯芯绒图片输出成了贝叶斯风格或者标签索引莫名其妙错位。原因训练脚本里手写的 classes 顺序和数据集 ImageFolder 实际生成的 class_to_idx 不一致常见于手动修改目录名后忘了重新打印映射。解决每次训练前强制打印 model 的 class_to_idx 并人工核对。以 torchvision 为例train_ds.class_to_idx 输出的字典就是模型输出索引和类名的映射关系如果发现排序跟预期不一致直接在脚本里用 classes sorted(os.listdir(train)) 动态生成并据此设置最后的 Linear 输出尺寸。从那以后我每次换数据集都会强制走一遍这个验证流程方法就是拿它跑推理贴三个不同类的真实样本看输出索引。6. 用混淆矩阵和 Grad-CAM 热力图验收模型看它靠什么做判断训练完成后验证集准确率告诉你“对不对”但没告诉你“为什么对”。对五分类面料模型我建议跑两个验收环节一是混淆矩阵把错误配对看得更细二是 Grad-CAM 热力图确认模型聚焦的是面料纹理而不是背景或拍摄道具。混淆矩阵用 sklearn 就能出from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay import numpy as np all_preds, all_labels [], [] with torch.no_grad(): for images, labels in val_loader: images images.to(device) outputs model(images) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) disp ConfusionMatrixDisplay(confusion_matrixcm, display_labelstrain_ds.classes) disp.plot(cmapBlues)逻辑上这段就是把验证集所有预测结果和真实标签收集齐生成 5x5 的矩阵。参数理解上display_labels 用 train_ds.classes 而非手写列表避免标签顺序错位。对对角线之外的非零项逐对看如果灯芯绒那行错分到牛仔的格子数量超过总量15%说明这两类特征距离太近需要考虑在数据增强里加入针对性的旋转变换。Grad-CAM 的代码要稍微长一点核心逻辑是钩住模型最后一个卷积层的输出from torchvision.transforms import functional as F model.eval() # 钩住 layer4 的输出和对应的梯度 feature_maps None gradients None def save_fmaps(module, input, output): global feature_maps feature_maps output.detach() def save_grads(module, grad_in, grad_out): global gradients gradients grad_out[0].detach() h1 model.layer4.register_forward_hook(save_fmaps) h2 model.layer4.register_full_backward_hook(save_grads) img, label val_ds[0] img_tensor img.unsqueeze(0).to(device).requires_grad_(True) output model(img_tensor) loss output[0, label] loss.backward() # 全局平均池化梯度再和特征图加权求和 weights gradients.mean(dim(2, 3), keepdimTrue) cam (weights * feature_maps).sum(dim1, keepdimTrue) cam F.relu(cam) cam F.interpolate(cam, size(224, 224), modebilinear, align_cornersFalse) cam_map cam.squeeze().cpu().numpy() h1.remove() h2.remove()这段的机制是回归特征图之后把梯度做全局平均得到每个通道的权重再与特征图加权求和、过 ReLU得到的就是模型重点关注区域的响应图。参数理解上register_full_backward_hook 在 PyTorch 1.8 之后用于获取梯度输出老版本用 register_backward_hook 会有签名不稳定的问题F.interpolate 的 align_cornersFalse 是配合 bilinear 上采样防止像素偏移的常见搭配。实际操作中我一般会把热力图叠到原图上看三类典型样本灯芯绒的热点应该落在条纹区域并跟随条纹方向延伸牛仔的热点应该集中在斜纹或磨白区域皮质的热点如果落在图片角落的阴影或背景上就说明模型学到的是背景而不是皮面此时训练集里皮质类的拍摄背景一定不够多样化建议对皮质类做背景抠除或者增加背景多样性。只有波形对得上纹理而不是对得上桌面边缘这个模型才真正算验收合格。有一回我训练棉麻分类时验证集准确率到了93%但就是不敢上线最后用热力图一看模型关注的全是图片右下角的水印logo位置。从那以后我每次训练完都强制走一遍 Grad-CAM 验证流程再决定能不能进测试。希望帮到你。本文还有配套的精品资源点击获取
