简介本资源为微生物图像下真菌感染分类数据集面向从事医学图像分析、微生物检测及图像分类算法研究的学生与开发者可用于训练和评估五分类模型。数据已完成预处理可直接作为分类网络输入省去繁琐的清洗与格式转换环节。压缩包共2000个文件以1998张jpg图像为主另附1个json标注文件和1个Python可视化脚本整体约142.94MB目录按训练集与测试集划分同类图片集中存放便于快速构建数据加载流程。运行show脚本即可直观查看样本分布与图像内容json文件则给出具体类别定义。目前已有93人学习下载适合希望快速验证分类网络改进效果、开展医学图像实验的读者参考使用。1. 显微镜下的 9000 张图真菌感染图像分类数据集到底能拿来做什么手里有一批显微镜下拍的真菌感染图像约 9000 张已经标注好类别这件事的价值不在于“数据多”而在于它把医学微生物图像里最难标准化的一环——标注——提前做完了。做过医学图像的人都知道拍图不难难的是让不同的人对同一张涂片给出同样的判断。真菌的形态学特征在染色、放大倍数、光照、焦距上变化极大一张念珠菌和一张曲霉在低倍镜下可能都只是“一团东西”没有标注模型学到的就是噪声。这个数据集解决的就是这个问题它把“感染/非感染”“菌种类别”这类判断固化成了标签让你可以直接进入建模环节而不是先花两个月做标注规范。它适合三类人一是做医学图像分类研究、想找一个真实场景验证模型的人二是做辅助诊断原型、需要快速跑通 pipeline 的工程团队三是教学场景下想让学生理解“标注质量如何决定模型上限”的课程设计者。不适合的是想直接拿它做临床诊断的人——9000 张的规模、单一来源的采集条件决定了它只能作为研究和原型验证的起点不能替代多中心验证。下面从数据本身怎么读、模型怎么选、训练怎么调、坑在哪一步步拆开讲。2. 先看清数据再动手真菌感染图像的标注格式与预处理路径拿到一个标注好的图像分类数据集第一件事不是写模型而是把目录结构、标签映射、图像尺寸分布摸清楚。这一步做扎实后面能省掉大量“训练到一半发现标签对不上”的血泪经验。真菌感染图像通常来自显微镜拍摄格式以 JPG/PNG 为主尺寸从 256×256 到 2048×1536 不等标注形式可能是文件夹名即类别也可能是一份 CSV 或 JSON 映射表。2.1 目录结构与标签映射的三种常见形态分类数据集的标注落地方式常见做法有三种你需要先确认自己拿到的是哪一种形态典型结构读取方式风险点文件夹即标签train/念珠菌/xxx.jpgImageFolder直接读类别名含中文或空格易出错CSV 映射images/labels.csv自定义 Dataset路径与标签错位JSON 清单data.json含image_id与label解析后建索引编码问题导致乱码我一般会先跑一段统计脚本把类别分布、图像尺寸、通道数、损坏文件一次性查出来。类别不平衡在医学数据里几乎是必然的真菌感染数据集中某一种菌可能占 60% 以上这直接决定你后面要不要用加权采样。import os from collections import Counter from PIL import Image root data/train counter Counter() sizes [] bad [] for cls in os.listdir(root): cls_dir os.path.join(root, cls) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): fpath os.path.join(cls_dir, fname) try: with Image.open(fpath) as im: sizes.append(im.size) counter[cls] 1 except Exception as e: bad.append((fpath, str(e))) print(类别分布:, counter) print(尺寸样本:, sizes[:5]) print(损坏文件:, bad[:10])这段脚本的逻辑很直接遍历每个类别文件夹用 PIL 打开图像成功则计数并记录尺寸失败则收集到bad列表。参数上root指向你的训练集根目录如果你的数据是 CSV 形式把内层循环换成读 CSV 行即可。跑完之后重点看两个数最大类与最小类的比例以及尺寸的极值。如果最小类样本少于 100 张后面必须做重采样或强增强否则模型对这个类基本是瞎猜。2.2 预处理为什么真菌图像不能照搬 ImageNet 的归一化真菌感染图像和自然图像有一个本质差异颜色是染色带来的不是物体本身的颜色。革兰染色、荧光染色、墨汁染色下的同一菌种颜色分布完全不同。如果你直接用 ImageNet 的均值方差做归一化等于假设颜色分布一致这在多染色数据集上会掉点。常见做法是先用数据集自身的统计量算均值和方差再做标准化。另外显微镜图像常有黑色边缘、标尺、文字标注这些属于干扰区域建议在预处理阶段裁掉或做中心裁剪。尺寸统一到 224×224 或 384×384 取决于你选的骨干网络但要注意真菌的形态细节在过度下采样后会丢失如果原始图是 2048 级别直接缩到 224 可能让菌丝结构糊成一团这时候用 384 或 448 更稳。import torch from torchvision import transforms from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder # 先算数据集自身均值方差示意实际需遍历一遍 train_tf transforms.Compose([ transforms.Resize(384), transforms.CenterCrop(384), transforms.ToTensor(), transforms.Normalize(mean[0.72, 0.58, 0.65], std[0.18, 0.20, 0.19]), transforms.RandomHorizontalFlip(), transforms.RandomRotation(15), ]) dataset ImageFolder(data/train, transformtrain_tf) loader DataLoader(dataset, batch_size32, shuffleTrue, num_workers4) print(类别到索引:, dataset.class_to_idx)这里的mean和std是占位值你必须用自己的数据算出来替换。Resize(384)配合CenterCrop(384)是为了去掉边缘干扰并统一尺寸。RandomHorizontalFlip和RandomRotation(15)是医学图像里相对安全的增强因为真菌形态没有严格的上下方向。但要注意旋转角度不要开太大180 度旋转可能让某些有方向性的结构变得不自然。class_to_idx打印出来一定要核对标签错位是分类任务里最隐蔽的翻车点。3. 模型选型从 ResNet 到 Transformer9000 张图该怎么选9000 张图在图像分类里属于中等偏小规模。这个量级下模型选型直接决定你是能跑到 90% 准确率还是卡在 70% 上不去。选型不是越新越好而是要看参数量、预训练权重、以及和真菌图像特征的匹配度。3.1 卷积网络与 Transformer 在这个数据量下的真实差距ResNet 系列在 9000 张图上依然是稳妥的基线。ResNet-50 参数量约 2500 万ImageNet 预训练权重成熟微调时不容易过拟合。EfficientNet-B0 到 B3 在同等准确率下参数量更小适合显存有限的场景。ConvNeXt-Tiny 是近几年卷积网络里表现接近 Transformer 的选择结构现代预训练权重也好找。Transformer 路线里ViT-Base 直接从头训练在 9000 张图上几乎必然过拟合因为 ViT 缺少卷积的归纳偏置需要大量数据才能学好。但用 ImageNet-21k 预训练的 ViT 或 Swin Transformer微调后往往能超过 ResNet。Swin-Tiny 的层次化窗口注意力对医学图像的局部纹理比较友好是我在类似任务里会优先试的。模型参数量9000 张图微调建议适用场景ResNet-5025M冻结前两层lr1e-4快速基线EfficientNet-B312M全量微调lr5e-5显存受限ConvNeXt-Tiny28M全量微调lr1e-4追求精度Swin-Tiny28M全量微调lr2e-5纹理敏感任务ViT-Base86M必须强增强长训练数据充足时选型的判断标准很简单先用 ResNet-50 跑一个基线记录验证集准确率和混淆矩阵。如果某些类别混淆严重再换 Swin 或 ConvNeXt 看是否有提升。不要一上来就上最大的模型训练时间和调参成本会让你失去迭代节奏。3.2 用 timm 快速切换骨干网络的最小训练脚本timm库把主流骨干网络统一了接口切换模型只需要改一个字符串。下面是一个可复现的最小训练脚本包含数据加载、模型构建、训练循环和验证。import timm import torch import torch.nn as nn from torch.optim import AdamW from torch.utils.data import DataLoader from torchvision import transforms, datasets device torch.device(cuda if torch.cuda.is_available() else cpu) train_tf transforms.Compose([ transforms.Resize(384), transforms.CenterCrop(384), transforms.ToTensor(), transforms.Normalize([0.72, 0.58, 0.65], [0.18, 0.20, 0.19]), transforms.RandomHorizontalFlip(), ]) train_ds datasets.ImageFolder(data/train, transformtrain_tf) val_ds datasets.ImageFolder(data/val, transformtrain_tf) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4) val_loader DataLoader(val_ds, batch_size32, shuffleFalse, num_workers4) num_classes len(train_ds.classes) model timm.create_model(swin_tiny_patch4_window7_224, pretrainedTrue, num_classesnum_classes) model model.to(device) criterion nn.CrossEntropyLoss(label_smoothing0.1) optimizer AdamW(model.parameters(), lr2e-5, weight_decay0.05) for epoch in range(20): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() loss criterion(model(imgs), labels) loss.backward() optimizer.step() model.eval() correct, total 0, 0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels imgs.to(device), labels.to(device) pred model(imgs).argmax(dim1) correct (pred labels).sum().item() total labels.size(0) print(fepoch {epoch}, val_acc {correct/total:.4f})关键参数说明timm.create_model的第一个参数是模型名换成resnet50或convnext_tiny就能切换骨干。pretrainedTrue加载 ImageNet 权重这是小数据集微调的生命线。label_smoothing0.1缓解过拟合和标签噪声医学数据里标注边界模糊的样本不少这个参数很有用。lr2e-5是 Transformer 类模型的常见微调学习率ResNet 可以放大到 1e-4。weight_decay0.05配合 AdamW 是 Transformer 训练的标准组合。训练轮数 20 是起点实际要看验证集曲线如果还在降就继续如果震荡就降学习率。4. 训练调参与评估让 9000 张图真正跑出可用精度模型搭起来只是开始真正决定结果的是训练策略和评估方式。真菌感染图像分类有几个特殊之处类别不平衡、类间差异小、染色批次差异大。这三点决定了你不能用默认配置跑到底。4.1 类别不平衡与难样本采样策略和损失函数怎么配先看类别分布。如果最大类占比超过 50%直接用交叉熵会让模型偏向多数类。常见做法有两种一是用WeightedRandomSampler做加权采样让每个 batch 里各类别比例接近二是用 Focal Loss 或带类别权重的交叉熵让少数类的损失被放大。我一般先试加权采样因为它不改变损失函数的形式调起来直观。如果少数类的召回率还是上不去再叠加 Focal Loss。Focal Loss 的gamma参数控制对难样本的关注程度gamma2是常见起点alpha用来平衡类别可以按类别频率的倒数设置。from torch.utils.data import WeightedRandomSampler import numpy as np targets [s[1] for s in train_ds.samples] class_counts np.bincount(targets) class_weights 1.0 / class_counts sample_weights [class_weights[t] for t in targets] sampler WeightedRandomSampler(sample_weights, num_sampleslen(sample_weights), replacementTrue) train_loader DataLoader(train_ds, batch_size32, samplersampler, num_workers4)这段代码先统计每个类别的样本数取倒数作为权重再为每个样本分配权重最后用WeightedRandomSampler构造采样器。replacementTrue表示有放回采样少数类会被反复抽到。注意用了 sampler 之后shuffle必须去掉否则冲突。跑几个 epoch 后看混淆矩阵如果少数类的召回率明显提升且多数类没崩说明采样有效。4.2 评估不能只看准确率混淆矩阵与每类指标医学图像分类里准确率是最容易骗人的指标。如果 90% 的样本是同一类模型全预测这一类也能拿 90% 准确率但毫无用处。必须看混淆矩阵和每类的 precision、recall、F1。from sklearn.metrics import classification_report, confusion_matrix import seaborn as sns import matplotlib.pyplot as plt model.eval() all_preds, all_labels [], [] with torch.no_grad(): for imgs, labels in val_loader: imgs imgs.to(device) pred model(imgs).argmax(dim1).cpu().numpy() all_preds.extend(pred) all_labels.extend(labels.numpy()) print(classification_report(all_labels, all_preds, target_namestrain_ds.classes)) cm confusion_matrix(all_labels, all_preds) sns.heatmap(cm, annotTrue, fmtd, xticklabelstrain_ds.classes, yticklabelstrain_ds.classes) plt.savefig(confusion_matrix.png)classification_report会输出每类的 precision、recall、F1 和支持样本数。重点看 F1 最低的类那通常是模型最混淆的。混淆矩阵能告诉你具体是哪两类在互相误判比如念珠菌和光滑念珠菌在形态上接近模型分不清是正常的这时候要么补充这类样本要么在预处理阶段加强区分特征。target_names直接用train_ds.classes保证标签顺序一致。5. 避坑与排查真菌图像分类里最容易翻车的 5 个地方这一章是我自己在类似任务里踩过的坑按现象、原因、解决三段式写。每一条都对应真实会遇到的故障不是理论风险。现象一训练准确率 99%验证准确率 60%曲线剧烈震荡。原因通常有两个一是数据泄漏训练集和验证集里有同一张图的不同增强版本或者同一患者的图像被分到了两边二是验证集太小9000 张里如果只切了 5% 做验证指标波动会非常大。解决办法是检查文件哈希去重确保同一来源的图像只出现在一个集合里验证集至少占 15%并且按类别分层切分。现象二模型把所有样本都预测成多数类少数类召回率为 0。这是类别不平衡的典型表现。原因是没有做重采样或损失加权模型发现全预测多数类就能让损失降得最快。解决办法是先上WeightedRandomSampler再叠加类别权重的交叉熵观察少数类召回率是否上升。如果还不行检查少数类样本是否本身标注有误医学数据里少数类往往标注质量更差。现象三换了染色批次的数据后模型精度断崖式下跌。原因是模型学到了染色颜色和批次相关的伪特征而不是真菌的形态特征。解决办法是在训练时做颜色抖动增强比如随机调整亮度、对比度、饱和度或者用颜色归一化方法把不同批次的染色图像映射到同一色彩空间。更彻底的做法是加入灰度化分支强制模型关注结构而非颜色。现象四图像尺寸缩到 224 后菌丝和孢子结构糊成一团精度上不去。原因是过度下采样丢失了高频细节。真菌的形态学判别依赖菌丝分支角度、孢子排列方式这些细节224 分辨率下可能只剩几个像素。解决办法是把输入尺寸提到 384 或 448同时用RandomResizedCrop而不是直接Resize保留局部细节。如果显存不够用梯度累积或混合精度训练。现象五训练损失正常下降但验证损失从第 5 个 epoch 开始持续上升。这是过拟合的典型信号。9000 张图对 ViT 这类大模型来说偏少模型开始记忆训练样本。解决办法是加数据增强旋转、翻转、颜色抖动、随机擦除、加 dropout、加权重衰减或者换更小的模型。如果这些都不管用考虑用预训练权重更强的版本或者冻结骨干网络的前几层只训练分类头。注意医学图像分类里验证集必须按患者或样本来源分层不能随机切分。同一张涂片的不同视野如果被分到训练和验证两边指标会虚高上线后必然翻车。6. 把 9000 张图用到极致半监督与迁移学习的组合技巧9000 张标注数据在医学图像里不算少但也不算多。真正想提升精度单靠监督学习很快会碰到天花板。我一般会用两个进阶手段一是用预训练模型做特征提取再在特征上做半监督二是用自监督预训练在小数据集上先学一遍表示再微调分类头。具体做法是先用 MoCo 或 SimCLR 在全部 9000 张图包括未标注的如果你能拿到更多未标注图像更好上做自监督预训练让模型学会真菌图像的通用表示。然后把骨干网络冻结只训练分类头观察精度。如果比直接微调高说明自监督学到了有用的特征如果差不多说明数据量还不够支撑自监督。另一个技巧是伪标签先用监督模型对未标注图像预测挑置信度高的加入训练集迭代两三轮。这个方法在医学图像里效果明显但要注意置信度阈值不能太低否则错误标签会累积。验证方法上我习惯留一个独立的测试集从头到尾不参与任何训练和调参只在最后跑一次。测试集的类别分布要和真实场景一致不能人为平衡。如果测试集精度比验证集低很多说明验证集过拟合了需要重新检查切分逻辑。最后一个习惯每次实验都记录配置、随机种子、数据版本和指标用表格管理。真菌图像分类的调参空间很大没有记录两周后你就不记得哪个配置跑出过最好结果。这个习惯帮我省下了大量重复实验的时间。希望帮到你。本文还有配套的精品资源点击获取
真菌感染图像分类实战：9000张标注数据集的模型选型与训练调参指南
简介本资源为微生物图像下真菌感染分类数据集面向从事医学图像分析、微生物检测及图像分类算法研究的学生与开发者可用于训练和评估五分类模型。数据已完成预处理可直接作为分类网络输入省去繁琐的清洗与格式转换环节。压缩包共2000个文件以1998张jpg图像为主另附1个json标注文件和1个Python可视化脚本整体约142.94MB目录按训练集与测试集划分同类图片集中存放便于快速构建数据加载流程。运行show脚本即可直观查看样本分布与图像内容json文件则给出具体类别定义。目前已有93人学习下载适合希望快速验证分类网络改进效果、开展医学图像实验的读者参考使用。1. 显微镜下的 9000 张图真菌感染图像分类数据集到底能拿来做什么手里有一批显微镜下拍的真菌感染图像约 9000 张已经标注好类别这件事的价值不在于“数据多”而在于它把医学微生物图像里最难标准化的一环——标注——提前做完了。做过医学图像的人都知道拍图不难难的是让不同的人对同一张涂片给出同样的判断。真菌的形态学特征在染色、放大倍数、光照、焦距上变化极大一张念珠菌和一张曲霉在低倍镜下可能都只是“一团东西”没有标注模型学到的就是噪声。这个数据集解决的就是这个问题它把“感染/非感染”“菌种类别”这类判断固化成了标签让你可以直接进入建模环节而不是先花两个月做标注规范。它适合三类人一是做医学图像分类研究、想找一个真实场景验证模型的人二是做辅助诊断原型、需要快速跑通 pipeline 的工程团队三是教学场景下想让学生理解“标注质量如何决定模型上限”的课程设计者。不适合的是想直接拿它做临床诊断的人——9000 张的规模、单一来源的采集条件决定了它只能作为研究和原型验证的起点不能替代多中心验证。下面从数据本身怎么读、模型怎么选、训练怎么调、坑在哪一步步拆开讲。2. 先看清数据再动手真菌感染图像的标注格式与预处理路径拿到一个标注好的图像分类数据集第一件事不是写模型而是把目录结构、标签映射、图像尺寸分布摸清楚。这一步做扎实后面能省掉大量“训练到一半发现标签对不上”的血泪经验。真菌感染图像通常来自显微镜拍摄格式以 JPG/PNG 为主尺寸从 256×256 到 2048×1536 不等标注形式可能是文件夹名即类别也可能是一份 CSV 或 JSON 映射表。2.1 目录结构与标签映射的三种常见形态分类数据集的标注落地方式常见做法有三种你需要先确认自己拿到的是哪一种形态典型结构读取方式风险点文件夹即标签train/念珠菌/xxx.jpgImageFolder直接读类别名含中文或空格易出错CSV 映射images/labels.csv自定义 Dataset路径与标签错位JSON 清单data.json含image_id与label解析后建索引编码问题导致乱码我一般会先跑一段统计脚本把类别分布、图像尺寸、通道数、损坏文件一次性查出来。类别不平衡在医学数据里几乎是必然的真菌感染数据集中某一种菌可能占 60% 以上这直接决定你后面要不要用加权采样。import os from collections import Counter from PIL import Image root data/train counter Counter() sizes [] bad [] for cls in os.listdir(root): cls_dir os.path.join(root, cls) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): fpath os.path.join(cls_dir, fname) try: with Image.open(fpath) as im: sizes.append(im.size) counter[cls] 1 except Exception as e: bad.append((fpath, str(e))) print(类别分布:, counter) print(尺寸样本:, sizes[:5]) print(损坏文件:, bad[:10])这段脚本的逻辑很直接遍历每个类别文件夹用 PIL 打开图像成功则计数并记录尺寸失败则收集到bad列表。参数上root指向你的训练集根目录如果你的数据是 CSV 形式把内层循环换成读 CSV 行即可。跑完之后重点看两个数最大类与最小类的比例以及尺寸的极值。如果最小类样本少于 100 张后面必须做重采样或强增强否则模型对这个类基本是瞎猜。2.2 预处理为什么真菌图像不能照搬 ImageNet 的归一化真菌感染图像和自然图像有一个本质差异颜色是染色带来的不是物体本身的颜色。革兰染色、荧光染色、墨汁染色下的同一菌种颜色分布完全不同。如果你直接用 ImageNet 的均值方差做归一化等于假设颜色分布一致这在多染色数据集上会掉点。常见做法是先用数据集自身的统计量算均值和方差再做标准化。另外显微镜图像常有黑色边缘、标尺、文字标注这些属于干扰区域建议在预处理阶段裁掉或做中心裁剪。尺寸统一到 224×224 或 384×384 取决于你选的骨干网络但要注意真菌的形态细节在过度下采样后会丢失如果原始图是 2048 级别直接缩到 224 可能让菌丝结构糊成一团这时候用 384 或 448 更稳。import torch from torchvision import transforms from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder # 先算数据集自身均值方差示意实际需遍历一遍 train_tf transforms.Compose([ transforms.Resize(384), transforms.CenterCrop(384), transforms.ToTensor(), transforms.Normalize(mean[0.72, 0.58, 0.65], std[0.18, 0.20, 0.19]), transforms.RandomHorizontalFlip(), transforms.RandomRotation(15), ]) dataset ImageFolder(data/train, transformtrain_tf) loader DataLoader(dataset, batch_size32, shuffleTrue, num_workers4) print(类别到索引:, dataset.class_to_idx)这里的mean和std是占位值你必须用自己的数据算出来替换。Resize(384)配合CenterCrop(384)是为了去掉边缘干扰并统一尺寸。RandomHorizontalFlip和RandomRotation(15)是医学图像里相对安全的增强因为真菌形态没有严格的上下方向。但要注意旋转角度不要开太大180 度旋转可能让某些有方向性的结构变得不自然。class_to_idx打印出来一定要核对标签错位是分类任务里最隐蔽的翻车点。3. 模型选型从 ResNet 到 Transformer9000 张图该怎么选9000 张图在图像分类里属于中等偏小规模。这个量级下模型选型直接决定你是能跑到 90% 准确率还是卡在 70% 上不去。选型不是越新越好而是要看参数量、预训练权重、以及和真菌图像特征的匹配度。3.1 卷积网络与 Transformer 在这个数据量下的真实差距ResNet 系列在 9000 张图上依然是稳妥的基线。ResNet-50 参数量约 2500 万ImageNet 预训练权重成熟微调时不容易过拟合。EfficientNet-B0 到 B3 在同等准确率下参数量更小适合显存有限的场景。ConvNeXt-Tiny 是近几年卷积网络里表现接近 Transformer 的选择结构现代预训练权重也好找。Transformer 路线里ViT-Base 直接从头训练在 9000 张图上几乎必然过拟合因为 ViT 缺少卷积的归纳偏置需要大量数据才能学好。但用 ImageNet-21k 预训练的 ViT 或 Swin Transformer微调后往往能超过 ResNet。Swin-Tiny 的层次化窗口注意力对医学图像的局部纹理比较友好是我在类似任务里会优先试的。模型参数量9000 张图微调建议适用场景ResNet-5025M冻结前两层lr1e-4快速基线EfficientNet-B312M全量微调lr5e-5显存受限ConvNeXt-Tiny28M全量微调lr1e-4追求精度Swin-Tiny28M全量微调lr2e-5纹理敏感任务ViT-Base86M必须强增强长训练数据充足时选型的判断标准很简单先用 ResNet-50 跑一个基线记录验证集准确率和混淆矩阵。如果某些类别混淆严重再换 Swin 或 ConvNeXt 看是否有提升。不要一上来就上最大的模型训练时间和调参成本会让你失去迭代节奏。3.2 用 timm 快速切换骨干网络的最小训练脚本timm库把主流骨干网络统一了接口切换模型只需要改一个字符串。下面是一个可复现的最小训练脚本包含数据加载、模型构建、训练循环和验证。import timm import torch import torch.nn as nn from torch.optim import AdamW from torch.utils.data import DataLoader from torchvision import transforms, datasets device torch.device(cuda if torch.cuda.is_available() else cpu) train_tf transforms.Compose([ transforms.Resize(384), transforms.CenterCrop(384), transforms.ToTensor(), transforms.Normalize([0.72, 0.58, 0.65], [0.18, 0.20, 0.19]), transforms.RandomHorizontalFlip(), ]) train_ds datasets.ImageFolder(data/train, transformtrain_tf) val_ds datasets.ImageFolder(data/val, transformtrain_tf) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4) val_loader DataLoader(val_ds, batch_size32, shuffleFalse, num_workers4) num_classes len(train_ds.classes) model timm.create_model(swin_tiny_patch4_window7_224, pretrainedTrue, num_classesnum_classes) model model.to(device) criterion nn.CrossEntropyLoss(label_smoothing0.1) optimizer AdamW(model.parameters(), lr2e-5, weight_decay0.05) for epoch in range(20): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() loss criterion(model(imgs), labels) loss.backward() optimizer.step() model.eval() correct, total 0, 0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels imgs.to(device), labels.to(device) pred model(imgs).argmax(dim1) correct (pred labels).sum().item() total labels.size(0) print(fepoch {epoch}, val_acc {correct/total:.4f})关键参数说明timm.create_model的第一个参数是模型名换成resnet50或convnext_tiny就能切换骨干。pretrainedTrue加载 ImageNet 权重这是小数据集微调的生命线。label_smoothing0.1缓解过拟合和标签噪声医学数据里标注边界模糊的样本不少这个参数很有用。lr2e-5是 Transformer 类模型的常见微调学习率ResNet 可以放大到 1e-4。weight_decay0.05配合 AdamW 是 Transformer 训练的标准组合。训练轮数 20 是起点实际要看验证集曲线如果还在降就继续如果震荡就降学习率。4. 训练调参与评估让 9000 张图真正跑出可用精度模型搭起来只是开始真正决定结果的是训练策略和评估方式。真菌感染图像分类有几个特殊之处类别不平衡、类间差异小、染色批次差异大。这三点决定了你不能用默认配置跑到底。4.1 类别不平衡与难样本采样策略和损失函数怎么配先看类别分布。如果最大类占比超过 50%直接用交叉熵会让模型偏向多数类。常见做法有两种一是用WeightedRandomSampler做加权采样让每个 batch 里各类别比例接近二是用 Focal Loss 或带类别权重的交叉熵让少数类的损失被放大。我一般先试加权采样因为它不改变损失函数的形式调起来直观。如果少数类的召回率还是上不去再叠加 Focal Loss。Focal Loss 的gamma参数控制对难样本的关注程度gamma2是常见起点alpha用来平衡类别可以按类别频率的倒数设置。from torch.utils.data import WeightedRandomSampler import numpy as np targets [s[1] for s in train_ds.samples] class_counts np.bincount(targets) class_weights 1.0 / class_counts sample_weights [class_weights[t] for t in targets] sampler WeightedRandomSampler(sample_weights, num_sampleslen(sample_weights), replacementTrue) train_loader DataLoader(train_ds, batch_size32, samplersampler, num_workers4)这段代码先统计每个类别的样本数取倒数作为权重再为每个样本分配权重最后用WeightedRandomSampler构造采样器。replacementTrue表示有放回采样少数类会被反复抽到。注意用了 sampler 之后shuffle必须去掉否则冲突。跑几个 epoch 后看混淆矩阵如果少数类的召回率明显提升且多数类没崩说明采样有效。4.2 评估不能只看准确率混淆矩阵与每类指标医学图像分类里准确率是最容易骗人的指标。如果 90% 的样本是同一类模型全预测这一类也能拿 90% 准确率但毫无用处。必须看混淆矩阵和每类的 precision、recall、F1。from sklearn.metrics import classification_report, confusion_matrix import seaborn as sns import matplotlib.pyplot as plt model.eval() all_preds, all_labels [], [] with torch.no_grad(): for imgs, labels in val_loader: imgs imgs.to(device) pred model(imgs).argmax(dim1).cpu().numpy() all_preds.extend(pred) all_labels.extend(labels.numpy()) print(classification_report(all_labels, all_preds, target_namestrain_ds.classes)) cm confusion_matrix(all_labels, all_preds) sns.heatmap(cm, annotTrue, fmtd, xticklabelstrain_ds.classes, yticklabelstrain_ds.classes) plt.savefig(confusion_matrix.png)classification_report会输出每类的 precision、recall、F1 和支持样本数。重点看 F1 最低的类那通常是模型最混淆的。混淆矩阵能告诉你具体是哪两类在互相误判比如念珠菌和光滑念珠菌在形态上接近模型分不清是正常的这时候要么补充这类样本要么在预处理阶段加强区分特征。target_names直接用train_ds.classes保证标签顺序一致。5. 避坑与排查真菌图像分类里最容易翻车的 5 个地方这一章是我自己在类似任务里踩过的坑按现象、原因、解决三段式写。每一条都对应真实会遇到的故障不是理论风险。现象一训练准确率 99%验证准确率 60%曲线剧烈震荡。原因通常有两个一是数据泄漏训练集和验证集里有同一张图的不同增强版本或者同一患者的图像被分到了两边二是验证集太小9000 张里如果只切了 5% 做验证指标波动会非常大。解决办法是检查文件哈希去重确保同一来源的图像只出现在一个集合里验证集至少占 15%并且按类别分层切分。现象二模型把所有样本都预测成多数类少数类召回率为 0。这是类别不平衡的典型表现。原因是没有做重采样或损失加权模型发现全预测多数类就能让损失降得最快。解决办法是先上WeightedRandomSampler再叠加类别权重的交叉熵观察少数类召回率是否上升。如果还不行检查少数类样本是否本身标注有误医学数据里少数类往往标注质量更差。现象三换了染色批次的数据后模型精度断崖式下跌。原因是模型学到了染色颜色和批次相关的伪特征而不是真菌的形态特征。解决办法是在训练时做颜色抖动增强比如随机调整亮度、对比度、饱和度或者用颜色归一化方法把不同批次的染色图像映射到同一色彩空间。更彻底的做法是加入灰度化分支强制模型关注结构而非颜色。现象四图像尺寸缩到 224 后菌丝和孢子结构糊成一团精度上不去。原因是过度下采样丢失了高频细节。真菌的形态学判别依赖菌丝分支角度、孢子排列方式这些细节224 分辨率下可能只剩几个像素。解决办法是把输入尺寸提到 384 或 448同时用RandomResizedCrop而不是直接Resize保留局部细节。如果显存不够用梯度累积或混合精度训练。现象五训练损失正常下降但验证损失从第 5 个 epoch 开始持续上升。这是过拟合的典型信号。9000 张图对 ViT 这类大模型来说偏少模型开始记忆训练样本。解决办法是加数据增强旋转、翻转、颜色抖动、随机擦除、加 dropout、加权重衰减或者换更小的模型。如果这些都不管用考虑用预训练权重更强的版本或者冻结骨干网络的前几层只训练分类头。注意医学图像分类里验证集必须按患者或样本来源分层不能随机切分。同一张涂片的不同视野如果被分到训练和验证两边指标会虚高上线后必然翻车。6. 把 9000 张图用到极致半监督与迁移学习的组合技巧9000 张标注数据在医学图像里不算少但也不算多。真正想提升精度单靠监督学习很快会碰到天花板。我一般会用两个进阶手段一是用预训练模型做特征提取再在特征上做半监督二是用自监督预训练在小数据集上先学一遍表示再微调分类头。具体做法是先用 MoCo 或 SimCLR 在全部 9000 张图包括未标注的如果你能拿到更多未标注图像更好上做自监督预训练让模型学会真菌图像的通用表示。然后把骨干网络冻结只训练分类头观察精度。如果比直接微调高说明自监督学到了有用的特征如果差不多说明数据量还不够支撑自监督。另一个技巧是伪标签先用监督模型对未标注图像预测挑置信度高的加入训练集迭代两三轮。这个方法在医学图像里效果明显但要注意置信度阈值不能太低否则错误标签会累积。验证方法上我习惯留一个独立的测试集从头到尾不参与任何训练和调参只在最后跑一次。测试集的类别分布要和真实场景一致不能人为平衡。如果测试集精度比验证集低很多说明验证集过拟合了需要重新检查切分逻辑。最后一个习惯每次实验都记录配置、随机种子、数据版本和指标用表格管理。真菌图像分类的调参空间很大没有记录两周后你就不记得哪个配置跑出过最好结果。这个习惯帮我省下了大量重复实验的时间。希望帮到你。本文还有配套的精品资源点击获取
