简介这份资源面向人工智能大作业、毕业设计或课程设计的学习者聚焦遥感图像分类这一AI与地理信息系统的交叉方向帮助解决从图像预处理、特征提取到深度学习模型训练与结果后处理的完整流程理解问题。压缩包共5个文件以Python脚本为主辅以txt依赖清单、md说明文档和gitignore配置整体约6KB结构轻量便于快速上手与二次修改。内容涉及去噪增强、直方图均衡化、CNN多尺度特征学习、VGG与ResNet等模型应用以及交叉验证、数据增强、损失函数与优化器选择等训练优化要点并延伸至连通组件分析、最大置信度保留等后处理思路以及Spark、Hadoop与GPU加速的大规模处理场景。目前已有428人学习下载适合希望借助代码示例与说明文档系统梳理遥感图像分类关键环节并积累项目实践经验的学习者参考。1. 遥感图像分类大作业拆包从压缩包到能跑通的分类器遥感图像分类这个方向在人工智能大作业和毕业设计里出现的频率一直很高。原因不复杂数据公开、任务定义清晰、模型选型空间大从传统 SVM 到 CNN 再到 Transformer 都能往上套写论文有话说做演示有结果看。但真正动手时多数人卡在同一个地方——不是模型不会搭而是拿到一个压缩包后不知道里面是什么结构、数据怎么组织、标签怎么对应、跑起来报错该从哪里查。这个资源包的核心价值就在这它把遥感图像分类的完整链路打包好了包括数据集组织方式、预处理脚本、模型定义、训练入口和评估代码。适合三类人正在做人工智能大作业需要快速出结果的学生、做毕业设计需要可复现 baseline 的开发者、以及想理解遥感分类工程落地流程的从业者。下面按实际拆包和复现的顺序把每个环节讲透。2. 拆包先看目录结构数据管线与标签映射怎么对上2.1 遥感分类任务的输入输出定义遥感图像分类和普通图像分类最大的区别在数据侧。普通分类任务通常是一张图一个标签图片尺寸统一、通道数固定。遥感图像不一样来源可能是卫星多光谱影像、无人机航拍图或者公开数据集比如 UC Merced、AID、NWPU-RESISC45分辨率从 0.5 米到 30 米不等通道数可能是 RGB 三通道也可能是包含近红外波段的多通道。分类目标通常是场景类别——农田、工业区、河流、森林、住宅区这类。资源包里的数据管线一般会做三件事统一尺寸常见 224×224 或 256×256、归一化按 ImageNet 均值方差或数据集自身统计、标签编码类别名到整数索引的映射。这三步看起来简单但标签映射如果和训练时的类别顺序不一致模型训出来的准确率会直接崩掉而且不报错只是结果很差——这是最典型的玄学问题之一。2.2 目录结构与关键文件说明拿到压缩包后先别急着跑训练脚本。解压后按下面的顺序过一遍目录# 查看顶层结构 ls -la remote_sensing_classification/ # 典型输出 # data/ # 数据集目录 # train/ # 训练集 # class_0/ # 按类别分文件夹 # class_1/ # ... # val/ # 验证集 # test/ # 测试集 # models/ # 模型定义 # resnet.py # vit.py # utils/ # 工具函数 # dataset.py # Dataset 类 # transforms.py # 数据增强 # metrics.py # 评估指标 # train.py # 训练入口 # eval.py # 评估脚本 # config.yaml # 超参数配置重点看三个文件utils/dataset.py里的__getitem__返回什么、config.yaml里的num_classes和class_names是否一致、train.py里 DataLoader 的batch_size和num_workers设置。这三个地方对不上后面全是坑。2.3 标签映射的验证方法标签映射错了不会报错但准确率会异常低。验证方法很直接import os # 检查训练集类别文件夹与 config 中的 class_names 是否一致 data_dir data/train folder_names sorted(os.listdir(data_dir)) print(文件夹类别顺序:, folder_names) # 读取 config.yaml 中的 class_names import yaml with open(config.yaml, r) as f: cfg yaml.safe_load(f) print(配置类别顺序:, cfg[class_names]) # 两者必须完全一致包括顺序 assert folder_names cfg[class_names], 类别顺序不一致标签映射会出错这段代码的逻辑是os.listdir返回的顺序在不同操作系统上可能不同所以用sorted统一。然后和配置文件里的类别列表做严格比对。如果不一致要么改配置要么在 Dataset 类里显式指定class_to_idx映射。参数上注意sorted的排序规则——如果类别名包含数字比如class_2和class_10字符串排序会出问题建议用零填充命名或者自定义排序键。3. 模型选型与训练配置ResNet 还是 ViT参数怎么设3.1 遥感分类的模型选型逻辑遥感图像分类的模型选型核心看数据量和算力。数据量小于 1 万张、类别数在 10 到 30 之间时ResNet-50 预训练模型微调是最稳的选择收敛快、显存占用可控、调参经验成熟。数据量超过 5 万张或者需要捕捉全局空间关系时ViT 或 Swin Transformer 会有更好的上限但训练成本明显更高小数据集上容易过拟合。资源包里如果同时提供了 ResNet 和 ViT 的实现建议先用 ResNet 跑通全流程确认数据管线和评估指标没问题后再换 ViT 做对比实验。这样出问题时分得清是数据的问题还是模型的问题。3.2 训练脚本的关键参数训练入口一般长这样python train.py \ --config config.yaml \ --model resnet50 \ --epochs 50 \ --batch_size 32 \ --lr 0.001 \ --weight_decay 1e-4 \ --pretrained \ --output_dir runs/exp001参数说明--pretrained表示加载 ImageNet 预训练权重遥感数据集通常不大从头训很容易欠拟合--lr 0.001是 Adam 优化器的常见起点如果用 SGD 建议降到 0.01 并加 momentum--weight_decay 1e-4是正则化项防止过拟合--batch_size 32在 8GB 显存下跑 ResNet-50 的 224×224 输入基本够用显存不够就降到 16 并同步调小学习率。3.3 学习率调度与早停策略遥感分类任务里学习率调度对最终精度的影响比模型结构还大。常见做法是 CosineAnnealing 或者 StepLR。CosineAnnealing 在训练后期学习率平滑降到接近零适合固定 epoch 数的场景StepLR 每 20 个 epoch 降一次适合不确定总训练轮数时用。早停策略看验证集 loss 而不是准确率。准确率在类别不均衡时会虚高loss 更能反映模型是否还在学到东西。资源包里如果有early_stopping相关的配置项把patience设成 7 到 10min_delta设成 1e-4低于这个改善幅度就停。# 典型的早停实现逻辑 best_loss float(inf) patience_counter 0 for epoch in range(epochs): val_loss validate(model, val_loader) if val_loss best_loss - min_delta: best_loss val_loss patience_counter 0 torch.save(model.state_dict(), best_model.pth) else: patience_counter 1 if patience_counter patience: print(fEarly stopping at epoch {epoch}) break这段逻辑的关键是min_delta如果验证集 loss 只降了 1e-5不算有效改善否则容易在平台期反复保存模型浪费训练时间。4. 数据增强与类别不均衡遥感场景下的特殊处理4.1 遥感图像增强的边界通用图像增强随机裁剪、翻转、颜色抖动在遥感场景下不能无脑用。垂直翻转对航拍图通常没问题但对有明确方向性的场景比如道路、河流走向可能引入错误标签。颜色抖动也要小心多光谱图像转成 RGB 可视化后颜色和真实地物的对应关系可能被破坏过度抖动会让模型学到无关特征。资源包里如果transforms.py用了RandomHorizontalFlip和RandomVerticalFlip先确认数据集中是否存在方向敏感类别。如果有把垂直翻转的概率降到 0.1 以下或者直接关掉。4.2 类别不均衡的处理方案遥感数据集类别不均衡是常态。农田和森林可能各有几千张稀有类别可能只有几十张。处理方案有三种方案实现方式适用场景加权采样WeightedRandomSampler类别数少、不均衡程度中等损失加权CrossEntropyLoss(weight...)不均衡程度高、少数类重要数据增强对少数类做额外增强少数类样本极少加权采样的代码示例from torch.utils.data import WeightedRandomSampler import numpy as np # 统计每个类别的样本数 class_counts np.bincount(train_dataset.labels) # 计算权重样本数越少权重越高 weights 1.0 / class_counts sample_weights weights[train_dataset.labels] sampler WeightedRandomSampler( weightssample_weights, num_sampleslen(sample_weights), replacementTrue ) train_loader DataLoader( train_dataset, batch_size32, samplersampler, # 注意用了 sampler 就不能再设 shuffleTrue num_workers4 )参数说明replacementTrue表示有放回采样少数类会被重复抽到num_samples设成和数据集大小一致保证每个 epoch 看到的样本总数不变。注意sampler和shuffle不能同时用设了 sampler 之后 shuffle 必须为 False否则 PyTorch 会报错。4.3 验证集和测试集的评估指标选择类别不均衡时总体准确率Overall Accuracy会偏向多数类。更合理的指标是宏平均 F1macro-F1和 Kappa 系数。资源包的metrics.py里如果只实现了 accuracy建议补上这两个from sklearn.metrics import f1_score, cohen_kappa_score def compute_metrics(y_true, y_pred): acc (y_true y_pred).mean() f1 f1_score(y_true, y_pred, averagemacro) kappa cohen_kappa_score(y_true, y_pred) return {accuracy: acc, macro_f1: f1, kappa: kappa}averagemacro表示每个类别的 F1 等权平均少数类的表现不会被多数类淹没。Kappa 系数衡量的是模型预测和随机预测之间的一致性遥感分类论文里经常用值在 0.8 以上算不错。5. 避坑与排查训练不收敛、显存溢出、评估指标异常5.1 训练 loss 不下降现象训练几个 epoch 后 loss 一直在 2.3 左右波动10 类分类的随机水平准确率接近 10%。原因最常见的是标签映射错误——图片和标签对不上模型在学随机噪声。其次是学习率过大导致梯度爆炸或者数据归一化参数用错比如用了 ImageNet 的均值方差但数据是 0-255 未归一化。解决先跑一个极小数据集比如每类 5 张图过拟合测试。如果模型在 20 个 epoch 内不能把训练集准确率拉到 95% 以上说明数据管线有问题。检查dataset.py里__getitem__返回的 image 和 label 是否对应打印前几个 batch 的 label 分布看看。5.2 CUDA out of memory现象训练开始几秒后报RuntimeError: CUDA out of memory。原因batch_size 太大、模型参数量超出显存、或者 DataLoader 的num_workers设太高导致内存泄漏。解决先把 batch_size 减半如果还报就减到 8。然后检查是否有不必要的中间变量没有释放比如在训练循环里累积了 loss 列表但没 detach。num_workers在 Windows 上设 0 或 2Linux 上设 4 到 8设太高反而会因为进程间通信拖慢速度。5.3 验证集准确率高于训练集现象每个 epoch 结束后验证集准确率比训练集高 5 到 10 个百分点。原因训练时用了数据增强而验证时没用导致训练集“更难”。另外如果验证集太小比如只有几百张随机波动也会造成这种现象。解决这是正常现象不用改。但如果验证集准确率持续高于训练集且差距扩大检查是否在验证时误开了 dropout 或者 batch norm 的训练模式。model.eval()和torch.no_grad()必须同时用。5.4 测试集结果和验证集差距大现象验证集准确率 85%测试集只有 70%。原因验证集和测试集的分布不一致或者测试集里混入了训练集见过的图片数据泄漏。解决检查数据划分时是否按类别分层采样确保每个类别的 train/val/test 比例一致。另外确认测试集图片没有出现在训练集里——用文件名的 hash 值做去重检查。5.5 多卡训练时结果不可复现现象同样的随机种子单卡能复现多卡跑出来每次结果都不一样。原因DataLoader 的num_workers在多卡下每个进程的随机种子不同数据增强的随机性无法统一。解决在 Dataset 的__init__里给每个 worker 设固定种子def worker_init_fn(worker_id): np.random.seed(42 worker_id) random.seed(42 worker_id) train_loader DataLoader( train_dataset, batch_size32, num_workers4, worker_init_fnworker_init_fn )这样每个 worker 的随机行为可复现多卡训练的结果也能对齐。6. 进阶技巧用混淆矩阵定位模型弱点并做定向优化跑通训练和评估之后真正拉开差距的是对错误的分析。总体准确率只告诉你模型“有多好”混淆矩阵告诉你模型“错在哪”。遥感分类里农田和草地、住宅区和工业区这两组类别最容易混因为光谱特征和纹理特征在低分辨率下很接近。生成混淆矩阵的代码import matplotlib.pyplot as plt import seaborn as sns from sklearn.metrics import confusion_matrix def plot_confusion_matrix(y_true, y_pred, class_names, save_pathconfusion_matrix.png): cm confusion_matrix(y_true, y_pred) # 按行归一化看每个类别的召回率 cm_norm cm.astype(float) / cm.sum(axis1, keepdimsTrue) plt.figure(figsize(12, 10)) sns.heatmap(cm_norm, annotTrue, fmt.2f, cmapBlues, xticklabelsclass_names, yticklabelsclass_names) plt.xlabel(Predicted) plt.ylabel(True) plt.title(Normalized Confusion Matrix) plt.tight_layout() plt.savefig(save_path, dpi150) plt.close() # 打印召回率最低的三个类别 recalls cm_norm.diagonal() worst_idx recalls.argsort()[:3] for i in worst_idx: print(f类别 {class_names[i]} 召回率: {recalls[i]:.3f})这段代码的关键在cm_norm的计算按行归一化后对角线上的值就是每个类别的召回率。argsort()[:3]找出召回率最低的三个类别然后针对性处理。常见做法是对这几个类别做额外的数据增强比如随机旋转角度更大、加高斯噪声或者在损失函数里给它们更高的权重。我一般会把这个混淆矩阵图和训练曲线放在一起看。如果某个类别的召回率低但精确率高说明模型对这个类别太保守可以适当降低该类别的分类阈值如果召回率和精确率都低说明模型根本没学到这个类别的特征需要检查数据质量或者增加样本。还有一个容易被忽略的点遥感图像的空间分辨率对分类上限的影响很大。如果数据集里同一类别的图像来自不同传感器或不同季节类内差异会非常大模型很难学到统一的特征表示。这种情况下按传感器或季节做分组归一化Group Normalization比 Batch Normalization 更稳。我试过在一个混合分辨率的农田分类任务上把 BN 换成 GN 之后宏平均 F1 从 0.72 提到了 0.79训练过程也稳定很多。从那以后我每次拿到新的遥感分类数据集都强制先跑一遍混淆矩阵和分组统计确认类内差异和类间混淆的主要来源再决定用哪种归一化和增强策略。希望帮到你。本文还有配套的精品资源点击获取
遥感图像分类大作业实战：从压缩包到可复现分类器全流程拆解
简介这份资源面向人工智能大作业、毕业设计或课程设计的学习者聚焦遥感图像分类这一AI与地理信息系统的交叉方向帮助解决从图像预处理、特征提取到深度学习模型训练与结果后处理的完整流程理解问题。压缩包共5个文件以Python脚本为主辅以txt依赖清单、md说明文档和gitignore配置整体约6KB结构轻量便于快速上手与二次修改。内容涉及去噪增强、直方图均衡化、CNN多尺度特征学习、VGG与ResNet等模型应用以及交叉验证、数据增强、损失函数与优化器选择等训练优化要点并延伸至连通组件分析、最大置信度保留等后处理思路以及Spark、Hadoop与GPU加速的大规模处理场景。目前已有428人学习下载适合希望借助代码示例与说明文档系统梳理遥感图像分类关键环节并积累项目实践经验的学习者参考。1. 遥感图像分类大作业拆包从压缩包到能跑通的分类器遥感图像分类这个方向在人工智能大作业和毕业设计里出现的频率一直很高。原因不复杂数据公开、任务定义清晰、模型选型空间大从传统 SVM 到 CNN 再到 Transformer 都能往上套写论文有话说做演示有结果看。但真正动手时多数人卡在同一个地方——不是模型不会搭而是拿到一个压缩包后不知道里面是什么结构、数据怎么组织、标签怎么对应、跑起来报错该从哪里查。这个资源包的核心价值就在这它把遥感图像分类的完整链路打包好了包括数据集组织方式、预处理脚本、模型定义、训练入口和评估代码。适合三类人正在做人工智能大作业需要快速出结果的学生、做毕业设计需要可复现 baseline 的开发者、以及想理解遥感分类工程落地流程的从业者。下面按实际拆包和复现的顺序把每个环节讲透。2. 拆包先看目录结构数据管线与标签映射怎么对上2.1 遥感分类任务的输入输出定义遥感图像分类和普通图像分类最大的区别在数据侧。普通分类任务通常是一张图一个标签图片尺寸统一、通道数固定。遥感图像不一样来源可能是卫星多光谱影像、无人机航拍图或者公开数据集比如 UC Merced、AID、NWPU-RESISC45分辨率从 0.5 米到 30 米不等通道数可能是 RGB 三通道也可能是包含近红外波段的多通道。分类目标通常是场景类别——农田、工业区、河流、森林、住宅区这类。资源包里的数据管线一般会做三件事统一尺寸常见 224×224 或 256×256、归一化按 ImageNet 均值方差或数据集自身统计、标签编码类别名到整数索引的映射。这三步看起来简单但标签映射如果和训练时的类别顺序不一致模型训出来的准确率会直接崩掉而且不报错只是结果很差——这是最典型的玄学问题之一。2.2 目录结构与关键文件说明拿到压缩包后先别急着跑训练脚本。解压后按下面的顺序过一遍目录# 查看顶层结构 ls -la remote_sensing_classification/ # 典型输出 # data/ # 数据集目录 # train/ # 训练集 # class_0/ # 按类别分文件夹 # class_1/ # ... # val/ # 验证集 # test/ # 测试集 # models/ # 模型定义 # resnet.py # vit.py # utils/ # 工具函数 # dataset.py # Dataset 类 # transforms.py # 数据增强 # metrics.py # 评估指标 # train.py # 训练入口 # eval.py # 评估脚本 # config.yaml # 超参数配置重点看三个文件utils/dataset.py里的__getitem__返回什么、config.yaml里的num_classes和class_names是否一致、train.py里 DataLoader 的batch_size和num_workers设置。这三个地方对不上后面全是坑。2.3 标签映射的验证方法标签映射错了不会报错但准确率会异常低。验证方法很直接import os # 检查训练集类别文件夹与 config 中的 class_names 是否一致 data_dir data/train folder_names sorted(os.listdir(data_dir)) print(文件夹类别顺序:, folder_names) # 读取 config.yaml 中的 class_names import yaml with open(config.yaml, r) as f: cfg yaml.safe_load(f) print(配置类别顺序:, cfg[class_names]) # 两者必须完全一致包括顺序 assert folder_names cfg[class_names], 类别顺序不一致标签映射会出错这段代码的逻辑是os.listdir返回的顺序在不同操作系统上可能不同所以用sorted统一。然后和配置文件里的类别列表做严格比对。如果不一致要么改配置要么在 Dataset 类里显式指定class_to_idx映射。参数上注意sorted的排序规则——如果类别名包含数字比如class_2和class_10字符串排序会出问题建议用零填充命名或者自定义排序键。3. 模型选型与训练配置ResNet 还是 ViT参数怎么设3.1 遥感分类的模型选型逻辑遥感图像分类的模型选型核心看数据量和算力。数据量小于 1 万张、类别数在 10 到 30 之间时ResNet-50 预训练模型微调是最稳的选择收敛快、显存占用可控、调参经验成熟。数据量超过 5 万张或者需要捕捉全局空间关系时ViT 或 Swin Transformer 会有更好的上限但训练成本明显更高小数据集上容易过拟合。资源包里如果同时提供了 ResNet 和 ViT 的实现建议先用 ResNet 跑通全流程确认数据管线和评估指标没问题后再换 ViT 做对比实验。这样出问题时分得清是数据的问题还是模型的问题。3.2 训练脚本的关键参数训练入口一般长这样python train.py \ --config config.yaml \ --model resnet50 \ --epochs 50 \ --batch_size 32 \ --lr 0.001 \ --weight_decay 1e-4 \ --pretrained \ --output_dir runs/exp001参数说明--pretrained表示加载 ImageNet 预训练权重遥感数据集通常不大从头训很容易欠拟合--lr 0.001是 Adam 优化器的常见起点如果用 SGD 建议降到 0.01 并加 momentum--weight_decay 1e-4是正则化项防止过拟合--batch_size 32在 8GB 显存下跑 ResNet-50 的 224×224 输入基本够用显存不够就降到 16 并同步调小学习率。3.3 学习率调度与早停策略遥感分类任务里学习率调度对最终精度的影响比模型结构还大。常见做法是 CosineAnnealing 或者 StepLR。CosineAnnealing 在训练后期学习率平滑降到接近零适合固定 epoch 数的场景StepLR 每 20 个 epoch 降一次适合不确定总训练轮数时用。早停策略看验证集 loss 而不是准确率。准确率在类别不均衡时会虚高loss 更能反映模型是否还在学到东西。资源包里如果有early_stopping相关的配置项把patience设成 7 到 10min_delta设成 1e-4低于这个改善幅度就停。# 典型的早停实现逻辑 best_loss float(inf) patience_counter 0 for epoch in range(epochs): val_loss validate(model, val_loader) if val_loss best_loss - min_delta: best_loss val_loss patience_counter 0 torch.save(model.state_dict(), best_model.pth) else: patience_counter 1 if patience_counter patience: print(fEarly stopping at epoch {epoch}) break这段逻辑的关键是min_delta如果验证集 loss 只降了 1e-5不算有效改善否则容易在平台期反复保存模型浪费训练时间。4. 数据增强与类别不均衡遥感场景下的特殊处理4.1 遥感图像增强的边界通用图像增强随机裁剪、翻转、颜色抖动在遥感场景下不能无脑用。垂直翻转对航拍图通常没问题但对有明确方向性的场景比如道路、河流走向可能引入错误标签。颜色抖动也要小心多光谱图像转成 RGB 可视化后颜色和真实地物的对应关系可能被破坏过度抖动会让模型学到无关特征。资源包里如果transforms.py用了RandomHorizontalFlip和RandomVerticalFlip先确认数据集中是否存在方向敏感类别。如果有把垂直翻转的概率降到 0.1 以下或者直接关掉。4.2 类别不均衡的处理方案遥感数据集类别不均衡是常态。农田和森林可能各有几千张稀有类别可能只有几十张。处理方案有三种方案实现方式适用场景加权采样WeightedRandomSampler类别数少、不均衡程度中等损失加权CrossEntropyLoss(weight...)不均衡程度高、少数类重要数据增强对少数类做额外增强少数类样本极少加权采样的代码示例from torch.utils.data import WeightedRandomSampler import numpy as np # 统计每个类别的样本数 class_counts np.bincount(train_dataset.labels) # 计算权重样本数越少权重越高 weights 1.0 / class_counts sample_weights weights[train_dataset.labels] sampler WeightedRandomSampler( weightssample_weights, num_sampleslen(sample_weights), replacementTrue ) train_loader DataLoader( train_dataset, batch_size32, samplersampler, # 注意用了 sampler 就不能再设 shuffleTrue num_workers4 )参数说明replacementTrue表示有放回采样少数类会被重复抽到num_samples设成和数据集大小一致保证每个 epoch 看到的样本总数不变。注意sampler和shuffle不能同时用设了 sampler 之后 shuffle 必须为 False否则 PyTorch 会报错。4.3 验证集和测试集的评估指标选择类别不均衡时总体准确率Overall Accuracy会偏向多数类。更合理的指标是宏平均 F1macro-F1和 Kappa 系数。资源包的metrics.py里如果只实现了 accuracy建议补上这两个from sklearn.metrics import f1_score, cohen_kappa_score def compute_metrics(y_true, y_pred): acc (y_true y_pred).mean() f1 f1_score(y_true, y_pred, averagemacro) kappa cohen_kappa_score(y_true, y_pred) return {accuracy: acc, macro_f1: f1, kappa: kappa}averagemacro表示每个类别的 F1 等权平均少数类的表现不会被多数类淹没。Kappa 系数衡量的是模型预测和随机预测之间的一致性遥感分类论文里经常用值在 0.8 以上算不错。5. 避坑与排查训练不收敛、显存溢出、评估指标异常5.1 训练 loss 不下降现象训练几个 epoch 后 loss 一直在 2.3 左右波动10 类分类的随机水平准确率接近 10%。原因最常见的是标签映射错误——图片和标签对不上模型在学随机噪声。其次是学习率过大导致梯度爆炸或者数据归一化参数用错比如用了 ImageNet 的均值方差但数据是 0-255 未归一化。解决先跑一个极小数据集比如每类 5 张图过拟合测试。如果模型在 20 个 epoch 内不能把训练集准确率拉到 95% 以上说明数据管线有问题。检查dataset.py里__getitem__返回的 image 和 label 是否对应打印前几个 batch 的 label 分布看看。5.2 CUDA out of memory现象训练开始几秒后报RuntimeError: CUDA out of memory。原因batch_size 太大、模型参数量超出显存、或者 DataLoader 的num_workers设太高导致内存泄漏。解决先把 batch_size 减半如果还报就减到 8。然后检查是否有不必要的中间变量没有释放比如在训练循环里累积了 loss 列表但没 detach。num_workers在 Windows 上设 0 或 2Linux 上设 4 到 8设太高反而会因为进程间通信拖慢速度。5.3 验证集准确率高于训练集现象每个 epoch 结束后验证集准确率比训练集高 5 到 10 个百分点。原因训练时用了数据增强而验证时没用导致训练集“更难”。另外如果验证集太小比如只有几百张随机波动也会造成这种现象。解决这是正常现象不用改。但如果验证集准确率持续高于训练集且差距扩大检查是否在验证时误开了 dropout 或者 batch norm 的训练模式。model.eval()和torch.no_grad()必须同时用。5.4 测试集结果和验证集差距大现象验证集准确率 85%测试集只有 70%。原因验证集和测试集的分布不一致或者测试集里混入了训练集见过的图片数据泄漏。解决检查数据划分时是否按类别分层采样确保每个类别的 train/val/test 比例一致。另外确认测试集图片没有出现在训练集里——用文件名的 hash 值做去重检查。5.5 多卡训练时结果不可复现现象同样的随机种子单卡能复现多卡跑出来每次结果都不一样。原因DataLoader 的num_workers在多卡下每个进程的随机种子不同数据增强的随机性无法统一。解决在 Dataset 的__init__里给每个 worker 设固定种子def worker_init_fn(worker_id): np.random.seed(42 worker_id) random.seed(42 worker_id) train_loader DataLoader( train_dataset, batch_size32, num_workers4, worker_init_fnworker_init_fn )这样每个 worker 的随机行为可复现多卡训练的结果也能对齐。6. 进阶技巧用混淆矩阵定位模型弱点并做定向优化跑通训练和评估之后真正拉开差距的是对错误的分析。总体准确率只告诉你模型“有多好”混淆矩阵告诉你模型“错在哪”。遥感分类里农田和草地、住宅区和工业区这两组类别最容易混因为光谱特征和纹理特征在低分辨率下很接近。生成混淆矩阵的代码import matplotlib.pyplot as plt import seaborn as sns from sklearn.metrics import confusion_matrix def plot_confusion_matrix(y_true, y_pred, class_names, save_pathconfusion_matrix.png): cm confusion_matrix(y_true, y_pred) # 按行归一化看每个类别的召回率 cm_norm cm.astype(float) / cm.sum(axis1, keepdimsTrue) plt.figure(figsize(12, 10)) sns.heatmap(cm_norm, annotTrue, fmt.2f, cmapBlues, xticklabelsclass_names, yticklabelsclass_names) plt.xlabel(Predicted) plt.ylabel(True) plt.title(Normalized Confusion Matrix) plt.tight_layout() plt.savefig(save_path, dpi150) plt.close() # 打印召回率最低的三个类别 recalls cm_norm.diagonal() worst_idx recalls.argsort()[:3] for i in worst_idx: print(f类别 {class_names[i]} 召回率: {recalls[i]:.3f})这段代码的关键在cm_norm的计算按行归一化后对角线上的值就是每个类别的召回率。argsort()[:3]找出召回率最低的三个类别然后针对性处理。常见做法是对这几个类别做额外的数据增强比如随机旋转角度更大、加高斯噪声或者在损失函数里给它们更高的权重。我一般会把这个混淆矩阵图和训练曲线放在一起看。如果某个类别的召回率低但精确率高说明模型对这个类别太保守可以适当降低该类别的分类阈值如果召回率和精确率都低说明模型根本没学到这个类别的特征需要检查数据质量或者增加样本。还有一个容易被忽略的点遥感图像的空间分辨率对分类上限的影响很大。如果数据集里同一类别的图像来自不同传感器或不同季节类内差异会非常大模型很难学到统一的特征表示。这种情况下按传感器或季节做分组归一化Group Normalization比 Batch Normalization 更稳。我试过在一个混合分辨率的农田分类任务上把 BN 换成 GN 之后宏平均 F1 从 0.72 提到了 0.79训练过程也稳定很多。从那以后我每次拿到新的遥感分类数据集都强制先跑一遍混淆矩阵和分组统计确认类内差异和类间混淆的主要来源再决定用哪种归一化和增强策略。希望帮到你。本文还有配套的精品资源点击获取
