简介这份资源是面向医疗影像分析与计算机视觉学习者的Keras-YOLOv3息肉检测实战项目适合具备一定Python与深度学习基础、希望掌握目标检测完整流程的开发者。压缩包共41个文件约149KB以25个Python脚本为核心辅以10个txt配置与标签文件、2个cfg网络结构文件、2个md说明文档及字体等资源覆盖数据预处理、模型构建、训练、评估到推理部署的完整链路。项目基于Darknet架构实现YOLOv3多尺度预测包含锚框聚类、mAP计算、VOC与COCO数据转换、视频检测等模块目录划分清晰便于按功能定位代码。目前已有378人学习下载。通过阅读与运行这些脚本读者可理解YOLOv3损失函数、优化器选择与超参数调整思路掌握从标注数据到可视化检测结果的落地方法为医疗影像目标检测任务提供可复用的工程参考。1. 息肉检测为什么还在用 Keras-YOLOv3一个被低估的工程选择肠镜画面里息肉和周围黏膜的对比度经常低得让人抓狂同一帧里既有反光又有褶皱医生盯着屏幕找几分钟是常态。用 Python 做息肉目标检测很多人第一反应是上 YOLOv8 甚至更新的版本但实际落地时你会发现Keras-YOLOv3 这套老组合在医学小数据集上反而更稳。原因不复杂它的结构足够简单迁移学习路径清晰Keras 的 API 对新手友好改损失函数和锚框不用翻半天源码。这个标题指向的就是一套能跑通的完整方案——用 Python 和 Keras 复现 YOLOv3在息肉数据集上完成训练和推理。适合谁有 Python 基础、想入门目标检测但不想被复杂工程劝退的开发者以及需要快速验证医学图像检测思路的算法工程师。下面从环境搭建到训练调参把这条路走一遍。2. 环境搭建与数据准备把 Keras-YOLOv3 跑起来的前置条件2.1 Python 与 Keras 环境配置的版本选择息肉检测项目最怕环境装到一半报错。Keras-YOLOv3 这类老代码对版本敏感我一般会锁定 Python 3.7 到 3.8TensorFlow 用 1.15 或 2.x 的兼容模式。如果你用最新版 Python 3.12很多旧依赖直接装不上这是血泪经验。安装命令如下# 创建独立环境避免污染系统 Python conda create -n polyp-yolo python3.8 conda activate polyp-yolo # 安装 TensorFlow 和 Keras版本要匹配 pip install tensorflow2.4.0 pip install keras2.4.3 # 常用图像处理库 pip install opencv-python pillow numpy matplotlib逻辑说明TensorFlow 2.4 自带 Keras 接口但 Keras-YOLOv3 原始代码多基于独立 Keras 包所以显式安装 keras2.4.3 能减少导入冲突。参数上Python 3.8 是兼容性最好的版本TensorFlow 2.4 支持 GPU 加速且对旧模型加载友好。如果你只有 CPU训练会慢但推理验证够用。装完后用python -c import tensorflow as tf; print(tf.__version__)确认版本。提示不要混用 pip 和 conda 装同一个包否则会出现 cannot be resolved against python helper roots 这类路径错误。2.2 息肉数据集标注与 YOLO 格式转换息肉数据通常来自公开肠镜数据集或医院脱敏视频抽帧。标注工具用 LabelImg 就行导出 Pascal VOC 的 XML。但 YOLOv3 要的是每张图对应一个 txt每行类别 x_center y_center width height且坐标归一化到 0 到 1。转换脚本如下import os import xml.etree.ElementTree as ET # 类别映射息肉检测通常只有一类 classes [polyp] def convert_annotation(xml_file, output_txt, img_w, img_h): tree ET.parse(xml_file) root tree.getroot() with open(output_txt, w) as f: for obj in root.iter(object): cls obj.find(name).text if cls not in classes: continue cls_id classes.index(cls) bbox obj.find(bndbox) # VOC 坐标是左上角和右下角 xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 转成中心点加宽高再归一化 x_center (xmin xmax) / 2.0 / img_w y_center (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h f.write(f{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}\n) # 批量处理示例 for xml_name in os.listdir(annotations): if xml_name.endswith(.xml): txt_name xml_name.replace(.xml, .txt) # 图片尺寸需要从对应图片读取这里假设已知 convert_annotation( os.path.join(annotations, xml_name), os.path.join(labels, txt_name), 512, 512 )逻辑说明归一化是 YOLO 系列的核心要求不归一化会导致训练时损失爆炸。参数上img_w和img_h必须和实际输入网络时的尺寸一致如果你后续 resize 到 416x416这里也要用 416。类别列表只有息肉一类所以 cls_id 恒为 0。转换完检查一下 txt 里有没有空文件空标注图片要剔除否则训练时算 loss 会出 NaN。2.3 目录结构与配置文件对齐Keras-YOLOv3 一般要求这样的目录polyp_dataset/ JPEGImages/ # 所有 jpg 图片 Annotations/ # 所有 xml ImageSets/Main/ # train.txt val.txt每行是图片名不带后缀 labels/ # 转换后的 txttrain.txt和val.txt按 8:2 划分用脚本生成即可。配置文件里要改三个地方classes改成 1anchors用聚类重新算input_shape根据显存定。常见做法是用 k-means 对息肉标注框聚类得到适合小目标的锚框。我一般会跑一遍kmeans.py把结果填进yolov3.cfg对应的 anchor 行。这一步不做默认 COCO 锚框在息肉上召回率会低一截。3. 模型训练与参数调优让 Keras-YOLOv3 在息肉上收敛3.1 迁移学习加载预训练权重息肉数据集通常只有几百到几千张从头训练 YOLOv3 必然过拟合。标准做法是加载 COCO 预训练权重冻结 Darknet-53 主干只训练检测头。代码片段from keras.models import load_model from yolo3.model import yolo_body # 输入尺寸和类别数 input_shape (416, 416, 3) num_classes 1 anchors [10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326] # 构建模型 model yolo_body(input_shape, 3, num_classes, anchors) # 加载预训练权重跳过分类层 model.load_weights(yolov3.weights, by_nameTrue, skip_mismatchTrue) # 冻结前 200 层只训练后面的检测头 for layer in model.layers[:200]: layer.trainable False逻辑说明by_nameTrue按层名加载skip_mismatchTrue跳过类别数不匹配的输出层。冻结层数根据你的显存和数据集大小调数据少就多冻一些。参数上input_shape用 416 是速度和精度的平衡点608 更准但显存翻倍。锚框列表要和配置文件一致否则解码时框会错位。3.2 损失函数与学习率策略YOLOv3 的损失由三部分组成框回归、置信度、分类。息肉检测里正负样本极不平衡背景远多于息肉所以置信度损失权重要调。我一般把obj_scale设成 5noobj_scale设成 1让模型更关注有目标的格子。学习率用余弦退火import tensorflow as tf # 初始学习率 initial_lr 1e-3 # 总训练轮数 epochs 100 lr_schedule tf.keras.optimizers.schedules.CosineDecay( initial_learning_rateinitial_lr, decay_stepsepochs * steps_per_epoch, alpha0.01 ) optimizer tf.keras.optimizers.Adam(learning_ratelr_schedule)逻辑说明余弦退火让学习率从 1e-3 平滑降到 1e-5避免后期震荡。steps_per_epoch是每轮迭代次数等于训练集大小除以 batch_size。参数上batch_size 根据显存选8 或 16 都行太小梯度噪声大。如果 loss 降到 2 左右不降了检查标注有没有漏标息肉边缘模糊的帧建议直接丢弃。3.3 训练过程监控与早停训练时每轮跑完验证集看 mAP 和 loss。Keras 的ModelCheckpoint保存最佳权重from keras.callbacks import ModelCheckpoint, EarlyStopping checkpoint ModelCheckpoint( best_polyp_yolo.h5, monitorval_loss, save_best_onlyTrue, verbose1 ) early_stop EarlyStopping( monitorval_loss, patience15, restore_best_weightsTrue ) model.fit( train_gen, validation_dataval_gen, epochs100, callbacks[checkpoint, early_stop] )逻辑说明patience15表示验证损失 15 轮不降就停防止过拟合。restore_best_weights自动回滚到最佳轮次。参数上监控指标用 val_loss 比 val_acc 更稳因为目标检测的 acc 定义模糊。如果 val_loss 一直震荡把学习率再降一半或者增大 batch_size。4. 推理与后处理从模型输出到息肉框的完整链路4.1 单张图片推理与框解码训练完的模型输出是三个尺度的特征图需要解码成实际坐标。推理脚本import numpy as np import cv2 from yolo3.utils import letterbox_image def detect_polyp(model, image_path, input_shape(416, 416), anchorsNone, num_classes1): image cv2.imread(image_path) # 保持长宽比缩放并填充 boxed_image letterbox_image(image, input_shape) image_data np.array(boxed_image, dtypefloat32) / 255.0 image_data np.expand_dims(image_data, 0) # 模型预测 preds model.predict(image_data) # 解码这里简化展示实际用 yolo_eval 函数 boxes, scores, classes yolo_eval( preds, anchors, num_classes, input_shape, score_threshold0.5, iou_threshold0.45 ) return boxes, scores, classes逻辑说明letterbox_image保证图片不变形填充灰边。yolo_eval做非极大值抑制去掉重叠框。参数上score_threshold0.5是置信度阈值息肉检测可以降到 0.3 提高召回但误检会多。iou_threshold0.45控制框合并程度息肉密集时调到 0.3 避免漏掉相邻息肉。4.2 非极大值抑制在息肉场景的调参NMS 是后处理的核心。息肉经常成簇出现两个息肉挨得近IOU 容易超过阈值被误删。我一般用软 NMS 或者把 IOU 阈值调低def soft_nms(boxes, scores, sigma0.5, thresh0.3): # 按得分排序 order scores.argsort()[::-1] keep [] while order.size 0: i order[0] keep.append(i) # 计算当前框和剩余框的 IOU ious compute_iou(boxes[i], boxes[order[1:]]) # 高斯衰减得分 weights np.exp(-(ious ** 2) / sigma) scores[order[1:]] * weights # 保留得分高于阈值的 inds np.where(scores[order[1:]] thresh)[0] order order[inds 1] return keep逻辑说明软 NMS 不直接删除重叠框而是按 IOU 衰减得分适合息肉这种密集小目标。参数上sigma0.5控制衰减速度越小衰减越快。thresh0.3是最终保留阈值。如果误检太多把 thresh 提到 0.5如果漏检多降到 0.2。4.3 可视化与结果保存把框画回原图保存成视频或图片序列for box, score, cls in zip(boxes, scores, classes): x1, y1, x2, y2 box cv2.rectangle(image, (x1, y1), (x2, y2), (0, 255, 0), 2) label fpolyp: {score:.2f} cv2.putText(image, label, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) cv2.imwrite(result.jpg, image)逻辑说明坐标要映射回原图尺寸因为推理时做了 letterbox。参数上框颜色和线宽按需调标签显示置信度方便判断。如果要做视频用cv2.VideoWriter逐帧处理注意帧率保持一致。5. 避坑与排查息肉检测训练中常见的 5 个翻车现场5.1 现象训练 loss 从第一轮就是 NaN原因标注文件里有坐标超出 0 到 1 范围或者空 txt 文件被读入。息肉标注时手抖把框拖到图像外归一化后就是负数或大于 1。解决写脚本遍历所有 txt检查每行后四个数是否在 0 到 1 之间超出就修正或删除该标注。空文件直接删掉并在 train.txt 里同步移除。5.2 现象验证集 mAP 一直是 0原因类别映射错了。息肉只有一类但配置文件里classes没改成 1或者train.txt里的图片路径不对导致验证集加载为空。解决打印验证集加载的图片数量确认不是 0。检查classes参数和标注里的 cls_id 是否一致。如果用了预训练权重输出层类别数不匹配也会导致全零加载权重时skip_mismatchTrue必须加。5.3 现象推理时框全部偏到左上角原因letterbox 的填充偏移没算进去。推理时图片被缩放并填充灰边解码出的坐标是相对于填充后图像的直接画回原图就会偏。解决在yolo_eval之后把框坐标减去填充偏移再除以缩放比例。常见做法是记录letterbox_image返回的缩放比和偏移量解码后做逆变换。5.4 现象模型把反光当成息肉误检率高原因肠镜画面反光区域和息肉颜色接近模型学到了错误特征。解决数据增强时加入随机亮度调整和对比度扰动让模型不依赖颜色。另外在损失里提高noobj_scale让背景预测更保守。如果还有误检把置信度阈值从 0.5 提到 0.6牺牲一点召回换精度。5.5 现象训练到一半显存爆了原因batch_size 设太大或者输入尺寸从 416 改成 608 后没降 batch。解决用nvidia-smi监控显存把 batch_size 减半。如果还爆把输入尺寸降到 320。另外检查数据生成器有没有内存泄漏比如每轮都重新加载图片而不释放。用tf.data.Dataset的prefetch和cache能缓解。6. 进阶技巧用 Keras-YOLOv3 做息肉视频流检测的延迟优化把模型跑在视频流上延迟是绕不开的。我试过在 1080p 肠镜视频上直接推理单帧要 200ms 以上根本没法实时。后来做了三件事把延迟压到 40ms 以内。第一输入尺寸从 416 降到 320mAP 只掉 2 个点但速度翻倍。第二把 Keras 模型转成 TensorFlow Lite用tf.lite.TFLiteConverter量化成 int8推理速度再提一倍。第三跳帧检测每 3 帧推理一次中间帧用光流跟踪补框。代码片段import tensorflow as tf # 转换 TFLite 模型 converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] converter.target_spec.supported_types [tf.float16] tflite_model converter.convert() with open(polyp_yolo.tflite, wb) as f: f.write(tflite_model) # 推理时用解释器 interpreter tf.lite.Interpreter(model_pathpolyp_yolo.tflite) interpreter.allocate_tensors() input_details interpreter.get_input_details() output_details interpreter.get_output_details() interpreter.set_tensor(input_details[0][index], image_data) interpreter.invoke() outputs [interpreter.get_tensor(output_details[i][index]) for i in range(3)]逻辑说明float16 量化几乎不掉精度模型体积减半。int8 量化需要校准数据集但速度更快。跳帧策略里光流用cv2.calcOpticalFlowFarneback把上一帧的框按光流位移平移简单有效。参数上跳帧间隔根据视频帧率调25fps 的视频跳 3 帧就是每秒检测 8 次够用。验证方法拿一段标注好的息肉视频逐帧算 mAP 和延迟。如果 mAP 掉超过 5 个点说明量化太激进换回 float16。延迟用time.time()包住推理循环取平均。我一般会在实际肠镜录像上跑一遍看医生能不能接受这个流畅度。最后说个习惯每次改完参数先在小验证集上跑 10 轮看 loss 趋势别一上来就训 100 轮。息肉数据少过拟合来得快早停比调参管用。希望帮到你。本文还有配套的精品资源点击获取
Python+Keras-YOLOv3息肉检测实战：从训练到推理
简介这份资源是面向医疗影像分析与计算机视觉学习者的Keras-YOLOv3息肉检测实战项目适合具备一定Python与深度学习基础、希望掌握目标检测完整流程的开发者。压缩包共41个文件约149KB以25个Python脚本为核心辅以10个txt配置与标签文件、2个cfg网络结构文件、2个md说明文档及字体等资源覆盖数据预处理、模型构建、训练、评估到推理部署的完整链路。项目基于Darknet架构实现YOLOv3多尺度预测包含锚框聚类、mAP计算、VOC与COCO数据转换、视频检测等模块目录划分清晰便于按功能定位代码。目前已有378人学习下载。通过阅读与运行这些脚本读者可理解YOLOv3损失函数、优化器选择与超参数调整思路掌握从标注数据到可视化检测结果的落地方法为医疗影像目标检测任务提供可复用的工程参考。1. 息肉检测为什么还在用 Keras-YOLOv3一个被低估的工程选择肠镜画面里息肉和周围黏膜的对比度经常低得让人抓狂同一帧里既有反光又有褶皱医生盯着屏幕找几分钟是常态。用 Python 做息肉目标检测很多人第一反应是上 YOLOv8 甚至更新的版本但实际落地时你会发现Keras-YOLOv3 这套老组合在医学小数据集上反而更稳。原因不复杂它的结构足够简单迁移学习路径清晰Keras 的 API 对新手友好改损失函数和锚框不用翻半天源码。这个标题指向的就是一套能跑通的完整方案——用 Python 和 Keras 复现 YOLOv3在息肉数据集上完成训练和推理。适合谁有 Python 基础、想入门目标检测但不想被复杂工程劝退的开发者以及需要快速验证医学图像检测思路的算法工程师。下面从环境搭建到训练调参把这条路走一遍。2. 环境搭建与数据准备把 Keras-YOLOv3 跑起来的前置条件2.1 Python 与 Keras 环境配置的版本选择息肉检测项目最怕环境装到一半报错。Keras-YOLOv3 这类老代码对版本敏感我一般会锁定 Python 3.7 到 3.8TensorFlow 用 1.15 或 2.x 的兼容模式。如果你用最新版 Python 3.12很多旧依赖直接装不上这是血泪经验。安装命令如下# 创建独立环境避免污染系统 Python conda create -n polyp-yolo python3.8 conda activate polyp-yolo # 安装 TensorFlow 和 Keras版本要匹配 pip install tensorflow2.4.0 pip install keras2.4.3 # 常用图像处理库 pip install opencv-python pillow numpy matplotlib逻辑说明TensorFlow 2.4 自带 Keras 接口但 Keras-YOLOv3 原始代码多基于独立 Keras 包所以显式安装 keras2.4.3 能减少导入冲突。参数上Python 3.8 是兼容性最好的版本TensorFlow 2.4 支持 GPU 加速且对旧模型加载友好。如果你只有 CPU训练会慢但推理验证够用。装完后用python -c import tensorflow as tf; print(tf.__version__)确认版本。提示不要混用 pip 和 conda 装同一个包否则会出现 cannot be resolved against python helper roots 这类路径错误。2.2 息肉数据集标注与 YOLO 格式转换息肉数据通常来自公开肠镜数据集或医院脱敏视频抽帧。标注工具用 LabelImg 就行导出 Pascal VOC 的 XML。但 YOLOv3 要的是每张图对应一个 txt每行类别 x_center y_center width height且坐标归一化到 0 到 1。转换脚本如下import os import xml.etree.ElementTree as ET # 类别映射息肉检测通常只有一类 classes [polyp] def convert_annotation(xml_file, output_txt, img_w, img_h): tree ET.parse(xml_file) root tree.getroot() with open(output_txt, w) as f: for obj in root.iter(object): cls obj.find(name).text if cls not in classes: continue cls_id classes.index(cls) bbox obj.find(bndbox) # VOC 坐标是左上角和右下角 xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 转成中心点加宽高再归一化 x_center (xmin xmax) / 2.0 / img_w y_center (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h f.write(f{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}\n) # 批量处理示例 for xml_name in os.listdir(annotations): if xml_name.endswith(.xml): txt_name xml_name.replace(.xml, .txt) # 图片尺寸需要从对应图片读取这里假设已知 convert_annotation( os.path.join(annotations, xml_name), os.path.join(labels, txt_name), 512, 512 )逻辑说明归一化是 YOLO 系列的核心要求不归一化会导致训练时损失爆炸。参数上img_w和img_h必须和实际输入网络时的尺寸一致如果你后续 resize 到 416x416这里也要用 416。类别列表只有息肉一类所以 cls_id 恒为 0。转换完检查一下 txt 里有没有空文件空标注图片要剔除否则训练时算 loss 会出 NaN。2.3 目录结构与配置文件对齐Keras-YOLOv3 一般要求这样的目录polyp_dataset/ JPEGImages/ # 所有 jpg 图片 Annotations/ # 所有 xml ImageSets/Main/ # train.txt val.txt每行是图片名不带后缀 labels/ # 转换后的 txttrain.txt和val.txt按 8:2 划分用脚本生成即可。配置文件里要改三个地方classes改成 1anchors用聚类重新算input_shape根据显存定。常见做法是用 k-means 对息肉标注框聚类得到适合小目标的锚框。我一般会跑一遍kmeans.py把结果填进yolov3.cfg对应的 anchor 行。这一步不做默认 COCO 锚框在息肉上召回率会低一截。3. 模型训练与参数调优让 Keras-YOLOv3 在息肉上收敛3.1 迁移学习加载预训练权重息肉数据集通常只有几百到几千张从头训练 YOLOv3 必然过拟合。标准做法是加载 COCO 预训练权重冻结 Darknet-53 主干只训练检测头。代码片段from keras.models import load_model from yolo3.model import yolo_body # 输入尺寸和类别数 input_shape (416, 416, 3) num_classes 1 anchors [10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326] # 构建模型 model yolo_body(input_shape, 3, num_classes, anchors) # 加载预训练权重跳过分类层 model.load_weights(yolov3.weights, by_nameTrue, skip_mismatchTrue) # 冻结前 200 层只训练后面的检测头 for layer in model.layers[:200]: layer.trainable False逻辑说明by_nameTrue按层名加载skip_mismatchTrue跳过类别数不匹配的输出层。冻结层数根据你的显存和数据集大小调数据少就多冻一些。参数上input_shape用 416 是速度和精度的平衡点608 更准但显存翻倍。锚框列表要和配置文件一致否则解码时框会错位。3.2 损失函数与学习率策略YOLOv3 的损失由三部分组成框回归、置信度、分类。息肉检测里正负样本极不平衡背景远多于息肉所以置信度损失权重要调。我一般把obj_scale设成 5noobj_scale设成 1让模型更关注有目标的格子。学习率用余弦退火import tensorflow as tf # 初始学习率 initial_lr 1e-3 # 总训练轮数 epochs 100 lr_schedule tf.keras.optimizers.schedules.CosineDecay( initial_learning_rateinitial_lr, decay_stepsepochs * steps_per_epoch, alpha0.01 ) optimizer tf.keras.optimizers.Adam(learning_ratelr_schedule)逻辑说明余弦退火让学习率从 1e-3 平滑降到 1e-5避免后期震荡。steps_per_epoch是每轮迭代次数等于训练集大小除以 batch_size。参数上batch_size 根据显存选8 或 16 都行太小梯度噪声大。如果 loss 降到 2 左右不降了检查标注有没有漏标息肉边缘模糊的帧建议直接丢弃。3.3 训练过程监控与早停训练时每轮跑完验证集看 mAP 和 loss。Keras 的ModelCheckpoint保存最佳权重from keras.callbacks import ModelCheckpoint, EarlyStopping checkpoint ModelCheckpoint( best_polyp_yolo.h5, monitorval_loss, save_best_onlyTrue, verbose1 ) early_stop EarlyStopping( monitorval_loss, patience15, restore_best_weightsTrue ) model.fit( train_gen, validation_dataval_gen, epochs100, callbacks[checkpoint, early_stop] )逻辑说明patience15表示验证损失 15 轮不降就停防止过拟合。restore_best_weights自动回滚到最佳轮次。参数上监控指标用 val_loss 比 val_acc 更稳因为目标检测的 acc 定义模糊。如果 val_loss 一直震荡把学习率再降一半或者增大 batch_size。4. 推理与后处理从模型输出到息肉框的完整链路4.1 单张图片推理与框解码训练完的模型输出是三个尺度的特征图需要解码成实际坐标。推理脚本import numpy as np import cv2 from yolo3.utils import letterbox_image def detect_polyp(model, image_path, input_shape(416, 416), anchorsNone, num_classes1): image cv2.imread(image_path) # 保持长宽比缩放并填充 boxed_image letterbox_image(image, input_shape) image_data np.array(boxed_image, dtypefloat32) / 255.0 image_data np.expand_dims(image_data, 0) # 模型预测 preds model.predict(image_data) # 解码这里简化展示实际用 yolo_eval 函数 boxes, scores, classes yolo_eval( preds, anchors, num_classes, input_shape, score_threshold0.5, iou_threshold0.45 ) return boxes, scores, classes逻辑说明letterbox_image保证图片不变形填充灰边。yolo_eval做非极大值抑制去掉重叠框。参数上score_threshold0.5是置信度阈值息肉检测可以降到 0.3 提高召回但误检会多。iou_threshold0.45控制框合并程度息肉密集时调到 0.3 避免漏掉相邻息肉。4.2 非极大值抑制在息肉场景的调参NMS 是后处理的核心。息肉经常成簇出现两个息肉挨得近IOU 容易超过阈值被误删。我一般用软 NMS 或者把 IOU 阈值调低def soft_nms(boxes, scores, sigma0.5, thresh0.3): # 按得分排序 order scores.argsort()[::-1] keep [] while order.size 0: i order[0] keep.append(i) # 计算当前框和剩余框的 IOU ious compute_iou(boxes[i], boxes[order[1:]]) # 高斯衰减得分 weights np.exp(-(ious ** 2) / sigma) scores[order[1:]] * weights # 保留得分高于阈值的 inds np.where(scores[order[1:]] thresh)[0] order order[inds 1] return keep逻辑说明软 NMS 不直接删除重叠框而是按 IOU 衰减得分适合息肉这种密集小目标。参数上sigma0.5控制衰减速度越小衰减越快。thresh0.3是最终保留阈值。如果误检太多把 thresh 提到 0.5如果漏检多降到 0.2。4.3 可视化与结果保存把框画回原图保存成视频或图片序列for box, score, cls in zip(boxes, scores, classes): x1, y1, x2, y2 box cv2.rectangle(image, (x1, y1), (x2, y2), (0, 255, 0), 2) label fpolyp: {score:.2f} cv2.putText(image, label, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) cv2.imwrite(result.jpg, image)逻辑说明坐标要映射回原图尺寸因为推理时做了 letterbox。参数上框颜色和线宽按需调标签显示置信度方便判断。如果要做视频用cv2.VideoWriter逐帧处理注意帧率保持一致。5. 避坑与排查息肉检测训练中常见的 5 个翻车现场5.1 现象训练 loss 从第一轮就是 NaN原因标注文件里有坐标超出 0 到 1 范围或者空 txt 文件被读入。息肉标注时手抖把框拖到图像外归一化后就是负数或大于 1。解决写脚本遍历所有 txt检查每行后四个数是否在 0 到 1 之间超出就修正或删除该标注。空文件直接删掉并在 train.txt 里同步移除。5.2 现象验证集 mAP 一直是 0原因类别映射错了。息肉只有一类但配置文件里classes没改成 1或者train.txt里的图片路径不对导致验证集加载为空。解决打印验证集加载的图片数量确认不是 0。检查classes参数和标注里的 cls_id 是否一致。如果用了预训练权重输出层类别数不匹配也会导致全零加载权重时skip_mismatchTrue必须加。5.3 现象推理时框全部偏到左上角原因letterbox 的填充偏移没算进去。推理时图片被缩放并填充灰边解码出的坐标是相对于填充后图像的直接画回原图就会偏。解决在yolo_eval之后把框坐标减去填充偏移再除以缩放比例。常见做法是记录letterbox_image返回的缩放比和偏移量解码后做逆变换。5.4 现象模型把反光当成息肉误检率高原因肠镜画面反光区域和息肉颜色接近模型学到了错误特征。解决数据增强时加入随机亮度调整和对比度扰动让模型不依赖颜色。另外在损失里提高noobj_scale让背景预测更保守。如果还有误检把置信度阈值从 0.5 提到 0.6牺牲一点召回换精度。5.5 现象训练到一半显存爆了原因batch_size 设太大或者输入尺寸从 416 改成 608 后没降 batch。解决用nvidia-smi监控显存把 batch_size 减半。如果还爆把输入尺寸降到 320。另外检查数据生成器有没有内存泄漏比如每轮都重新加载图片而不释放。用tf.data.Dataset的prefetch和cache能缓解。6. 进阶技巧用 Keras-YOLOv3 做息肉视频流检测的延迟优化把模型跑在视频流上延迟是绕不开的。我试过在 1080p 肠镜视频上直接推理单帧要 200ms 以上根本没法实时。后来做了三件事把延迟压到 40ms 以内。第一输入尺寸从 416 降到 320mAP 只掉 2 个点但速度翻倍。第二把 Keras 模型转成 TensorFlow Lite用tf.lite.TFLiteConverter量化成 int8推理速度再提一倍。第三跳帧检测每 3 帧推理一次中间帧用光流跟踪补框。代码片段import tensorflow as tf # 转换 TFLite 模型 converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] converter.target_spec.supported_types [tf.float16] tflite_model converter.convert() with open(polyp_yolo.tflite, wb) as f: f.write(tflite_model) # 推理时用解释器 interpreter tf.lite.Interpreter(model_pathpolyp_yolo.tflite) interpreter.allocate_tensors() input_details interpreter.get_input_details() output_details interpreter.get_output_details() interpreter.set_tensor(input_details[0][index], image_data) interpreter.invoke() outputs [interpreter.get_tensor(output_details[i][index]) for i in range(3)]逻辑说明float16 量化几乎不掉精度模型体积减半。int8 量化需要校准数据集但速度更快。跳帧策略里光流用cv2.calcOpticalFlowFarneback把上一帧的框按光流位移平移简单有效。参数上跳帧间隔根据视频帧率调25fps 的视频跳 3 帧就是每秒检测 8 次够用。验证方法拿一段标注好的息肉视频逐帧算 mAP 和延迟。如果 mAP 掉超过 5 个点说明量化太激进换回 float16。延迟用time.time()包住推理循环取平均。我一般会在实际肠镜录像上跑一遍看医生能不能接受这个流畅度。最后说个习惯每次改完参数先在小验证集上跑 10 轮看 loss 趋势别一上来就训 100 轮。息肉数据少过拟合来得快早停比调参管用。希望帮到你。本文还有配套的精品资源点击获取
