助力水泥基建裂痕自动化巡检，基于yolov5融合ASPP开发构建多尺度融合目标检测识别系统

news/2024/7/10 22:41:38 标签: 自动化, YOLO, 目标检测

道路场景下的自动化智能巡检、洞体场景下的壁体类建筑缺陷自动检测识别等等已经在现实生活中不断地落地应用了，在我们之前的很多博文中也已经有过很多相关的实践项目经历了，本文的核心目的是想要融合多尺度感受野技术到yolov5模型中以期在较低参数量的情况下实现尽可能高的精度效果，话不多说，先看效果：

接下来看下我们自主构建的数据集：

数据标注实例如下所示：

0 0.429688 0.133789 0.080078 0.248047
0 0.461426 0.365723 0.067383 0.217773
0 0.694824 0.147949 0.086914 0.293945
0 0.642578 0.372070 0.064453 0.142578
0 0.512207 0.516113 0.043945 0.083008
0 0.575684 0.725586 0.071289 0.548828
0 0.958984 0.817383 0.080078 0.107422
0 0.937988 0.965820 0.124023 0.068359

我们这里选择的是yolov5m这款参数量级的模型作为基准模型，如下所示：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 1  # number of classes
depth_multiple: 0.67  # model depth multiple
width_multiple: 0.75  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# Backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# Head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)

   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

作为对比改进的模型，这里我们选择的是讲多尺度感受野ASPP方法融合进来。

ASPP（Atrous Spatial Pyramid Pooling）是一种用于目标检测模型的技术，它主要用于处理不同尺度下的目标。ASPP通过引入多个空洞卷积（atrous convolution）和金字塔池化（pyramid pooling）操作来获取多尺度的上下文信息。

首先，ASPP使用不同的空洞率（atrous rate）进行卷积操作，这可以增大感受野（receptive field）的大小，从而捕捉更大范围的上下文信息。通过使用多个空洞率的卷积，ASPP可以获得多个尺度的特征表示。

其次，ASPP使用金字塔池化操作来进一步增强多尺度的特征表示。金字塔池化通过在不同大小的池化窗口上进行池化操作，可以捕捉不同尺度下的特征。

最后，ASPP将多个尺度的特征进行融合，得到一个综合的特征表示。这个综合的特征表示可以用于目标检测任务中的分类和定位。

总之，ASPP技术通过引入多尺度的上下文信息，可以提升目标检测模型在不同尺度下的性能。它是目标检测领域中常用的技术之一，能够有效改善模型的性能。

改进后的模型文件如下：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 1  # number of classes
depth_multiple: 0.67  # model depth multiple
width_multiple: 0.75  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# Backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, ASPP, [1024]],  # 9
  ]

# Head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)

   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

对比如下：

在骨干网络里面加入了ASPP模块。

默认完全相同的训练参数，100次epoch的迭代计算，接下来我们来看下结果对比：

【Precision曲线】
精确率曲线（Precision-Recall Curve）是一种用于评估二分类模型在不同阈值下的精确率性能的可视化工具。它通过绘制不同阈值下的精确率和召回率之间的关系图来帮助我们了解模型在不同阈值下的表现。
精确率（Precision）是指被正确预测为正例的样本数占所有预测为正例的样本数的比例。召回率（Recall）是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。
绘制精确率曲线的步骤如下：
使用不同的阈值将预测概率转换为二进制类别标签。通常，当预测概率大于阈值时，样本被分类为正例，否则分类为负例。
对于每个阈值，计算相应的精确率和召回率。
将每个阈值下的精确率和召回率绘制在同一个图表上，形成精确率曲线。
根据精确率曲线的形状和变化趋势，可以选择适当的阈值以达到所需的性能要求。
通过观察精确率曲线，我们可以根据需求确定最佳的阈值，以平衡精确率和召回率。较高的精确率意味着较少的误报，而较高的召回率则表示较少的漏报。根据具体的业务需求和成本权衡，可以在曲线上选择合适的操作点或阈值。
精确率曲线通常与召回率曲线（Recall Curve）一起使用，以提供更全面的分类器性能分析，并帮助评估和比较不同模型的性能。


【Recall曲线】
召回率曲线（Recall Curve）是一种用于评估二分类模型在不同阈值下的召回率性能的可视化工具。它通过绘制不同阈值下的召回率和对应的精确率之间的关系图来帮助我们了解模型在不同阈值下的表现。
召回率（Recall）是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。召回率也被称为灵敏度（Sensitivity）或真正例率（True Positive Rate）。
绘制召回率曲线的步骤如下：
使用不同的阈值将预测概率转换为二进制类别标签。通常，当预测概率大于阈值时，样本被分类为正例，否则分类为负例。
对于每个阈值，计算相应的召回率和对应的精确率。
将每个阈值下的召回率和精确率绘制在同一个图表上，形成召回率曲线。
根据召回率曲线的形状和变化趋势，可以选择适当的阈值以达到所需的性能要求。
通过观察召回率曲线，我们可以根据需求确定最佳的阈值，以平衡召回率和精确率。较高的召回率表示较少的漏报，而较高的精确率意味着较少的误报。根据具体的业务需求和成本权衡，可以在曲线上选择合适的操作点或阈值。
召回率曲线通常与精确率曲线（Precision Curve）一起使用，以提供更全面的分类器性能分析，并帮助评估和比较不同模型的性能。

【F1值曲线】
F1值曲线是一种用于评估二分类模型在不同阈值下的性能的可视化工具。它通过绘制不同阈值下的精确率（Precision）、召回率（Recall）和F1分数的关系图来帮助我们理解模型的整体性能。
F1分数是精确率和召回率的调和平均值，它综合考虑了两者的性能指标。F1值曲线可以帮助我们确定在不同精确率和召回率之间找到一个平衡点，以选择最佳的阈值。
绘制F1值曲线的步骤如下：
使用不同的阈值将预测概率转换为二进制类别标签。通常，当预测概率大于阈值时，样本被分类为正例，否则分类为负例。
对于每个阈值，计算相应的精确率、召回率和F1分数。
将每个阈值下的精确率、召回率和F1分数绘制在同一个图表上，形成F1值曲线。
根据F1值曲线的形状和变化趋势，可以选择适当的阈值以达到所需的性能要求。
F1值曲线通常与接收者操作特征曲线（ROC曲线）一起使用，以帮助评估和比较不同模型的性能。它们提供了更全面的分类器性能分析，可以根据具体应用场景来选择合适的模型和阈值设置。

整体来看：改进后的模型在整体指标上都优于原生的模型。

我们进一步来看下融合ASPP的结果详情：
【混淆矩阵】

Predicted Class
                 -----------------
                |   Positive   |   Negative   |
Actual Class    |--------------|--------------|
                |   True Pos  |   False Neg  |
                |--------------|--------------|
                |   False Pos |   True Neg   |
                 -----------------

其中，行表示实际的类别，列表示模型预测的类别。混淆矩阵的每个元素表示在预测过程中，模型正确或错误地将样本分为四个不同的类别：

  • True Positive（真正例）：模型将正例预测为正例。
  • False Negative（假反例）：模型将正例预测为反例。
  • False Positive（假正例）：模型将反例预测为正例。
  • True Negative（真反例）：模型将反例预测为反例。

基于混淆矩阵，我们可以计算出一些分类模型的评估指标，包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）和 F1 分数（F1-Score）等。

  • 准确率（Accuracy）：表示模型正确预测的样本数占总样本数的比例，计算公式为 (TP + TN) / (TP + TN + FP + FN)。
  • 精确率（Precision）：表示模型在预测为正例中的正确率，计算公式为 TP / (TP + FP)。
  • 召回率（Recall）：表示模型正确预测为正例的样本数占实际正例样本数的比例，计算公式为 TP / (TP + FN)。
  • F1 分数（F1-Score）：综合考虑了精确率和召回率，计算公式为 2 * (Precision * Recall) / (Precision + Recall)。

混淆矩阵及其相关的评估指标可以帮助我们了解模型在不同类别上的性能表现，从而进行模型的优化和改进。

【PR曲线】
精确率-召回率曲线（Precision-Recall Curve）是一种用于评估二分类模型性能的可视化工具。它通过绘制不同阈值下的精确率（Precision）和召回率（Recall）之间的关系图来帮助我们了解模型在不同阈值下的表现。
精确率是指被正确预测为正例的样本数占所有预测为正例的样本数的比例。召回率是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。
绘制精确率-召回率曲线的步骤如下：
使用不同的阈值将预测概率转换为二进制类别标签。通常，当预测概率大于阈值时，样本被分类为正例，否则分类为负例。
对于每个阈值，计算相应的精确率和召回率。
将每个阈值下的精确率和召回率绘制在同一个图表上，形成精确率-召回率曲线。
根据曲线的形状和变化趋势，可以选择适当的阈值以达到所需的性能要求。
精确率-召回率曲线提供了更全面的模型性能分析，特别适用于处理不平衡数据集和关注正例预测的场景。曲线下面积（Area Under the Curve, AUC）可以作为评估模型性能的指标，AUC值越高表示模型的性能越好。
通过观察精确率-召回率曲线，我们可以根据需求选择合适的阈值来权衡精确率和召回率之间的平衡点。根据具体的业务需求和成本权衡，可以在曲线上选择合适的操作点或阈值。

【Batch计算实例】

感兴趣的话也都可以自己动手实践下！


http://www.niftyadmin.cn/n/5190152.html

相关文章

面试其他注意事项

面试其他注意事项

面试其他注意事项 一、面试反问 这个岗位的日常工作和主要职责是什么？咱们这边主要负责什么业务，用到了哪些技术呢？对于我们校招生有没有培养体系呢？脱产培训，还是边工作边熟悉？会有导师带嘛？…
阅读更多...
短信登录获取图形验证码调用过程

短信登录获取图形验证码调用过程

文章目录 短信登录获取图形验证码调用过程1、输入某个要获取短信验证的电话 短信登录获取图形验证码调用过程 1、输入某个要获取短信验证的电话 调用到skin皮肤里面的sms_login里面的xml的按钮控件: 这个按钮属于点击信息在Notify里面收到: void CSMSLoginDlg::Notify(TNotif…
阅读更多...
Qt Widget 自定义TitleBar带阴影窗口

Qt Widget 自定义TitleBar带阴影窗口

自定义一个titlebar窗口， 不带任何资源、QSS，纯代码 1. 设置主窗口 透明背景，让central_widget透明方式显示，给后续main添加dropshadow效果，用于放置实际的业务控件。 setWindowFlags(Qt::FramelessWindowHint | Qt…
阅读更多...
Python类属性下划线的意义

Python类属性下划线的意义

在Python中，类属性（class attribute）前面带有下划线的命名约定有一些特殊的含义，但它并不会影响属性的实际行为。这是一种命名约定，用于指示属性的用途和访问级别。以下是一些常见的下划线命名约定： 1. 单…
阅读更多...
二蛋赠书八期：《Java物联网、人工智能和区块链编程实战》

二蛋赠书八期：《Java物联网、人工智能和区块链编程实战》

前言 大家好！我是二蛋，一个热爱技术、乐于分享的工程师。在过去的几年里，我一直通过各种渠道与大家分享技术知识和经验。我深知，每一位技术人员都对自己的技能提升和职业发展有着热切的期待。因此，我非常感激大家一直…
阅读更多...
TMS320F28335使用多个串口时，SCIRXST Register出现错误

TMS320F28335使用多个串口时，SCIRXST Register出现错误

TMS320F28335使用多个串口时，SCIRXST Register出现错误 void ClearErrorState(void) {if((SciaRegs.SCIRXST.bit.FE 1)||(SciaRegs.SCIRXST.bit.BRKDT 1)){SciaRegs.SCICTL1.bit.SWRESET 0;SciaRegs.SCICTL1.bit.SWRESET 1;}if((ScibRegs.SCIRXST.bit.FE 1)||(S…
阅读更多...
ROS服务(Service)通信：通信模型、Hello World与拓展

ROS服务(Service)通信：通信模型、Hello World与拓展

服务通讯是基于请求响应模式的，是一种应答机制。 用于偶然的、对时时性有要求、有一定逻辑处理需求的数据传输场景。 一、服务通讯模型 服务是一种双向通讯方式，它通过请求和应答的方式传递消息，该模型涉及到三个角色： Master…
阅读更多...
第四章 深度学习中的损失函数(工具)

第四章 深度学习中的损失函数(工具)

概述 官网：torch.nn - PyTorch中文文档 (pytorch-cn.readthedocs.io) 损失函数torch.nn用途特点应用场景交叉熵损失CrossEntropyLoss多分类问题当模型对真实类别的预测概率低时，损失迅速增加适用于分类任务，特别是输出层使用Softmax函数时二…
阅读更多...
最新文章

Copyright @ 2022~2023