YOLO算法改进5【中阶改进篇】：添加SENet注意力机制

news/2024/7/10 23:46:05 标签: YOLO, 算法, php

在这里插入图片描述

SE-Net 是 ImageNet 2017（ImageNet 收官赛）的冠军模型，是由WMW团队发布。具有复杂度低，参数少和计算量小的优点。且SENet 思路很简单，很容易扩展到已有网络结构如 Inception 和 ResNet 中。
我们可以看到，已经有很多工作在空间维度上来提升网络的性能。那么很自然想到，网络是否可以从其他层面来考虑去提升性能，比如考虑特征通道之间的关系？作者基于这一点并提出了Squeeze-and-Excitation Networks（简称SE-Net）。在该结构中，Squeeze和Excitation是两个非常关键的操作，所以以此来命名。作者出发点是希望建立特征通道之间的相互依赖关系。并未引入一个新的空间维度来进行特征通道间的融合，而是采用了一种全新的“特征重标定”策略。具体来说，就是通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。

一、不改变原网络深度的改进方法

在这里插入图片描述
首先是打开models/yolov5s.yaml文件，我们在backbone中的SPPF之前增加SENet。增添位置如下，是将backbone中第4个C3模块替换为SE_Block，如上图。需要注意的是通道数要匹配，SENet并不改变通道数，由于原C3的输出通道数为1024*0.5=512，所以我们这里的写的是1024，这里的1024是传入到上面我们定义的Class SE_Block(nn.Moudel)中的c2参数，c1参数是由上一层的输出通道数控制的。参考链接

1.添加SENet.yaml文件
添加至/models/文件中

# Parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2  conv1(3,32,k=6,s=2,p=2)
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4  conv2(32,64,k=3,s=2,p=1)
   [-1, 3, C3, [128]],  # C3_1 有Bottleneck
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8  conv3(64,128,k=3,s=2,p=1)
   [-1, 6, C3, [256]], # C3_2 Bottleneck重复两次
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16  conv4(128,256,k=3,s=2,p=1)
   [-1, 9, C3, [512]], # C3_3 Bottleneck重复三次 输出256通道
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32   Conv5(256,512,k=3,s=2,p=1)
   #[-1, 3, C3, [1024]],  # C3_4 Bottleneck重复1次  输出512通道
   [-1, 1, SE_Block, [1024]],  # 增加通道注意力机制 输出为512通道
   [-1, 1, SPPF, [1024, 5]],  # 9  每个都是K为5的池化
  ]

# YOLOAir v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)
   [-1, 1, ShuffleAttention, [1024]], # 修改

   [[17, 20, 24], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

2.common配置
在models/common.py文件中增加以下代码
在这里插入图片描述

  • 上图是作者提出的SE模块的示意图。给定一个输入 x x x，其特征通道数为 c 1 c_1 c1​，通过一系列卷积变换后得到一个特征通道数为 c 2 c_2 c2​的特征。与传统的CNN不一样的是，接下来将通过三个操作来重标定前面得到的特征。
  • 首先是Squeeze操作，顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。
  • 其次是Excitation操作，它是一个类似于循环神经网络中门的机制。通过参数来为每个特征通道生成权重，其中参数被学习用来显式地建模特征通道间的相关性。
  • 最后是一个Reweight的操作，我们将Excitation的输出的权重看做是进过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。
    ——————————————————————————————————————————
    图2 SE模块应用举例
  • 这里的注意力机制想法非常简单，即针对每一个 channel 进行池化处理，就得到了 channel
    个元素，通过两个全连接层，得到输出的这个向量。值得注意的是，第一个全连接层的节点个数等于 channel 个数的 1 4 \frac{1}{4} 41​（论文作者发现如果将第一个全连接层的节点个数替换成原来的 1 4 \frac{1}{4} 41​，可以在参数数量适度增加的情况下提高准确性，而且并没有明显的延迟。），然后第二个全连接层的节点就和channel 保持一致。这个得到的输出就相当于对原始的特征矩阵的每个 channel 分析其重要程度，越重要的赋予越大的权重，越不重要的就赋予越小的权重。
  • 就拿上图来说，首先对四个通道进行平均池化得到四个值，然后经过两个全连接层之后得到通道权重的输出。等权重输出以后，则将对应通道的权重乘以原来的特征矩阵就得到了新的特征矩阵，以上便是SE模块的详细实现过程。
class SE_Block(nn.Module):
    def __init__(self, c1, c2):
        super().__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)  # 平均池化
        self.fc = nn.Sequential(
            nn.Linear(c1, c2 // 16, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(c2 // 16, c2, bias=False),
            nn.Sigmoid()
        )
 
    def forward(self, x):
        # 添加注意力模块
        b, c, _, _ = x.size()  # 分别获取batch_size,channel
        y = self.avg_pool(x).view(b, c)  # y的shape为【batch_size, channels】
        y = self.fc(y).view(b, c, 1, 1)  # shape为【batch_size, channels, 1, 1】
        out = x * y.expand_as(x)  # shape 为【batch, channels,feature_w, feature_h】
        return out

3.yolo.py配置
找到 models/yolo.py 文件中 parse_model() 类，在列表中添加SE_Block，这样可以获得我们要传入的参数。

if m in [Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, Focus, CrossConv,
                 BottleneckCSP, C3, C3TR, C3SPP, C3Ghost, SE_Block]:

二、改变原网络深度的改进方法

在这里插入图片描述
在这里插入图片描述
比如我要在第一个C3后面加一个SE。yaml的修改如下。接下来稍微麻烦一点了【需要你了解v5的每层结构】，由于我们在backbone中加入了一层，也就是相当于后面的网络与之前相比都往后移动了一层，那么在后面的Concat部分中融合的特征层的索引也会收到影响，因此我们需要的是修改Concat层的from参数。参考链接

1.添加SENet.yaml文件
添加至/models/文件中

# Parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2  conv1(3,32,k=6,s=2,p=2)
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4  conv2(32,64,k=3,s=2,p=1)
   [-1, 3, C3, [128]],  # C3_1 有Bottleneck
   [-1, 1, SE_Block, [128]],  # 增加通道注意力机制 输出为512通道
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8  conv3(64,128,k=3,s=2,p=1)
   [-1, 6, C3, [256]], # C3_2 Bottleneck重复两次
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16  conv4(128,256,k=3,s=2,p=1)
   [-1, 9, C3, [512]], # C3_3 Bottleneck重复三次 输出256通道
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32   Conv5(256,512,k=3,s=2,p=1)
   [-1, 3, C3, [1024]],  # C3_4 Bottleneck重复1次  输出512通道
   [-1, 1, SPPF, [1024, 5]],  # 9  每个都是K为5的池化
  ]
"""可以看到实际就是每个Concat也后面移动一层，因此yaml修改为一下。最终的Detect的from也需要修改。""
# YOLOAir v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],  # conv1(512,256,1,1)
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 7], 1, Concat, [1]],  # cat backbone P4  将C3_3与SPPF出来后的上采样拼接 拼接后的通道为512
   [-1, 3, C3, [512, False]],  # 13  conv(256,256,k=1,s=1)  没有残差边
 
   [-1, 1, Conv, [256, 1, 1]], # conv2(256,128,1,1)
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 5], 1, Concat, [1]],  # cat backbone P3  与C3_2拼接，输出256通道
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small) conv3(128,128,1,1)
 
   [-1, 1, Conv, [256, 3, 2]],# conv4(128,128,3,2,1)
   [[-1, 15], 1, Concat, [1]],  # cat head P4  拼接后256通道
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)  conv5(256,256,1,1)
 
   [-1, 1, Conv, [512, 3, 2]],# conv6(256,256,3,2,1)
   [[-1, 11], 1, Concat, [1]],  # cat head P5  拼接后是512
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)
 
   [[18, 21, 24], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

2.common配置
在models/common.py文件中增加以下代码

class SE_Block(nn.Module):
    def __init__(self, c1, c2):
        super().__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)  # 平均池化
        self.fc = nn.Sequential(
            nn.Linear(c1, c2 // 16, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(c2 // 16, c2, bias=False),
            nn.Sigmoid()
        )
 
    def forward(self, x):
        # 添加注意力模块
        b, c, _, _ = x.size()  # 分别获取batch_size,channel
        y = self.avg_pool(x).view(b, c)  # y的shape为【batch_size, channels】
        y = self.fc(y).view(b, c, 1, 1)  # shape为【batch_size, channels, 1, 1】
        out = x * y.expand_as(x)  # shape 为【batch, channels,feature_w, feature_h】
        return out

3.yolo.py配置
找到 models/yolo.py 文件中 parse_model() 类，在列表中添加SE_Block，这样可以获得我们要传入的参数。

if m in [Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, Focus, CrossConv,
                 BottleneckCSP, C3, C3TR, C3SPP, C3Ghost, SE_Block]:

http://www.niftyadmin.cn/n/5147704.html

相关文章

JPA编程使用注解@LastModifiedDate，自动更新修改时间字段

JPA编程使用注解@LastModifiedDate，自动更新修改时间字段

一、背景 jpa编程中，我们一般会设计以下五个字段： 在新增记录的时候，无需对创建时间和修改时间进行赋值。 此外，你还得在类上，增加注解EntityListeners(AuditingEntityListener.class)。 EntityListeners(Auditing…
阅读更多...
使用 BFS 广度优先搜索算法求字符串相似度

使用 BFS 广度优先搜索算法求字符串相似度

现在有2个字符串，mother和monster，将 mother 变成 monster，每次操作只能是 修改一个字母，删除一个字母，添加一个字母，则将 monther 变成 Monster 的编辑路径有很多种，我们需要求出最短的编辑路径…
阅读更多...
从零开始的JSON库教程（一）

从零开始的JSON库教程（一）

本文是学习github大佬miloyip而做的读书笔记，项目点此进入 目录 1、JSON是什么 2、搭建编译环境 3、头文件与API设计 4、JSON的语法子集 5、单元测试 6、宏的编写技巧 7、实现解析器 8、关于断言 1、JSON是什么 JSON（JavaScript Object Notati…
阅读更多...
如何将苹果手机照片导出？教你3个导出照片的必备技巧！

如何将苹果手机照片导出？教你3个导出照片的必备技巧！

照片是我们记录生活，以及留下美好瞬间的最佳方式之一。通过手机照片，我们可以随时随地回忆过去的点点滴滴，还能将其分享给朋友和家人。因此，照片对于大家来说具有不可替代的价值与意义。 为了防止手机照片丢失，部分小…
阅读更多...
匪夷所思，spring aop这么写竟然会失效！！

匪夷所思，spring aop这么写竟然会失效！！

背景 spring 版本：3.2.8.RELEASEJDK版本：1.8本地是正常，线上环境是有问题的 应用从云下迁移到云上的过程中出现了一个应用部分aop 通知失效的问题，场景如下： node1 节点上的category 是失效的，element是正…
阅读更多...
数据结构（超详细讲解！！）第十九节 块链串及串的应用

数据结构（超详细讲解！！）第十九节 块链串及串的应用

1.定义 由于串也是一种线性表，因此也可以采用链式存储。由于串的特殊性（每个元素只有一个字符），在具体实现时，每个结点既可以存放一个字符，也可以存放多个字符。每个结点称为块，整个链表称为块链…
阅读更多...
竹胶板木板片：多功能建筑模板的理想选择

竹胶板木板片：多功能建筑模板的理想选择

竹胶板木板片作为一种多功能的建筑模板材料，在各类建筑项目中扮演着重要的角色。其防水、耐磨的特性使其成为庭院、阳台等室外空间制模的理想选择。本文将重点介绍竹胶板木板片的特点以及其在建筑模板领域的应用。 竹胶板木板片由优质的竹材制成，经过胶合…
阅读更多...
离线安装.whl文件出现 is not a supported wheel on this platform.解决办法

离线安装.whl文件出现 is not a supported wheel on this platform.解决办法

离线安装.whl文件出现 is not a supported wheel on this platform.解决办法 首先，确认当前下载的whl包与当前系统重的python版本是否一致。如python 3.11 为cp311…，不一致去下载对应whl文件，一致往下看。 使用 pip debug --verbose核对下载…
阅读更多...
最新文章

Copyright @ 2022~2023