一、注意力机制介绍

注意力机制（Attention Mechanism）是深度学习中一种重要的技术，它可以帮助模型更好地关注输入数据中的关键信息，从而提高模型的性能。注意力机制最早在自然语言处理领域的序列到序列（seq2seq）模型中得到广泛应用，后来逐渐扩展到了计算机视觉、语音识别等多个领域。

注意力机制的基本思想是为输入数据的每个部分分配一个权重，这个权重表示该部分对于当前任务的重要程度。在自然语言处理任务中，这通常意味着对输入句子中的每个单词分配一个权重，而在计算机视觉任务中，这可能意味着为输入图像的每个像素或区域分配一个权重。

二.添加方法

1.GAM注意力

python">import torch.nn as nn