Transformer结构中的子层连接（Sublayer Connection）

一、子层连接介绍

• 概念

          子层连接（Sublayer Connection），也称为残差连接（Residual Connection），是Transformer模型中的一个关键设计，用于将多个子层（如自注意力层和前馈全连接层）组合在一起。它通过残差连接（Residual Connection）和层归一化（Layer Normalization）来增强模型的训练稳定性和性能。

          如下图所示，输入到每个子层以及规范化层的过程中，还使用了残差连接（跳跃连接），因此我们把这一部分结构整体叫做子层连接（代表子层及其连接结构），在每个编码器层中都有两个子层，这两个子层加上周围的连接结构就形成了两个子层连接结构。