层归一化是深度学习中非常常见的概念，这不是我第一次解释它，但让我们再次解释一下，我们有一个网络的输入，其中包含来自不同类别或特征的数据，因为在每个训练周期中批次会变化，数据的分布也会变化，在一批中分布可能在[0,2)范围内，而在下一批中它可能有样本分布在[0,100]范围内。在训练过程中数据分布的变化被称为协变量偏移。由于输入的剧烈变化，输出也会变化，损失也会变化，如果损失剧烈变化，那么在反向传播过程中权重将以更高的幅度更新，导致梯度不平滑。简而言之，归一化输入将限制其在整个训练批次中的分布，因此，损失不会有剧烈变化，将导致更平滑的梯度和更快的训练，帮助模型更多地关注学习特征。
© 版权声明