2025-07-16 李沐深度学习10——数值稳定性与模型初始化

1 数值稳定性

1.1 梯度计算基础

​ 在深度神经网络中，梯度计算遵循链式法则。对于一个$d$层网络
$${\mathbf{h}}^t=f_t({\mathbf{h}}^{t-1})\mathrm{and}y=\ell \circ f_d\circ \dots \circ f_1(\mathbf{x})$$
​ 损失函数$L$关于第$t$层权重$W_t$的梯度可以表示为：
$$\frac{\partial \ell }{\partial {\mathbf{W}}^t}=\frac{\partial \ell }{\partial {\mathbf{h}}^d}\frac{\partial {\mathbf{h}}^d}{\partial {\mathbf{h}}^{d-1}}\cdot \cdot \cdot \frac{\partial {\mathbf{h}}^{t+1}}{\partial {\mathbf{h}}^t}\frac{\partial {\mathbf{h}}^t}{\partial {\mathbf{W}}^t}$$
​ 其中每个$\frac{\partial h_{k+1}}{\partial h_k}$都是一个雅可比矩阵（向量对向量的导数）。这意味着我们需要进行$d-t$次矩阵乘法。

1.2 核心问题

​ 当这些矩阵连续相乘时，会出现两种极端情况：

1. 梯度爆炸：当矩阵乘积的元素值持续大于1时，梯度呈指数级增长
2. 梯度消失：当矩阵乘积的元素值持续小于1时，梯度呈指数级衰减

1.3 梯度爆炸分析

​ 以使用ReLU作为激活函数的多层感知机(MLP)为例：

• ReLU的导数为：输入$>0$时为$1$，否则为$0$
• 梯度计算中的对角矩阵元素为$0$或$1$
• 梯度值主要来自权重矩阵$W$的元素的连乘

具体例子：
如果每层权重元素值都$>1$(如$1.5$)，$100$层后的梯度大小约为$1.5^{100}\approx 4\times 10^{17}$，远超典型浮点数的表示范围。

影响

1. 数值溢出：特别是使用16位浮点数(数值范围$6e^{-5}\sim 6e^4$)时极易发生
2. 学习率敏感：
   • 学习率稍大→参数更新过大→梯度更大→恶性循环
   • 学习率过小→训练进展缓慢
3. 调参困难：需要在很窄的学习率范围内工作

1.4 梯度消失分析

​ 以Sigmoid作为激活函数为例：

• Sigmoid导数最大为$0.25$(在$x=0$时)，输入绝对值增大时导数迅速趋近$0$
• 对于$|输入|=6$的情况，导数$\approx 0$

具体例子：
即使每层梯度为$0.8$，$100$层后的梯度大小约为$0.8^{100}\approx 2\times 10^{-10}$，在16位浮点数下被视为$0$。

梯度消失的影响

1. 训练停滞：底部层(靠近输入的层)梯度几乎为0，无法更新参数
2. 深度无效：底部层无法学习，使深度网络退化为浅层网络
3. 学习率无效：梯度为0时任何学习率都无法产生有效更新

1.5 提升稳定性的三大策略

​ 目前有三种主要策略来提升训练稳定性：

1.5.1 将乘法运算变为加法

• ResNet：通过残差连接将深层网络的矩阵乘法转换为元素加法
• LSTM：通过门控机制将长序列的乘法运算转换为加法运算
• 效果：将100次乘法转换为100次加法，大幅降低数值不稳定的风险

1.5.2 梯度归一化与裁剪

• 梯度归一化：将梯度调整为均值为0、方差为1的分布
• 梯度裁剪：设定阈值(如±5)，强制梯度不超过该范围
• 优势：简单有效，不依赖特定网络结构

1.5.3 合理的权重初始化与激活函数

​ 这是下节重点讲解的内容，下面将详细展开。

3 权重初始化

3.1 理论基础

​ 为了保持网络各层的输出和梯度稳定，我们目标是让每一层的输出和梯度都看作随机变量，需要确保$\forall i,t$：

1. 正向传播：每层输出的均值为$0$，方差为常数$a$
   $$\mathbb{E}[h_i^t]=0\mathrm{Var}[h_i^t]=a$$

2. 反向传播：每层梯度的均值为$0$，方差为常数$b$
   $$\mathbb{E}\left[\frac{\partial \ell }{\partial h_i^t}\right]=0\mathrm{Var}\left[\frac{\partial \ell }{\partial h_i^t}\right]=b$$

3.2 假设

​ 在无激活函数的条件下，考虑一个多层感知机(MLP)，假设：

• 权重$w_t^i,j$是独立同分布(i.i.d)的，$E(w)=0，Var(w)={\gamma }_t$。
• 当前层权重与输入$h^{t-1}$独立。

正向传播分析：
$$h_t^i=\sum _j{w}_{i,j}^t{h}_j^{t-1}$$
​ 计算期望和方差：

• $E(h_t^i) = \displaystyle\sum_j E(w_{i,j}^t)E(h_j{t-1}) = 0 $（因为$E(w)=0$）
• $Var(h_t^i)=E[(h_t^i{)}^2]-E[(h_t^i){]}^2=n_{t-1}{\gamma }_{t}Var(h_j^{t-1})$

​ 要使$Var(h_t^t)=Var(h_j^{t-1})$，则需要$n_{t-1}{\gamma }_t=1$。

反向传播分析：
通过类似推导可得需要$n_t{\gamma }_t=1$。

3.3 Xavier初始化

​ 由于很难同时满足$n_{t-1}{\gamma }_t=1$和$n_t{\gamma }_t=1$（除非$n_{t-1}=n_t$），Xavier提出折中方案：
$${\gamma }_t(n_{t-1}+n_t)/2=1$$
​ 这意味着权重初始化的方差应根据该层的输入维度($n_{t-1}$)和输出维度($n_t$)来调整。

​ 具体实现：

• 正态分布：$N(0,\sqrt{(2/(n_{t-1}+n_t)})$
• 均匀分布：$U(-\sqrt{(6/(n_{t-1}+n_t))},\sqrt{(6/(n_{t-1}+n_t)}))$

​ Xavier初始化的优势在于它能自适应不同层的维度变化，特别是当各层输入输出维度差异较大时，能自动调整初始化范围。

4 激活函数的选择与调整

4.1 理想激活函数的特性

​ 假设激活函数为$\sigma (x)=\alpha x+\beta$，为保证数值稳定性，需要：

1. 正向传播：

   • $E(\sigma (x))=\alpha E(x)+\beta =\beta =0\Rightarrow \beta =0$。
   • $Var(\sigma (x))={\alpha }^{2}Var(x)\Rightarrow$ 要使$Var(\sigma (x))=Var(x)$需要${\alpha }^2=1\Rightarrow \alpha =\pm 1$。
   

2. 反向传播：

   ​ 类似推导也要求$\alpha =1，\beta =0$。

​ 这意味着理想的激活函数应该是$f(x)=x$(恒等函数)，但这缺乏非线性。

4.2 常用激活函数分析

​ 通过泰勒展开分析常用激活函数在0点附近的表现：

1. tanh：
   $$\tanh (x)=0+x-\frac{x^3}{3}+O(x^5)$$
   在0点附近近似$f(x)=x$，满足要求

2. ReLU：
   $$\text{ReLU}(x)=0+x$$
   在$x>0$时就是$f(x)=x$，满足要求

3. Sigmoid：
   $$\mathrm{sigmoid}(x)=\frac{1}{2}+\frac{x}{4}-\frac{x^3}{48}+O(x^5)$$
   原始$\text{sigmoid}$不满足$f(0)=0$，但可以调整：
   $${\sigma }^{\prime }(x)=4\sigma (x)-2$$
   这样${\sigma }^{\prime }(0)=0$，且在0点附近导数$\approx 1$。

激活函数	原始形式	0点值	0点导数	是否需要调整
tanh	$(e^x-e^{-x})/(e^x+e^{-x})$	$0$	$1$	否
ReLU	$max(0,x)$	$0$	$1(x>0)$	否
Sigmoid	$1/(1+e^{-x})$	$0.5$	$0.25$	是（可调整为$4\sigma (x)-2$）

​ 为什么关注0点附近？因为神经网络权重初始化通常接近0，大部分激活输入也在0附近。

原文地址：https://blog.csdn.net/zheliku/article/details/149379854

免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！