admin管理员组

文章数量:1187854

上篇：02 机器学习任务攻略-学习笔记-李宏毅深度学习2021年度

下篇：04 自动调整学习率（Learning Rate）-学习笔记-李宏毅深度学习2021年度

本节内容及相关链接

  1. 当loss不够好，且梯度接近为0时，应该怎么办？
  2. local minima和saddle point
  3. batch
  4. momentum
  • 视频链接-1
  • 视频链接-2
  • PPT链接

课堂笔记

local minima(局部最小值)：在损失函数的迭代过程中，当前参数陷入了局部最小值，即当前gradient为0，且周围点的gradient都是向着loss增大的方向

三维空间中，如图：

二维空间中，如图：

saddle point：当前参数的gradient为0，但是存在周围点的gradient是向着loss减小的方向。

三维图像，如图：

二维图像，如图：

local minima 和 saddle point 统称为 critical point

当gradient接近0，且loss不够小，说明卡在了 critical point

使用矩阵的特征值可以判断当前是卡在local minima还是saddle point。对于saddle point，可以通过特征向量找到方向。详情请参考视频和PPT

解决 critical point 的方法:

1. 采用合适的Batch Size，通常采用较小的Batch Size
2. 在每个epoch后，对train set进行shuffle
3. 增加Momentum

Small Batch 与 Large Batch的比较:

Momentum：为梯度下降增加一个动量（惯性），使其可以逃离local minima

Momentum的具体做法：每次不仅考虑当前的梯度，还考虑上一次更新的梯度。

因为每一个时刻的梯度都考虑了上一时刻的梯度，所以也可换句话说：每次不仅考虑当前的梯度，还考虑之前的所有更新过得梯度

Gradient Descent + Momentum 的具体参数更新公式：

λ \lambda λ 为要调的超参数

本文标签： 梯度学习笔记深度年度local

版权声明：本文标题：03 梯度（Gradient）很小怎么办（Local Minima与Saddle Point）-学习笔记-李宏毅深度学习2021年度 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.betaflare.com/biancheng/1737969707a2042780.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。