©著作权归作者所有:来自万象专栏作者我来寻你的原创作品,请联系作者获取转载授权,否则将追究法律责任
《机器学习十讲》学习报告七【图文】
导读:机器学习的优化目标一,梯度下降法batch梯度下降法: 随机梯度下降SGD线性衰减然后保持为常数 梯度爆炸和悬崖解..
机器学习的优化目标
一,梯度下降法
batch梯度下降法:

随机梯度下降SGD
线性衰减然后保持为常数
梯度爆炸和悬崖
解决方法:梯度阶段
启发式梯度截断干涉以减少步长
二,动量法
在参数更新时考虑历史梯度信息
Nesterov动量法

更多文章请关注《万象专栏》
转载请注明出处:https://www.wanxiangsucai.com/read/cv12637