机器学习的优化目标

一，梯度下降法

batch梯度下降法：

《机器学习十讲》学习报告七_机器学习

 

 随机梯度下降SGD

线性衰减然后保持为常数

 

 

梯度爆炸和悬崖

解决方法：梯度阶段

启发式梯度截断干涉以减少步长

 

二，动量法

在参数更新时考虑历史梯度信息

Nesterov动量法

《机器学习十讲》学习报告七_机器学习_02

 

更多文章请关注《万象专栏》