机器学习day2--->单变量线性回归问题【图文】

单变量线性回归问题

1.变量定义

        设置单变量X，预测函数为

2.代价函数（平方误差函数）

         代价函数是关于θ0和θ1的函数，代价函数图像上的一个点对应一个预测函数h(x)，代价函数是来衡量对于不同的θ0和θ1赋值，而导致的预测值与实际值之间的误差大小。

         线性回归问题就是找到使得代价函数最小的θ0和θ1的值，从而得到相应的预测函数h(x)，最好的拟合训练集中的数据。

3.梯度下降算法

         梯度下降算法是用来求函数最小值的方法，不仅仅局限于求代价函数的最小值。

         以求代价函数最小值为例，该算法需要不断迭代θ0和θ1的值，而且要保证是同时迭代：

          其中α是学习率，它决定了梯度下降的快慢，过低会导致梯度下降太慢，迭代次数增多，过高会导致无法在最小值处收敛，甚至发散。以θ0=0为例，代价函数为如下图所示

通常α的值是不变的，因为在远离最小值点时，偏导数的值较大，梯度下降的快，而在接近最小值点时，偏导数的值较小，梯度下降自动变慢。

4.梯度下降算法用于单变量线性回归问题

更多文章请关注《万象专栏》