总体概括人工智能和机器学习其实就是数学的函数拟合—将数据输入到一个函数通式(y=kx+b)中求出公式。
但是y=kx+b不能表达所有函数对象,所以使用人工神经网络(也就是高阶多项式,表现形式为矩阵)作为函数通式。
由于要处理问题的复杂性(数据量和函数参数较多)目前人类的计算机无法一次性将数据全部计算出来。
故而采取大道至简,***逐步逼近法,就是不断地根据输入小批量的数据变换平移函数通式等于目标函数(数据形成的构成的某种规律)***。

如图所示,假设左图为y目标函数为y1
那么我们只要y-y1=0,y=y1 这就是所谓的损失函数。
那么我们把
问题转移到了求y-y1构成的函数的极小值。
目标;通过函数逼近法求函数通用公式的极小值
人们想到了一个场景怎么快速的下山,山低就是极小值,没走一步就计算一次哪个方向下山快(快速的达到极小值)。这每一小步就是(x0每次输入的数据),决定的方向和走几步(就是对函数通用公式的变换和平移)。
其实上面的场景人们在数学中找到了方法。如何根据当前的输入x0,估计走多远和方向。也就是向量x怎么求得。
就是根据损失函数上的当前点(x0)求附近点的x 的意思。https://baike.baidu.com/item/%E6%B3%B0%E5%8B%92%E5%85%AC%E5%BC%8F
根据泰勒公式,可以推导出x=x0-(人为干扰lr小于0-1数)*(x0位置的一阶导数)(此时的x是附近使得y-y1比x0更小的点)(泰勒公式能根据x0近似的得到f(x),由x0构成的f(x)的表达式,这样才能使得计算x,就是目标函数的近似表达式)
这样就能快速的得到极小值。实际上我们每次更新的权重才是x0和x,而输入的数据不是x0和x。这里要有一个思维转换,一堆的数据才是函数,每次取函数的一个区域,计算该区域范围内下山最快的方法。
总结上面的意思就是随机给一个点x0计算附近哪个点x使得x点的值使得y-y1的值比x0处小
如下图例子假设y-y1=x**2

更多文章请关注《万象专栏》
转载请注明出处:https://www.wanxiangsucai.com/read/cv14440