​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​摘要:最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘很简单,也在业界得到了广泛使用。

本文分享自华为云社区《最小二乘法介绍》,作者:Yan 。

最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘很简单,也在业界得到了广泛使用。

但是对于最小二乘法和它的故事,也许很多人并不了解,今天给大家做一下分享。

1801 年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过 40 天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。

时年 24 岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于 1809 年他的著作《天体运动论》中,而法国科学家勒让德于 1806 年独立发现“最小二乘法”,但因不为世人所知而默默无闻。

为了方便大家理解最小二乘法,给大家讲个故事。

假设身高是变量 X,体重是变量 Y,我们都知道身高与体重有比较直接的关系。生活经验告诉我们:一般身高比较高的人,体重也会比较大。但是这只是我们直观的感受,只是很粗略的定性的分析。

在数学世界里,我们大部分时候需要进行严格的定量计算:能不能根据一个人的身高,通过一个式子就能计算出他或者她的标准体重?

我们可以采样一批人的身高体重数据, (x1​,y1​),(x2​,y2​),⋯,(xn​,yn​),其中 x 是身高,y 是体重。

生活常识告诉我们:身高与体重是一个近似的线性关系,用最简单的数学语言来描述就是 y = \beta_0+\beta_1xy=β0​+β1​x

于是,接下来的任务就变成:怎么求出这个β0​与β1​呢?

为了计算β0​,β1​​的值,我们采取如下规则:β0​,β1​应该使计算出来的函数曲线与观察值的差的平方和最小。用数学公式描述就是:

最小二乘法,了解一下?_数据处理

更多文章请关注《万象专栏》