数理统计与人工智能

在我们的生活中,很多事情是不确定的,比如掷硬币,虽然理论上是确定的,但是变量太多太敏感互相的关联太复杂,所以实践上基本上算不出某次一定会掷出正面还是反面,表现出来是一个随机事件。但是多次掷硬币后我们可以得出一个确定的概率来,我们可以通过概率来从宏观上整体把握这一类事情,如交通流量控制、天气预报、人口统计、博彩、保险、金融交易以及神经网络等。
而从最微观的层面,概率是一种本性,由薛定谔波函数规定,它表明粒子是以概率的方式出现的,具有本质上的不确定性。哲学上的确定性论者爱因斯坦到死都不同意“上帝在掷色子”。
从古到今人们就喜欢赌,几百年前就有数学家专门研究这个。500年前,又是那个求解了三次方程的卡尔丹诺,他成天泡在里面,不单是自己亲身赌,还研究赌,提出了一些简单的概念。而把概率变成一个数学分支的就是前面我们提到的那个伯努利,他提出了第一个极限定理。所以现在我们可以正儿八经谈论概率统计随机过程了。

人均收入统计

概率统计中最基础的有几个概念,我们介绍一下:
样本均值,就是拿n个值求一下平均值。公式为。

数理统计与人工智能:人均收入统计_数理统计与人工智能

期望值,是指在一个离散性随机变量试验中每次可能结果的概率乘以其结果的总和。比如飞镖,某人十环的概率为10%,八环的概率为50%,六环的概率为30%,五环的概率为10%。那么此人飞镖的期望值为1010%+850%+630%+510=1.0+4.0+1.8+0.5=7.3。所以可以看出期望值不是简单的均值,也可能不是其中任何一个实际的得值。这个期望值是总体的,与样本多少没有什么关系,可以认为是普查的平均值。数学公式为:

数理统计与人工智能:人均收入统计_数理统计与人工智能_02

中位数,把所有数值从小到大排序,位置在中间的那个数为中位数,中位数把整个数值序列分成了一半。
众数,数据集中出现次数最多的那个数。
我们还是举例字比较好,每年中国的新闻媒体上都会说今年人均收入达到了多少多少,很多人觉得自己拖了国家的后腿,怪对不起国家的。其实新闻上说的没有错,普通人的感受也没有错。
我们简单一点,不看14亿个数据,就看14个数据。假定一个村子就有14个人,我们计算一下这些统计数。
人1:25000
人2:25000
人3:30000
人4:30000
人5:30000
人6:30000
人7:40000
人8:40000
人9:50000
人10:60000
人11:60000
人12:80000
人13:120000
人14:320000
一年的普查统计数据出来了:
国民总收入为:940000。历史性第突破了90万元大关。
人均收入为:67143。人均收入接近一万美元。
数据公布出来,新闻里欢欣鼓舞普大喜奔,但是有11个人心里纳闷了,我还没有达到平均值,这个数不准吧?但是新闻上明明写的是统计局权威发布。
假定马云搬到村子里来了,假定他的收入是1亿。那整个统计数据变化为:
国民总收入为:100940000。历史性第突破了1亿元大关。
人均收入为:6729333。人均收入接近一百万美元。
这个村子成了银河系第一。
学了统计学的知识,你可以分析出更多的情况,理出头绪来。
先看中位数,总共14个人,我们看排第七第八的数,是40000。说明了一半的人的年收入在40000以内。
再看众数,所有14人中,有四个人拿30000,这是最多的,所以众数为30000,也就是说从所有人中随便挑出一个人来,最有可能的是年收入30000。
从普通人来看,中位数更加接近人的直觉。当中位数与平均数偏差比较大的时候,人们的直觉就是贫富差距过大。这个差距不是总数和平均数可以描述的,还需要对偏差的程度有一个度量。
比较直观的想法是算一下各个值与平均值的差值。比如上面的14个数值,平均值为67143,那第一个值25000,与平均值的差值就是67143-25000=42143,我们求出所有差值的平均值为45510。这个值也叫平均差。
数学上更多地用方差和标准差来衡量。
方差用来计算每一个变量(观察值)与总体均数之间的差异公式为:

数理统计与人工智能:人均收入统计_数理统计与人工智能_03

。但是总体均数不好得出,所以实际上我们用样本方差,样本方差是每个样本值与全体样本值的平均数之差的平方值的平均数,公式为:

数理统计与人工智能:人均收入统计_数理统计与人工智能_04

,注意此处为1/(n-1),这是数学上做的无偏估计。
标准差就是方差的平方根。
按照公式,我们对上面的14个数得出的标准差为77378.05。
但是这个数是一个绝对值,有意义,但是意义不是那么大,我们需要的是一个偏离度。我们用标准差系数,CV(Coefficient of Variance):标准差与均值的比率。总体标准差系数的计算公式为:cv= σ/ x ×100%,σ为标准差,x为平均数。我们可以得出上面的14个数的cv为115.24%。
我们现在编一个程序,计算标准差和标准差系数。

import math

def sum(a):
    s = 0
    for i in range(0,len(a)):
        s += a[i]
    return s

def average(a):
    s = 0
    for i in range(0,len(a)):
        s += a[i]
    return s/len(a)

def deviation(a):
    avg = average(a)
    s = 0
    for i in range(0,len(a)):
        s += (a[i]-avg)**2
    return s/(len(a)-1)

def stddeviation(a):
    dv = deviation(a)
    return math.sqrt(dv)

def cv(a):
    sdv = stddeviation(a)
    avg = average(a)
    return sdv/avg

a=[25000,25000,30000,30000,30000,30000,40000,40000,50000,60000,60000,80000,120000,320000]
print(sum(a))
print(average(a))
print(deviation(a))
print(stddeviation(a))
print(cv(a))

我们可能还很想知道有多少人在平均数以下。程序可以简单地写成如下的样子:

    avg = average(a)
    count = 0
    for i in range(0,len(a)):
        if a[i]<avg:
            count += 1

不过在Python里面,我们有更好更强大的方法对批量数据进行筛选过滤。那就是filter(),写法是:filter(function, iterable)。第一个参数 function可以是函数名称或者None,第二个参数 iterable可以是序列、支持迭代的容器或迭代器。返回值为迭代器对象。其中,function函数只能接收一个参数,而且该函数的返回值为布尔值。注意了,注意了,注意了,重要的事情说三遍,filter()函数的第一个参数是一个函数,这是很特别的地方,它的语义是用这个函数对数据序列进行过滤。
我们看出来了,filter()的第一个参数其实就是一个过滤筛选条件,所以我们一半不明写这个函数而是直接给一个lambda表达式。比如小于平均值的程序我们这么些:
result=filter(lambda x:x<average(a),a)
print(list(result))
对批量数据的筛选,filter是一个经常用到的工具,也有人专门做了数据分析的库,如pandas。
经济学上有一个基尼系数,我们来看一下:
1905年,统计学家洛伦茨提出了洛伦茨曲线。将社会总人口按收入由低到高的顺序平均分为10个等级组,每个等级组均占10%的人口,再计算每个组的收入占总收入的比重。然后以人口累计百分比为横轴,以收入累计百分比为纵轴,绘出一条反映居民收入分配差距状况的曲线,即为洛伦茨曲线。如下图:

数理统计与人工智能:人均收入统计_数理统计与人工智能_05

1912年,意大利经济学家基尼根据洛伦茨曲线计算出一个反映收入分配平等程度的指标,称为基尼系数(G)。基尼系数定义为:

数理统计与人工智能:人均收入统计_数理统计与人工智能_06

当A为0时,基尼系数为0,表示收入分配绝对平等;当B为0时,基尼系数为1,表示收入分配绝对不平等。基尼系数在0~1之间,系数越大,表示越不均等,系数越小,表示越均等。
好,我们计算一下这个村子的基尼系数。实际计算的时候,是离散的数据,所以是分段求的面积,每一段的面积是一个梯形的面积:

Sk=1/2*(收入百分比k+收入百分比k-1)*(人数百分比k-人数百分比k-1

数理统计与人工智能:人均收入统计_数理统计与人工智能_07

根据14个人的数据,我们得出累计人数、累计人数百分比、累计收入及累计收入百分比的表:

累计人数

累计人数百分比

累计收入

累计收入百分比

1

7.14%

25000

2.66%

2

14.29%

50000

5.32%

3

21.43%

80000

8.51%

4

28.57%

110000

11.70%

5

35.71%

140000

14.89%

6

42.86%

170000

18.09%

7

50.00%

210000

22.34%

8

57.14%

250000

26.60%

9

64.29%

300000

31.91%

10

71.43%

360000

38.30%

11

78.57%

420000

44.68%

12

85.71%

500000

53.19%

13

92.86%

620000

65.96%

14

100.00%

940000

100.00%


根据面积公式,我们可以得出每一段的面积来:

段面积

0.000949848

0.002849544

0.00493921

0.007218845

0.00949848

0.011778116

0.01443769

0.017477204

0.020896657

0.025075988

0.029635258

0.034954407

0.042553191

0.059270517

总面积为:0.281534954。三角形总面积为0.5,得出基尼系数为281534954/0.5=0.563。
程序如下:

def gini(a): #return gini coefficient based on revenue array
    sa = [] #accumulated revenue array
    sa.append(a[0])
    for i in range(1,len(a)):
        sa.append(sa[i-1]+a[i])

    s=sum(a) #total revenu

    sar = [] #accumulated revenue ratio
    for i in range(0,len(a)):
        sar.append(sa[i]/s)

    totalarea = 0 #total area
    areas = [] #segment area
    areas.append(sar[0]*1/len(a)/2)
    totalarea = areas[0]
    for i in range(1,len(a)):
        areas.append((sar[i]+sar[i-1])*1/len(a)/2)
        totalarea += areas[i]

    return totalarea/0.5

测试运行结果正确,得出基尼系数为0.563。
国际惯例把0.2以下视为收入绝对平均,0.2-0.3视为收入比较平均;0.3-0.4视为收入相对合理;0.4-0.5视为收入差距较大,当基尼系数达到0.5以上时,则表示收入悬殊。
这个故事的结尾呢,一个大学生,毕业了,最后决定来到这个村子里,因为他看到了统计值里的人均值,而他也知道人均值是汇总了所有人的样本,所以也是期望值,于是对自己的年收入有一个期望:67143。但是最后他实际拿的是30000,众数。

 

更多文章请关注《万象专栏》