Perceptron Hypothesis Set【图文】

https://mmbiz.qpic.cn/mmbiz_jpg/WwIcQHkD5mcajjoG6LuRUZ8TF2PHZiaqnJ15RJg25kvjjLgp9Kwuv0oyUExDLibmqticGp128vhBbKiaq6ia3maafLg/640?wx_fmt=jpeg" alt='Perceptron Hypothesis Set_机器学习' />Perceptron Hypothesis Set

    0.说在前面

1.机器学习的过程

2.感知机

3.作者的话

0.说在前面

今天开始更新机器学习系列，近日主要研究机器学习基石以及西瓜书等方面的学习，本文将更新机器学习基石的相关笔记。

1.机器学习的过程

根据模型H，使用算法A，在训练样本D上的进行训练，得到最好的h，其对应的g就是最后机器学习的函数模型，一般g接近于目标函数f，如下图所示：

https://mmbiz.qpic.cn/mmbiz_png/WwIcQHkD5mcajjoG6LuRUZ8TF2PHZiaqn0POFBHSGuSuExqekOJQ0kFWA3Sn2jhG8zibZutskOUfIuPBfuTu8ttA/640?wx_fmt=png" alt='Perceptron Hypothesis Set_机器学习基石_02' />

ML图

2.感知机

这里引入了一个银行发卡例子，某银行需要根据用户的年龄、收入、性别等来判断是否给当前用户发银行卡。

现在有个训练集D，表示之前用户是否发卡与用户基本信息的关系数据。针对这个D，通过使用算法A，在H中选择最好的h，进而得到g，接近目标函数f。银行利用这个机器学习模型以对用户进行判断：发卡(+1),不发卡(-1)。

到这里，想到了什么？

那就是这个结果竟然跟sigmoid函数取值很像。

在这个机器学习过程中，需要着重看中一个选择，那就是模型选择，也就是Hypothesis Set。

下面介绍一个常用的Hypothesis Set：感知机。

以上述是否给用户发银行卡为例，我们把用户的个人信息作为特征向量x，总共有d个特征，并且给每个特征赋以不同的权重w，表示该特征对输出(是否发信用卡)的影响程度。

在把所有的特征加权和的值与一个设定的阈值threshold进行比较。如果最终结果是大于这个阈值，输出为+1，表示发卡，否则输出为-1，表示不发卡。

https://mmbiz.qpic.cn/mmbiz_png/WwIcQHkD5mcajjoG6LuRUZ8TF2PHZiaqn9Zzj4T17dblOBfeQ7SVa5CEFB3sGOK3BLo8UryqHJWNCaZWkSRDLMA/640?wx_fmt=png" alt='Perceptron Hypothesis Set_机器学习_03' />

感知机图

 

感知机模型，就是当特征加权和与阈值的差大于或等于0，即输出h(x)=1；当特征加权和与阈值的差小于0，即输出h(x)=-1。我们的目的是计算出所有的权重w和阈值threshold。

然后为了计算方便，将阈值部分合并至累加求和里面。设为w0x，并且将求和的公式看为两个向量进行运算。

这里的w为d行1列，x也为d行1列的向量。

https://mmbiz.qpic.cn/mmbiz_png/WwIcQHkD5mcajjoG6LuRUZ8TF2PHZiaqndlTAq87uT3raZ012eacmagO4nR4QgBg0NvZUAf2rA98B1qw9GIpxPg/640?wx_fmt=png" alt='Perceptron Hypothesis Set_机器学习_04' />

简化图

 

为了更好的说明感知机模型，这里假设感知机在二维平面上，即h(x)=sign(w0+w1*x1+w2*x2)。h(x)可以看出是一条分类直线，一侧为正类(+1)，另一次为负类(-1)，权重的不同对应于不同的直线。其中+1，-1表示最后的y。

 

https://mmbiz.qpic.cn/mmbiz_png/WwIcQHkD5mcajjoG6LuRUZ8TF2PHZiaqn5uN4SvhnvQT7rtNaK5xjS3qtWicfTto7t1QXibq67ef4xP0NAcAKIfKw/640?wx_fmt=png" alt='Perceptron Hypothesis Set_公众号_05' />

二维结果图

 

这样的perceptron成为linear（binary） classifier，即用一条直线区分两种不同类型的结果。

 

 

更多文章请关注《万象专栏》