真实标签为 y*∈{-1 1}

预测标签为 y w和f(x)在同一平面则为正样本 y 1 反之y -1

如果分类正确 不更新w 分类错误则更新 w

w w y* · f(x)   其中y* 1或-1

在多分类中

输入特征向量 f(x) 

每个类别的权重 向量 

 预测标签为 y 取最大的一个类别标签

如果分类正确 不更新w 分类错误则更新 w 此时需要分别对正确和错误的两个w进行更新

关键点 减小错分类别的向量点积 增大真实类别的向量点积

          

激活函数 - 概率决策

 

⚠线性回归 

 L2 loss 所有样本的平方误差和

例

 

 

决策树 Decision Trees 决策树构建递归退出条件C 当前样本集D包含的样本属于同一类别C当前属性集A为空或样本集D中所有样本在所有属性上取值相同 但类别可能不相同 当前结点包含的样本集为空 信息熵 Entropy

信息熵是度量样本集合纯度的指标

假定当前样本集合D中第k类样本所占比例为pk k 1 2 ... |y| 则D的信息熵的定义为

 Ent(D)的取值范围为 [0,log2|y| ] 值越小 纯度越高

计算信息熵时约定 若p 0 则 0

信息增益 Information Gain

样本集D的某个离散属性a有V个可能的取值 用a来对D进行划分则会产生V个分支结点 其中第v个分支结点包含了D中所有在在属性a上取值为的样本 记为。定义用属性a对样本集D进行划分所获得的信息增益为

一般而言 信息增益越大 意味着使用属性a来进行划分获得的纯度提升越大

在ID3算法中选择信息增益大的属性来划分样本集

⚠ID3算法实例

 

 

至此人工智能复习笔记更新完毕 后续有时间会更新一下实验的讲解 包括基于A*算法的八数码问题求解、ID3决策树实战、以及Q-learning和Sarsa实现的悬崖问题求解。 


本复习笔记基于李晶晶老师的课堂PPT与复习大纲，供自己期末复习与学弟学妹参考用。本节是人工智能复习的最后一小节，重点在于了解概念，会做计算题。电子科技大学人工智能期末复习笔记（一）：搜索问题电子科技大学人工智能期末复习笔记（二）：MDP与强化学习电子科技大学人工智能期末复习笔记（三）：一阶逻辑电子科技大学人工智能期末复习笔记（四）：概率与贝叶斯网络。 复制链接
EasyConnect登陆报错：拉起虚拟网卡失败，请确保虚拟网卡已经安装在系统上并处于启用状态，然后再重新登录解决此问题。 8425

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

更多文章请关注《万象专栏》