target -- the real label, a scalar or numpy array size (n,) prediction -- the output of model, a scalar or numpy array, size (n, c) Return: mean loss -- cross_entropy_loss(target, prediction) # write your code here delta 1e-6 return -np.sum(prediction * np.log(target delta))
loss cross_entropy_loss(target, softmax(prediction)) dw, db backward(x, target, prediction) # update w and b w w - learning_rate * dw b b - learning_rate * db print( iter {}, w {}, b {}, loss {} .format(i, w, b, loss))

初次的实验结果如下

        可见按照定义写出函数时结果并不理想 因为在main代码中设置的参数权重都设置为0了 导致log以后数值无穷 导致内存溢出 且一般这样做的效果并不好 在Andrew Ng的DL课程中有对应的解释。

        把权重或者参数都初始化为0 那么梯度下降将不会起作用。把权重都初始化为0 那么由于隐含单元开始计算同一个函数 所有的隐含单元就会对输出单元有同样的影响。一次迭代后同样的表达式结果仍然是相同的 即隐含单元仍是对称的。这个问题的解决方法就是随机初始化参数。把 设为np.random.randn m, num_class (生成高斯分布) 通常再乘上一个小的数 比如0.01 这样把它初始化为很小的随机数 只要随机初始化 你就有不同的隐含单元计算不同的东西 因此不会有symmetry breaking 问题了。

        由于不能修改main中的初始化代码 因此我在网上查找了对应的解决方法 发现可以通过对数据精度的处理解决这个问题 这里我通过添加delta量 改变了浮点数的精度为1e-6 计算效果良好。如下所示

初学人工智能导论 可能存在错误之处 还请各位不吝赐教。

受于文本原因 本文相关实验工程无法展示出来 现已将资源上传 可自行下载。

山东大学人工智能导论实验2工程文件-前向传播和反向传播-深度学习文档类资源-CSDN下载山东大学人工智能导论实验2工程文件-前向传播和反向传播详解博客地址 https://blog.cs更多下载资源、学习资料请访问CSDN下载频道.https://download.csdn.net/download/m0_52316372/85912862


内容:假设X有n个样本,属于m=3个类别, a^m表示样本属于第m类的概率,请实现 的三次前向传播及反向传播(更新参数ω和b),每次反向传播结束后更新并输出参数ω和b的值,计算cross entropy loss,其中σ(∙)表示sigmoid函数。目标:理解前向传播和反向传播,应用作业一中提到的基本操作 代码要求:按代码模板实现函数功能。文档要求:前向传播及反向传播涉及到的公式计算(参考)粘贴代码输出结果截图。............ 复制链接

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

更多文章请关注《万象专栏》