机器学习入门机器学习入门 (40).pdf

《机器学习入门机器学习入门 (40).pdf》由会员分享，可在线阅读，更多相关《机器学习入门机器学习入门 (40).pdf（17页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、目目 录录7反向传播过程反向传播过程8搭建神经网络搭建神经网络9神经网络的优化神经网络的优化全连接神经网络的应用全连接神经网络的应用106前向传播过程前向传播过程全连接神经网络的应用10要求：要求：用用300300个符合正态分布的随机点个符合正态分布的随机点XxXx0 0,x,x1 1 作为数据集，根据点作为数据集，根据点XxXx0 0,x,x1 1 的不同进行标注的不同进行标注Y Y，将数据集标注为红色和蓝色。，将数据集标注为红色和蓝色。标注规则为：标注规则为：当当x x0 02 2+x+x1 12 2 2 2 时，时，y_=1y_=1，点，点X X标注为红色；标注为红色；当当x x0 02

2、 2+x+x1 12 2 2 2 时，时，y_=0y_=0，点，点X X标注为蓝色。标注为蓝色。分别用无正则化和有正则化、指数衰减学习率的方法实现。指数衰减学分别用无正则化和有正则化、指数衰减学习率的方法实现。指数衰减学习率可以优化效率，正则化可以提高泛化性，把红色点和蓝色点分开。习率可以优化效率，正则化可以提高泛化性，把红色点和蓝色点分开。10.1 应用1网络模型a11a12a110ya13b1b2训练过程加入了正则化训练过程加入了正则化训练过程没有加入正则化训练过程没有加入正则化对比无正则化与有正则化模型的训练结果，可看出有正则化模型的对比无正则化与有正则化模型的训练结果，可看出有正则化模

3、型的拟合曲线更平滑，模型具有更好的泛化能力。拟合曲线更平滑，模型具有更好的泛化能力。对比可知，使用正则化，并再对比可知，使用正则化，并再加入指数衰减学习率加入指数衰减学习率，红色点和蓝色红色点和蓝色点的分割曲线相对平滑，效果变好。点的分割曲线相对平滑，效果变好。训练过程没有加入指数衰减学习率训练过程没有加入指数衰减学习率训练过程加入指数衰减学习率训练过程加入指数衰减学习率要求：要求：搭建单层的全连接神经网络，在搭建单层的全连接神经网络，在MNISTMNIST手写体数据手写体数据集上训练模型，完成分类任务，进行手写体数字集上训练模型，完成分类任务，进行手写体数字0-90-9的识别的识别。10.2

4、 应用2一、数据集的准备读取读取MNIST中训练集的图片数据和标签数据。中训练集的图片数据和标签数据。MNIST 数据集可在数据集可在http:/ 验证集：验证集：5000张张 测试集：测试集：10000二、定义前向传播构建线性模型：构建线性模型：u 定义模型函数：定义模型函数：Y=W*X+b 每种结果值的概率：每种结果值的概率：Ypred=softmax(Y)u 设置超参数：学习率设置超参数：学习率0.01。u 定义模型结构；定义模型结构；模型结构Yb0：是：是/否否1：是：是/否否9：是：是/否否softmax三、定义反向传播构建线性模型：构建线性模型：u 训练模型，定义损失函数训练模型，

5、定义损失函数:交叉熵交叉熵 u 定义梯度下降优化器、迭代训练，训练轮数定义梯度下降优化器、迭代训练，训练轮数50，批大小批大小100。u 训练过程显示损失函数训练过程显示损失函数Loss和准确率和准确率Accuracy。四、评估模型u 在测试集上测试准确率在测试集上测试准确率Accuracy：预测类别和标签去比较，：预测类别和标签去比较，计算正确个数，除以总个数，即为准确率，本例中为计算正确个数，除以总个数，即为准确率，本例中为85.5%。u 若准确率不够高，可以调整模型参数，调整训练轮数，调整若准确率不够高，可以调整模型参数，调整训练轮数，调整模型，或者利用正则化、指数衰减学习率、滑动平均等方法模型，或者利用正则化、指数衰减学习率、滑动平均等方法优化网络。优化网络。五、模型应用利用模型进行手写体数字识别，并显示。利用模型进行手写体数字识别，并显示。在训练网络模型时，常将正则化、指数衰减学习率和滑在训练网络模型时，常将正则化、指数衰减学习率和滑动平均等方法作为模型优化方法。动平均等方法作为模型优化方法。10.3 小结本章总结0102030405全连接网络前向传播网络优化反向传播感知机感谢聆听！感谢聆听！