(4.5)--4.5 软间隔SVM机器学习与模式识别.ppt

《(4.5)--4.5 软间隔SVM机器学习与模式识别.ppt》由会员分享，可在线阅读，更多相关《(4.5)--4.5 软间隔SVM机器学习与模式识别.ppt（21页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、Solving Soft Margin SVM软间隔隔SVM求解求解CHAPTER ONE问题模型Problem model 一、问题模型一、问题模型大多数分类问题是线性不可分的我们需要一个允许出现分类误差的模型软间隔样本在一定程度下可以侵入到分类间隔区域内部问题的提出线性不可分代理损失(surrogate loss)考虑侵入间隔区域的样本，设计一个新的损失函数。其中：一、问题模型一、问题模型代理损失(surrogate loss)常用的代理损失一、问题模型一、问题模型松弛变量的引入如果采用Hinge loss,可对每一个训练样本(,)引入对应的“松弛变量”，此时对应的优化目标为：相应的约束条

2、件变为：引入松弛变量，放宽了约束条件，因此可以解决线性不可分问题。思考：目标函数中的 起到了什么作用？一、问题模型一、问题模型惩罚系数C(1)C比较小时(2)C比较大时-越小，越大间隔变大-越大，越小间隔变小一、问题模型一、问题模型软间隔的原始问题相应的拉格朗日函数为：则软间隔SVM的原始问题为：一、问题模型一、问题模型CHAPTER TWO问题转化Problem transformation软间隔的对偶问题原始问题的拉格朗日对偶问题为：其中将(1)(2)(3)式代入(,)中，可得二、问题转化二、问题转化软间隔的对偶问题考虑约束条件拉格朗日对偶问题可以重写为：二、问题转化二、问题转化软间隔的K

3、KT条件软间隔SVM优化问题的KKT条件变为：其中:二、问题转化二、问题转化KKT条件的解释对于软间隔KKT条件，可以进行如下解释:=0 0二、问题转化二、问题转化KKT条件的解释二、问题转化二、问题转化CHAPTER THREE模型解释Model Explanation经验风险与结构风险 有别于软间隔SVM的几何解释，还可以对优化问题进行如下改造：其中三、模型解释三、模型解释经验风险与结构风险模型越简单，经验风险越大，结构风险越小。模型越复杂，经验风险越小，结构风险越大。用来调和经验风险和结构风险之间的矛盾。三、模型解释三、模型解释过拟合与正则化（二）奥卡姆剃刀原理（Occams Razor）:在所有能够解决当前训练数据集上的分类问题的模型假设中，我们应该选择其中最简单的一个假设。三、模型解释三、模型解释总结SummaryCHAPTER FOUR问题模型软间隔软间隔SVMSVM求解求解模型解释问题的提出引入松弛变量代理损失软间隔的原始问题问题转化软间隔的对偶问题软间隔的KKT条件KKT条件的解释经验风险与结构风险过拟合与正则化LM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听