基于智能优化的支持向量机分类方法研究-张进.pdf

《基于智能优化的支持向量机分类方法研究-张进.pdf》由会员分享，可在线阅读，更多相关《基于智能优化的支持向量机分类方法研究-张进.pdf（50页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、IIIIIll LIIIIIIIIIIlllllllllllll Llll Ll1llllllllY321 9353分类号学号垫!13ZQ3QQg密级5蔫菇峰拨走哮硕二学位论文基于智能优化的支持向量机分类方法研究学位申请人：学科专业：指导教师：答辩日期：张进计算机科学与技术一工眭2017芏!旦!堕万方数据A Dissertation Submitted in Partial Fulfillment of the Requirementsfor the Degree of Master in Engineering(Research on support vector machineclassi

2、fication method based on IntelligentOptimization)Master Candidate：Major：Supervisor：ZhangjinComputer science and technologyDingshengWuhan University of Science and TechnologyWuhan，Hubei 430081，PRChinaJune，2017万方数据武汉科技大学研究生学位论文创新性声明本人郑重声明：所呈交的学位论文是本人在导师指导下，独立进行研究所取得的成果。除了文中已经注明引用的内容或属合作研究共同完成的工作外，本论文不

3、包含任何其他个人或集体己经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以睨确方式标明。申请学位论文与资料若有不实之处，本人承担一切相关责任。论文作者签名：盏遄 日期：2 12：6：!研究生学位论文版权使用授权声明本论文的研究成果归武汉科技大学所有，其研究内容不得以其它单位的名义发表。本人完全了解武汉科技大学有关保留、使用学位论文的规定，同意学校保留并向有关部门(按照武汉科技大学关于研究生学位论文收录工作的规定执行)送交论文的复印件和电子版本，允许论文被查阅和借阅，同意学校将本论文的全部或部分内容编入学校认可的国家相关数据库进行检索和对外服务。论文作者签名： 主垒垃指

4、导教师签名： 翻鎏LEI 期：垫!j；丘：王万方数据摘要支持向量机(SVM)对于解决分类的问题具有良好的性能，其中特征选择和参数优化对分类精度有较大影响。在特征中存在一些冗余特征，增加了算法的时间和空间复杂度，必须进行特征选择对数据进行降维。此外参数也会影响到最终的分类精度。这两个因素相互影响，如何对特征选择和参数进行同步优化以提高分类的效率己成为研究的趋势。本文提出了一种改进的基于粒子群优化(VSO)f拘SVM特征选择和参数联合优化算法(GPSOSVM)，使算法在提高分类精度的同时选取最佳的特征子集。传统粒子群算法在进行优化时易出现陷入局部最优和早熟的问题，为了克服这一缺点，该算法在PSO中

5、引入遗传算法(GA)中的交叉变异算子，使粒子在每次迭代更新后进行交叉变异操作来避免这一问题。该算法通过粒子之间的不相关性指数决定粒子之间的交叉配对，由粒子适应度值的大小决定变异概率的大小，由此产生新的粒子进入到群体中。这样使得粒子跳出当前搜索到的局部最优位置，提高群体的多样性，在全局范围内寻找更优值。在不同数据集上进行实验，与其它优化算法相比，GPSOSVM算法的分类精度更高，特征选择能力更好。鉴于GPSOSVM算法虽然提高了精度，但迭代周期较长，本文使用了思维进化算法进行特征选择和参数的同步优化。思维进化算法(MEA)是一种新型优化算法，利用该算法进行特征选择和SVM参数同步优化能取得较好的

6、分类效果并且迭代周期相对较短，但也存在着易陷入局部最优的问题。本文提出了一种改进的思维进化算法进行分类器优化(RMEASVM)，在传统思维进化算法的基础上引入了“学习”和“反思”机制，利用子群体间信息共享进行学习，比较适应度值大小来反思。以这种方式保证种群的多样性，进一步地提高分类精度。实验证明了算法的有效性。本文利用两种优化算法解决SVM的特征选择和参数同步优化的问题，分类精度更高，特征选择能力更强，取得了不错的效果。关键词：支持向量机：特征选择；参数优化；粒子群优化算法；思维进化算法万方数据AbstractSupport vector machine(SVM)has a good perf

7、ormance in solving classificationproblem，among which feature selection and parameter optimization have a greatinfluence on classification accuracyThere are some redundant features in the feature，which increase the time and space complexity of the algorithm，SO the feature selectionmust be used to red

8、uce the dimension of the dataIn addition，the parameters will alsoaffect the final classification accuracyThese two factors influence each other,and howto optimize the feature selection and parameters synchronization to improve theefficiency of classification has become a research trendAiming at this

9、 problem，an improved algorithm based on particle swarmoptimization(PSO)for feature selection and SVM parameters optimization(GPSOSVM)is proposed to improve the classification accuracy and select the best feature subsetInorder to solve the problem that the traditional particle swarm algorithm is easy

10、 to fall intolocal optimum and premature maturation，the algorithm introduces the crossover andmutation operator from genetic algorithm(GA)that allows the particle to carry out crossand mutation operations after iteration and update to avoid the premature problem inPSOThe crossover particle is select

11、ed by the irrelevance index between the particlesand the mutation probability is determined by the fitness value of the individual，by thisway to make the particles jump out of the previous search to the optimal position toimproved the diversity of the population and found a better valueCompared with

12、 thestandard particle swarm algorithm and genetic algorithm for feature selection andparameter optimization，experimental result show that GPSOSVM can find theappropriate feature subset and parameters of the SVM to obtain beRer classificationperformanceAlthough the GPSOSVM algorithm improves the accu

13、racy,it has a longer iterationperiodThis paper uses mind evolutionary algorithm(MEA)to optimize the featureselection and parameter synchronizationMind evolutionary algorithm is used for featureselection and SVM parameters optimization Can achieve good classification results，butthere are also some pr

14、oblems such as easy to fall into local optimumAiming at thisproblem，an improved mind evolutionary algorithm for feature selection and SVMII万方数据parameter optimization is proposed into which the”learning”and”reflection”mechanismare introducedThe algorithm learning through the information sharing among

15、 subgroupsand reflects through the comparison of the fitness valueIn this way to ensure thediversity of population and ftuther improve the classification accuracyExperimentalresults show the effectiveness ofthe algorithmIn this paper,we use two optimization algorithms to solve SVM feature selectiona

16、nd parameter optimization problem，the classification accuracy is higher and the featureselection ability is stronger,and finally achieved good resultsKeywords：support vector machine；feature selection；parameter optimization；particleswarm optimization；mind evolutionary algorithm；I万方数据目 录摘 要IABSTRACT，I

17、I第1章绪论111研究背景和意义112研究现状11-3本文研究的工作314论文组织3第2章相关理论知识42，1支持向量机(SVM)4211函数间隔与几何间隔4212最优分类面一521-3核函数522特征选择6221特征选择定义一6222特征选择作用6223特征选择过程7224特征选择方法723本章小结8第3章改进的基于PSO的特征选择及SVM参数联合优化算法931粒子群算法931。l算法流程9312算法参数lO313算法的特点1l32 GPSOSVM算法11321粒子编译码11322适应度函数1232-3惯性权重12324交叉操作13325变异操作15326算法流程1633实验研究18331实

18、验环境和实验数据18万方数据332实验评价方法18333实验参数设置19334实验结果与分析1934本章小结。24第4章学习反思的思维进化算法进行特征选择及SVM参数同步优化2541思维进化算法25411算法简介25412算法流程26413算法的特点2742 RMEASVM算法27421“学习”机制27422“反思”机制28423算法流程2843实验研究一30431实验环境和实验数据30432实验参数设置3 1433实验结果与分析3 l44本章小结一36第5章结论与展望37致谢38参考文献39附录1攻读硕士学位期间发表的论文42V万方数据武汉科技大学硕士学位论文11研究背景和意义第1章绪论分类

19、问题是数据挖掘【I】和机器学习中的一个主要研究领域，支持向量机(Support Vector Machme)Br,够较好地解决分类的问题。但随着对分类的有关问题不断地研究，数据正变得越来越庞大，特征数目变得越来越高。虽然大量的特征提供了足量的信息，但庞大的数据对象中必然存在着许多冗余特征，一方面这些冗余特征使得分类的正确率降低，另一方面会增加算法的运行时间和空间，降低算法的效率【2】。面对这个问题，在对数据集进行分类时，往往需要对数据进行处理来获取其中的有效信息，其中特征选择是一种有效的手段。通过特征选择对数据进行降纠】来达到减少特征的数目。另一方面，参数的选取也决定了SVM分类器的分类能力，

20、好的参数设置能有效提高分类器的性能。参数优化问题也是分类问题中的研究重点，到目前为止，对于如何求取SVM最佳参数并没有特别有效的方法。其中，交叉验证【5击】和网格搜索7-81是一种常用的算法，但是该算法比较费时而且效果不理想。SVM作为一种分类算法，在优化过程中就面临两个问题：一是如何选择最佳的特征子集；二是如何设置最佳的SVM参数。特征子集的选取在很大程度上影响到SVM的分类精度和运行时间，SVM核函数的参数设置决定了分类器的分类性能。特征选择与参数优化作为两个不同的研究方向往往是分开来进行的，但是特征选择和参数优化事实上是相互影响的，选择不同的特征子集其所对应的最佳参数往往是不同的。所以同

21、步进行特征选择和参数的优化来改善分类器的性能。用以提高分类精度已成为分类问题中的研究热点。12研究现状在特征选择方法研究中，Li9提出了种无监督的特征选择方法，将聚类分析和稀疏结构引入到特征选择过程中，通过稀疏方式优化特征结构，通过聚类分析得出聚类标记来指导特征选择；Tabakhi101提出了一种基于蚁群算法的无监督特征选择方法，通过计算特征之间的相似性来最大程度上减小冗余。姚登举111提出万方数据武汉科技大学硕士学位论文了一种基于随机森林的封装式特征选择算法，利用随机森林算法的变量重要性度量进行特征重要性排序，利用序列后向选择方法(Sequential backward selection，

22、SBS)和广义序列后向选择方法(Generalized sequential backward selection，GSBS)选取特征子集：王利琴【12】提出了一种精英遗传算法进行特征选择，先进行全局大范围搜索然后进行局部重点搜索，设计新的选择算子以淘汰劣质粒子，加入新的个体，保证算法在全局范围内进行搜索。不同的特征选择算法在不同的分类器上会表现出不同的性能，所以特征选择算法还处于不断发展中。SVM参数优化研究中，主要的优化算法主要包括穷举法，梯度下降法，这些方法虽然简单但耗时较长。己有学者提出运用智能算法对其进行优化操作，如高雷阜【l那提出的应用人工鱼群算法来选择参数，zhangtl4】等提

23、出的把蚁群算法和并行算法进行结合来求解SVM参数；zhou【15】提出基于Fisher准则和最大熵原理的最优选择方法，先利用Fisher标准优化SVM参数，然后引入最大熵原理调整算法的优化性能。王震宇【l 6】提出了基于混沌果蝇优化算法对SVM进行参数优化，通过加入混沌算法来提高种群多样性和扩大遍历空间，最终提高算法精度。这些算法在一定程度上都能取得不错的效果，但仍然存在一些缺陷，如人工鱼群算法中视野和步长等参数需要人为指定，而这些参数对最终的结果有直接的影响；果蝇优化算法虽收敛速度快但易陷入局部最优等问题。所以需要优化算法一方面能尽量少的参数指定，另外在优化过程中能跳出局部最优解，争取达到全

24、局最优。随着分类问题研究的深入，采用二进制编码的方式进行特征选择和参数的同步优化。已有学者对其进行了部分研究，LINt】提出了基于PSO的特征选择和参数同步优化口SOSVM)算法；Huangtl8】提出了应用遗传算法(Genetic Algorithm，GA)N步进行特征选择及SVM参数优化的(GASVM)方法。陈渊【l 9】等研究蜜蜂的行为，通过模拟自然界中蜜蜂的觅食行为寻找最优解，提出基于蜜蜂算法进行支持向量机的特征选择和参数优化。采用原始的优化算法虽然能达到一定的分类精度，但优化算法各自有缺陷，所以可以改进原始的算法以提高优化效率。杜占龙【201等在原始遗传算法的基础上，提出了基于混沌遗

25、传算法的SVM特征和参数优化，通过变尺度的混沌遗传算法，联合优化染色体编译码，利用混沌的遍历性产生初始种群，改进遗传算法中的交叉算子，动态缩减寻优区间，以实现分类器特征子集选取和参数的联合优化；汪容贵211等提出了基于NGA的特征选择和SVM参数优化，该方法针对遗传算法存在早熟收敛以及后期收敛速度慢的弱点，采用基于小生物境(niche)技术改进遗传算法，较好的保持了种群多样性，提高了分类正确率。这些算法通过动态扩展搜索空间，防止早熟收敛，但都是在原有的机制2万方数据武汉科技大学硕士学位论文下进行改进，没有加入新的机制，导致优化效率有限。所以可以考虑综合不同优化算法的优点来改进优化算法。13本文

26、研究的工作本文提出了一种改进的基于粒子群优化的SVM特征选择和参数联合优化算法(GPSOSVM)，使算法在提高分类精度的同时选取尽可能少的特征数目。为了解决传统粒子群算法在进行优化时易出现陷入局部最优和早熟的问题，该算法在PSO中引入遗传算法(GA)中的交叉变异算子，使粒子在每次迭代更新后进行交叉变异操作来避免这一问题。努力使得粒子能跳出当前搜索到的局部最优值，提高群体的多样性，在更大范围内寻找更优值。在不同数据集上进行实验，然后与原始的优化算法相比，分析GPSOSVM算法的优化效果。粒子群算法迭代过程需要花费较长的时间，本文引入了另一种智能优化算法一思维进化算法并进行改进用于SVM参数和特征

27、选择的同步优化。思维进化算法(mind evolutionary algorithm)是模仿人类思维进化过程而提出的一种新型进化算法。利用思维进化算法(MEA)进行特征选择和SVM参数同步优化能取得不错的分类效果而且由于其迭代次数少，运行速度相对较快，但是易陷入局部最优，无法进一步提高分类精度。针对这一问题，提出了一种改进的思维迸化算法进行分类器优化(RMEASVM)，在传统思维进化算法的基础上引入新的机制，通过这种方式保证种群的多样性，加快收敛速度，进一步地提高分类精度。14论文组织本论文的整体结构为：第一章的内容是研究的背景和意义，研究现状以及本文的研究工作。第二章是相关理论知识，简述了支

28、持向量机(SvM)和特征选择的基本原理和过程。第三章是改进的基于PSO的特征选择及SVM参数联合优化算法(GPSOSVM)，在原有粒子群算法的基础上提出了改进的算法，与其他算法进行对比实验验证算法的性能。第四章是改进的思维进化算法进行SVM特征选择和参数联合优化算法(RMEAsvM)，在原始算法中加入了新的机制，与其他算法进行对比实验验证算法的性能。第五章是结论与展望，对本文的研究工作进行总结。万方数据武汉科技大学硕士学位论文第2章相关理论知识21支持向量机(S田支持向量机【2224l(Support Vector Machine)是Cortes和Vapnik首先提出的一种基于统计学习理论的机

29、器学习算法，用来处理分类和回归的问题。在面对统计样本较少、非线性可分和高维度数据处理中能获得良好的统计规律。支持向量机方法通过寻求结构风险最小化，根据有限的样本信息在模型的复杂性和学习能力之间求取最佳平衡，以期获得最好的泛化能力。支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的求取间隔最大的线性分类器，其学习算法是求解最优凸二次规划。211函数间隔与几何间隔一个数据点距离超平面距离的远近程度可以表示出分类预测的准确程度，越远分类越可信。在超平面w*x+b=O确定的情况下，1w卑x+b旧皂够表示点x到超平面的间隔大小，而分类的正确与否可以由W幸x+b的符号与类标记Y的符号是否一致来

30、判定。所以可以将类标记Y与wx+b两者相乘，通过其正负性来判定最终的分类结果是否正确。函数间隔(functional margin)公式如下：所=Yi(薯+6)(21)超平面(w，b)关于整个训练集的函数间隔是训练集中所有样本点(xi，yi)到超平面的函数间隔中的最小值，其中xi是特征，yi是分类标签，i表示第i个样本：y=rainO=1,2，2) (22)虽然函数间隔(functionalmargin)可以表示分类预测的正确与否，但在选择分类超平面时，如果对W和b进行等比例的变换，如将W和b变换为原来的2倍，虽然此时超平面没有被改变，但函数间隔的值大小为原来的2倍。面对这一情况，考虑对法向量

31、W进行约束，使得函数间隔的值为固定的，这就是几何间隔(geometrical margin)，其公式为：4万方数据武汉科技大学硕士学位论文212最优分类面y=守=寄 (23)在二维平面上，支持向量机(SVM)需要计算得到一条最优分类线，一方面能正确划分数据集，另外还要使两边数据集的几何间隔最大，即使最难划分的数据点也能将它们正确区分。这样的分类线才能保证在未知的数据集上也有最好的分类效果，推广到高维空间，最优分类线就成为最优分类面。目标函数可以定义为：需要满足约束条件：max y (2_4)M(wr-4-6)：多f多，i：1，2，2 (25)M(w1 6)=yfy，=1，2 Lz。)J 令7=

32、1时y=lllwll，上述的目标函数y转化为：一南，且屯乃(，t舶)l，汪l，门 (26)即求o wlI最小值，相当于求扣wIl2的最小值，问题等价于：lIlin扣叫12姐，y,(wrxi+6)l，f_1，九(2-7)转换成为一个凸二次规划问题。213核函数在现实任务中，原始的样本空间可能不存在一个超平面，能够将数据集正确区分。这种情况下可将在低维空间内线性不可分的数据集经过非线性方式映射到高维空间，使得数据在这个特征空间中线性可分。通过非线性变换将输入空间映射到另外的一个特征空间，隐式地定义映射函数和特征空间，不需要了解变化的方程式和参数的具体值。通过核函数251可以有效实现这一问题，核函数

33、定义为：5万方数据武汉科技大学硕士学位论文k(x，z)=(g(曲o(z)其中彩表示从输入空间到特征空间F的映射。22特征选择(2-8)特征选择是机器学习问题中的重要部分，在机器学习任务中往往需要对数据进行特征选择然后进行学习的过程。随着机器学习研究的深入，研究的对象由于属性过多正变得越来越庞大，对高维度特征的处理已无可避免。通过特征选择提取出最重要的特征，去除掉不相关的特征，可以减轻特征属性过多导致的问题，降低学习的难度。研究表明，好的特征选择能有效提升模型的性能，更能帮助我们理解数据的特征，这对改进模型和算法都有着重要的意义。221特征选择定义特征选择是指在数据集中运用相应的特征选择算法，从

34、原始特征中构造一个特征子集，主要包括特征筛选和特征提取。特征筛选指从数据特征中筛出有效特征，去除冗余特征，最终提取部分特征作为特征子集来构建模型。特征提取指通过某些方式对样本进行映射或变换，降低特征的维度。对特征选择的定义有所不同，可以从不同的角度定义特征选择，Koller【26】认为是在不影响分类结果并且不改变数据的原始分布情况下，选择最小的特征子集。Dash27认为特征选择应该是在保证分类精度的前提下，尽量选择低维度的特征子集。John【28】则是通过分类精度对特征选择进行定义。对特征选择的定义主要有：(1)从所有特征集合中选取具有N个特征的特征子集，使得这个在所有包含N个特征的集合中表现

35、是最优的。(2)预先给定分类器的性能阈值，在保证分类正确率大于阈值的情况下选择最少的特征数目。(3)在保证能识别出对象的前提下寻找出维度最低的特征子集。222特征选择作用在特征选择过程中，与分类结果无关的冗余特征被删除，起到减少数据处理规模和计算量的作用，存储空间能大大节省。更重要的是，特征选择选取其中对结果影响最大的特征变量，剔除其中的冗余特征变量来达到提高正确率的目的。特征选择的作用主要有：6万方数据武汉科技大学硕士学位论文(1)降低数据存储空间。在高维数的特征空间中去除无关的特征，仅需要一部分特征上构建模型，维度灾难问题大为减轻，数据的存储空间也大大降低。(2)提高模型的泛化能力。特征选

36、择后只保留主要特征，降低噪音的干扰，这样训练出来的模型更容易推广到未知的数据集上。(3)节省训练的时间。数据特征数目的多寡是影响分类器训练时间的一个重要因素，维数越高的数据集训练所需要的时间越长。通过特征选择能有效降低训练时间。223特征选择过程特征选择理论上可以通过列举特征子集或者通过专家建议得到最优特征子集，但随着特征维度的增加，这种方法已无法满足需求。作为整体的特征选择框架f2卅也在不断地完善和进步。特征选择的过程主要包括：(I)子集生成：通过设定的搜索策略在特征上进行搜索，找到满足条件的子集。(2)子集评价：通过设定的评价策略对生成的特征子集进行评测。(3)停止条件：当满足停止条件时停

37、止搜索，不满足条件时算法继续进行迭代。H)结果验证：将经过特征选择后的特征子集进行训练和测试，比较不同情况下的结果，判定所选特征子集的优劣。224特征选择方法特征选择方法按照特征选择的过程可分为以下三种：完全搜索，启发式搜索和随机搜索。一个具体的搜索算法会采用两种或多种搜索策略，如遗传算法既是一种随机搜索算法，也是一种启发式搜索算法。下面对三种搜索策略进行分析比较。(1)完全搜索：分为穷举搜索和非穷举搜索。穷举搜索指遍历数据集所有的特征空间，从所有特征组合中选取最优的特征组合，精度较高且计算复杂。非穷举搜索中常用的有广度优先搜索，通过广度优先遍历特征子空间；分支界限搜索，保证在确定优化特征子集

38、特征数目的情况下，找到最优子集。(2)启发式搜索：首先对每一个搜索的位置进行评估，找到最佳的位置，再从这个位置继续进行搜索直至找到目标。这样能省略大量无谓的搜索路径，提高搜索效率。启发式搜索包括序列前向选择，从空集开始，每次选择一个特征加入特征子集，使得特征函数最优：序列后向选择，初始时把整个特征集加入到特征子集7万方数据武汉科技大学硕士学位论文中，每次从特征集中剔除一个特征；双向搜索，从空集开始使用序列前向选择，从全集开始使用序列后向选择，两者同时进行直至搜索到一个相同的特征子集时停止搜索。(3)随机搜索：随机搜索是一种全新的方法，表现出了良好的性能。每次通过随机的方法产生特征子集，把特征选

39、择问题转化为对搜索组合的优化问题。常用的方法有模拟退火算法和遗传算法等。随机搜索通过迭代的过程向一步一步向最优的方向靠近，在数据规模比较大时有较好的效果，缺点是易陷入局部最优，不能保证搜索到全局最优解。23本章小结本章主要介绍了支持向量机和特征选择的相关知识，在支持向量机部分重点阐述了函数间隔和几何间隔，最优分类面和核函数三个要点，最优分类面是支持向量机理论部分的基础，核函数是处理非线性可分问题时的解决方法，即将输入空间变换到一个高维空间后实现线性可分。特征选择部分介绍了特征选择的定义，过程，方法以及分类。8万方数据武汉科技大学硕士学位论文第3章改进的基于PSO的特征选择及SVM参数联合优化算

40、法31粒子群算法311算法流程粒子群算法(Particle Swarm Optimization，PSO)是在1 995年由Eberhart和Kennedy30-31提出的一种群体智能随机优化算法。通过对鸟群飞行的研究发现，鸟仅仅根据周围鸟儿的动向决定自身的动向，但最终其整体结果是整个鸟群在一个中心的控制之下。粒子群算法就从这种生物种群行为特性中得到启发，使用粒子运动模型对求解过程进行建模，用于求解优化问题。在粒子群算法中，每个优化问题的可能解都可以想象成搜索空间上的一个数据点，我们称之为“粒子”(Particle)，每个粒子的速度决定他们飞行的方向和距离，粒子的适应度值(Fitness Va

41、lue)由目标函数决定，在搜索过程中粒子追随当前的最优粒子在解空间中进行搜索。具体流程如下：输入：粒子长度和数目，数据集输出：最优个体步骤：(1)设置种群规模，初始化种群的位置和速度；(2)求取每个粒子的适应度；(3)对每个粒子，将其适应值与其经过的最好位置pbest作比较，如果该值更大，则将其作为粒子的最好位置pbest；(4)对每个粒子，将其适应值与其全局的最好位置曲est作比较，如果该值更大，则将其作为全局的最好位置gbest；(5)根据(2)、(3)、(4)步骤中求得的值更新每个粒子的速度和位置；(6)如果未达到结束条件(未达到预定的迭代次数或者足够好的适应度值)则转步骤(2)继续运行

42、，否则执行步骤(7)；(7)输出gbest；9万方数据武汉科技大学硕士学位论文312算法参数方程中pbest和gbest分别表示粒子群的局部和全局最优位置，当Cl=O时，表示没有根据自身最优值调整的能力，称为全局PSO算法，此时粒子有扩展搜索空间的能力，具有较快的收敛速度，但由于缺少局部搜索，在面对局部问题时相比于标准的PSO算法更易陷入局部最优解。公式如下：V=W木M+c2木randO木(gbestit) (31)当C2=0时，则粒子之间没有信息的交流，称为局部PSO算法。由于粒子之间缺乏信息的交流，整个群体相当于进行完全的随机搜索，收敛速度慢，因而难以得到全局最优解。公式如下：V=w木V+

43、cl木randO木(pbest_f一誓)(3-2)其中惯性因子W使粒子保持着运动惯性，使其具有扩展搜索空间的趋势，有能力探索新的区域。较低的值允许粒子在目标区域周围搜索，而较高的值会导致粒子越过目标区域而跳过最优解。在二进剀PSO算法321中，每个粒子被编码为一个二进制的向量，根据速度大小决定粒子在对应位置上取0或l。sigmoid函数满足上述条件，sigmoid函数为：s(矿)=再其中V为速度，二进制粒子更新公式如下：耻1,randOO和核参数厂0。除了优化这两个参数，还要同步进行特征选择，所以粒子编码包含三个部分，即参数C，参数y和特征码。设P。为第t代的粒子，可表示为：万方数据武汉科技大

44、学硕士学位论文P=喁，屹，届，尻，风，4，4，如 (3-5)其中为参数C位串，尾为参数y位串，4，为特征位串，三者取值都为0或l。特征子集选择位串长度w由特征维数决定，其中每一位代表一个特征，取1代表被选中，取0代表未被选中。参数c和参数y的长度U和v决定参数的搜索精度，本章中参数位串长度u。v均设为20。粒子译码是指将二进制位串转换成对应的十进制值。粒子中代表参数C和参数y的位串可以通过公式转换为十进制表示的实际参数值，公式如下：c=min，+rflaX可p-=laalnp搬(a) (36)其中C为十进制值，L为参数位串的长度，maxp和minp分别为参数的最大值和最小值，dec(a)为二进制位串口的十进制值