1. 研究目的与意义
统计学习理论是由vapnik建立的一种专门研究小样本情况下机器学习规律的理论,支持向量机(support vector machine,svm)是在这一理论基础上发展而来的一种新的通用小样本学习方法,该方法采用结构风险最小化准则(structural riskminimization,srm)训练学习机器。支持向量机集优化、核、最佳推广能力等特点于一身。
bayes统计方法是统计学中重要的流派之一,是当前统计学者应用广泛的方法。支持向量机分类方法是模式识别中较近代的理论和应用研究问题,属于计算机科学中前沿问题。将贝叶斯证据框架( bayesian evidence framework)应用于支持向量机模型参数的优选,该方法能够实现正则化参数的自动选择,可以解决支持向量机模型采用交叉验证方法确定模型参数耗时较长的问题,从而提高建模效率。
从理论上讲,支持向量机建立在严格的理论基础之上较好地解决了非线性、高维数、局部极小点等问题,成为继神经网络研究之后机器学习领域新的研究热点。支持向量机从提出、被广泛重视到现在只有几年的时间,其中还有许多尚未解决或尚未充分解决的问题。在应用方面,支持向量机也成功地应用于模式识别的众多领域,如手写字体与数字识别、人脸识别和人脸检测、文本分类、企业决策等众多研究领域,并且随着支持向量机理论的进一步发展,未来还具有很大的发展潜力。因此,在bayes框架下研究支持向量机分类方法具有重要的理论意义和广泛的应用价值。
2. 国内外研究现状分析
目前国内外关于最小二乘支持向量机的研究主要有四个方面:一是各种改进的ls-svm模型,这些新的ls-svm模型主要是通过改变最优化问题的目标函数而产生的.二是降低训练时间和计算复杂性的训练算法,因为标准svm的训练复杂性是制约其发展和应用的主要难题。三是提高推广能力和泛化速度的模型选择方法。四是拓宽应用领域的研究。
一、各种改进的ls-svm模型
1999年,suykens提出了一种新型支持向量机一最小二乘支持向量机 (least squares svm,ls-svm)。最小二乘支持向量机将最小二乘线性系统引入到支持向量机中,代替传统的支持向量机直接采用二次规划方法解决分类与函数估计问题。在此基础上提出的多分类最小二乘支持向量机叫已用于双螺旋数据的多类分类和递推的最小二乘持向量支机用于混沌时间序列预测圆。这种算法最大优点是适合处较大规模的学习问题,但丢失了标准svm的稀疏性和鲁棒性的优点,因而有必要探讨ls-svm的一些加权方法和稀疏化方法。
3. 研究的基本内容与计划
1、学习贝叶斯框架ls-svm,掌握ls-svm分类理论知识。
2、结合贝叶斯框架ls-svm分类特点,研究其应用,尝试给出改进。
3、根据贝叶斯框架ls-svm的应用,编写相应的matlab程序。
4. 研究创新点
1、将贝叶斯框架LS-SVM理论与实践相结合。
2、为LS-SVM的应用编写相应的matlab程序。