开题报告
文献综述
超限学习机作为一种新兴的前馈神经网络算法引起了国内外研究人员的关注。超限学习机又名ELM,是黄[1]提出的一种新兴的模型,是一种基于最小二乘的单隐层神经网络学习算法。ELM 训练单隐层前馈神经网络主要思想是: 随机选取网络的隐层节点参数, 在最小二乘准则下, 利用 Moore-Penrose 广义逆等方法计算输出权值以达到网络训练的目的. 因此, ELM的随机思想使得网络训练大大简化, 其运算速度可以几十倍甚至几千倍快于传统的前馈神经网络训练算法。另外,相比于传统的BP算法,ELM具有更少的参数设置、更低的复杂度计算,同时它又比传统算法具有更高的函数逼近能力和泛化能力。超限学习机算法提出之后,学者们在ELM和SVM之间的一致性,最小二乘支持向量机(LS-SVM)和近端机优化点方面进行了很好研究和学习[2-5]。ELM可以为广义SLFNN提供一个统一的解决方案,包括但不限于神经网络,支持向量网络和正则化网络[7]。也就是说,特征映射函数可以是如在常规ELM随机节点中的任何类型的非线性分段函数;或未知函数以形成如在SVM和其它基于内核的算法中的mercer的内核。
近年来,黄等从理论和应用两方面对ELM进行了大量的研究.,结果表明,它可以简单地选择隐藏节点随机然后调整输出量。这些年来不少改进方法被提及,因此ELM的性能和应用越来越广。I-ELM增强方法(简称EI-ELM)被提出了,改进了它的能力[4]。不久之后I-ELM被证明具有在真实和复杂的领域逼近目标函数的能力[8]。一个误差最小化的ELM(EM-ELM)可以自动确定广义SLFNNs隐层节点数[9]。2012年提出的鲁棒ELM可以减轻异常值的影响。张等提出了一种模糊的ELM(FELM),不同的模糊矩阵的输入输出的权重可以学习作出不同的贡献[13]。史等提出了弹性网正则化ELM并将其用于脑电警戒估计[14]。王等提出了一种并行的ELM集成基于最小最大模块化网络(M3网络)来满足大数据的挑战[15]。目前基于 ELM 的分类是处理分类问题的一大有效工具。如今,ELM已经投入到不同的领域如说话人识别[16]、神经影像数据分类[17]、安全评价方法[18]、数据隐私[19]、脑电图[20]和发作检测图像质量评价[21],图像超分辨率[22],FPGA[23],人脸识别[24]和人体动作识别[25]。其中,超限学习机的一个重要应用就是在模式识别中。
。
文献
[1] G.-B. Huang, Q.-Y. Zhu, C.-K. Siew, Extreme learning machine: theory and applications, Neurocomputing 70 (1) (2006) 489–501.
[2] G.-B. Huang, L. Chen, C.-K. Siew, Universal approximation using incremental constructive feedforward networks with random hidden nodes, IEEE Trans. Neural Netw. 17 (4) (2006) 879–892.
[3] G.-B. Huang, L. Chen, Convex incremental extreme learning machine, Neuro- computing 70 (16) (2007) 3056–3062.
