递归神经网络稳定性分析及应用
- 绪论
文献【1】对神经网络的发展历史、基本原理及应用分析进行了详细论述。本文以下将对【1】中与课题有关的内容进行综述.
神经网络领域研究的背景工作开始于19世纪末和20世纪初。它源于物理学、心理学和神经生理学的跨学科研究，主要的代表人物有Herman Von Helmholts，Ernst Mach和Ivan Pavlov。这些早期研究主要还是着重于有关学习、视觉和条件反射等一般理论，并没有包含有关神经元工作的数学模型。
现代对神经网络的研究可以追溯到20世纪40年代Warren McCulloch和Walter Pitts的工作【2】他们从原理上证实了人工神经网络可以计算任何算数和逻辑函数。通常认为他们的工作是神经网络领域研究工作的开始。
在McCulloch和Pitts之后，Donald Hebb【3】指出，经典的条件反射（由Pavlov发现）是由单个神经元的性质引起的。他提出生物神经元的一种学习机制。
人工神经网络第一个实际应用出现在20世纪50年代后期，Frank Rosenblatt【4】提出了感知机网络和联想学习规则。Rosenblatt和他的同事构造了一个感知机网络，并公开演示了他进行模式识别的能力。这次早期的成功引起了许多人对神经网络研究的兴趣。不幸的是，，后来的研究表明基本的感知机网络只能解决有限的几类问题。
同时，Bernard Widrow和Ted Hoff【5】引入了一个新的学习算法用于训练自适应线性神经网络。他在结构和功能上类似于Rosenblatt的感知机。Widrow-Hoff学习规则至今仍在使用。
但是，Rosenbaltt和Widrow的网络同样具有局限性。这些局限性在Marvin Minsky和Symour Papert的书【6】都有广泛的论述。Rosenblatt和Widrow也十分清楚这些局限性，并提出了一些新的网络克服这些局限性。但是他们没能成功找到训练更加复杂网络的学习算法。
许多人受到Minsky和Papert的影响，相信神经网络的研究已经走入了死胡同。同时由于当时没有功能强大的数字计算机支持各种时延，从而导致许多研究者纷纷离开了这一领域。神经网络的研究就这样停滞了十多年。
