人工神经网络研究现状及其展望

发布时间：2016-11-21 14:57

  本文关键词：人工神经网络研究现状及其展望，由笔耕文化传播整理发布。

??

第3卷第1期

??

2004年2月

??

江南大学学报(自然科学版)

??????

Vol.3??No.1Feb.??2004

??文章编号:1671-7147(2004)01-0103-08

人工神经网络研究现状及其展望

朱大奇

(江南大学通信与控制工程学院,江苏无锡214036)

摘??要:回顾了神经网络理论发展的历史和现状。在此基础上,介绍并讨论了20世纪90年代神经网络研究的一些新进展。根据神经网络研究的特点,对人工神经网络今后的发展前景作了一定的评述,人工神经网络的研究与发展必将对现代科学技术产生深远的影响.

关键词:人工神经网络;感知器;并行分布处理;模糊神经网络;量子神经网络中图分类号:TP183

文献标识码:A

TheResearchProgressandProspectsofArtificialNeuralNetworks

ZHUDa??qi

(SchoolofCommunicationandControlEngineering,SouthernYangtzeUniversity,Wuxi214036,China)

Abstract:Therecentprogressofartificialneuralnetworksisreviewed.Itsnewdevelopmentin90??sisintro??ducedanddiscussedinthispaper.Accordingtothecharacteristicsofartificialneuralnetworks,theauthorpre??sentssomepointsofviewabouttheprospectsofartificialneuralnetworksinthefuture.Theprofoundandfar??reachingeffectcanbepredictedwithdevelopmentofartificialneuralnetworksresearch.

Keywords:artificialneuralnetworks;perceptron;paralleleddistributedprocessing;fuzzyneuralnetworks;quantumneuralnetworks

????人类关于认知的探索由来已久.早在公元前400年左右,希腊哲学家柏拉图(Plato)和亚里士多德(Asidtole)等,就曾对人类认知的性质和起源进行过思考,并发表了有关记忆和思维的论述.在此及以后很长的一段时间内,由于科学技术发展水平所限,人们对人脑的认识主要停留在观察和猜测的基础之上,缺乏有关人脑内部结构及工作原理的了解,因而进展缓慢.直到20世纪40年代,随着神经解剖学、神经生理学以及神经元的电生理过程等的研究取得突破性进展,人们对人脑的结构、组成及最基本工作单元有了越来越充分的认识,在此基本认识的基础上,综合

????收稿日期:2003-06-03;??修订日期:2003-09-04.

数学、物理学以及信息处理等学科的方法对人脑神经网络进行抽象,并建立简化的模型,称为人工神经网络ANN(ArtificialNeuralNetwork),为叙述方便将人工神经网络直接称之为神经网络(以下同).

目前,关于神经网络的定义尚不统一,按美国神经网络学家HechtNielsen的观点,神经网络的定义是:??神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统,该系统靠其状态对外部输入信息的动态响应来处理信息的??.综合神经网络的来源、特点和各种解释,它可简单地表述为:人工神经网络是一种旨在模仿人脑结构及其功

基金项目:安徽省教委自然科学基金项目(2002KJ044)资助课题,江南大学自然科学基金项目(0002133)资助课题.作者简介:朱大奇(1964-),男,安徽枞阳人,工学博士,教授.主要从事故障诊断,神经网络,计算机测控的研究.

104

能的信息处理系统[1].

江南大学学报(自然科学版)第3卷??

1960年Widrow和Hoff提出了ADALINE网络模型[6],这是一种连续取值的自适应线性神经元网络模型,可以用于自适应系统.他们针对输入为线性可分的问题进行了研究,得出期望响应与计算响应的误差可能搜索到全局最小值;在神经元模型中引入了不应期特性;为了研究思维和大脑结合的理论问题,Gross??berg从信息处理的角度,研究了自组织性、自稳定性和自调节规律[7,8];日本科学家Amari注重把生物神经网络的行为与严格的数学描述相结合,在数学求解研究上得到一定成果;Willshaw等人提出了一种称为全息音的模型[9],为利用光学原理实现神经网络奠定了理论基础;Nilsson对多层机即有隐层的广义认知机作了精辟的论述等[10].上述成果足以表明神经网络研究已获得了广泛的成功.

1.1.2??第二阶段??????低潮时期??正当一些科学家怀着极大的热情追求神经网络那遥远但并非不可及的目标时,人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究,于1969年出版了轰动一时??Percep??trons??一书,指出简单的线性感知器的功能是有限的,它无法解决线性不可分的两类样本的分类问题,如简单的线性感知器不可能实现??异或??的逻辑关系等.这一论断给当时人工神经元网络的研究带来沉重打击,以致美国及前苏联的一些科研机构纷纷停止对此类项目提供资助,而使得这个领域的许多学者不得不转向其他课题的研究,由此出现了神经网络发展史上长达10年的低潮期.

使神经网络研究处于低潮的另外一个原因是,20世纪70年代以来,集成电路和微电子技术的迅猛发展,使传统的VonNeumenn计算机进入全盛时期,基于逻辑符号处理方法的人工智能得到了迅速发展并取得显著成绩,它们的问题和局限性尚未暴露,因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性.

也许Minsky的评论是过于苛刻了,不过这一评论一定程度上暴露出当时神经网络研究的局限性,因而有一定的启发性.可喜的是,仍有少数具有远见卓识的科学家持之以恒的继续这一领域的研究,另有一些科学家在此期间新投入到这一领域中,成为低潮期神经网络研究的亮点.

1976年,美国Grossberg教授提出了著名的自适应共振理论ART(AdaptiveResonanceTheory),其学习过程具有自组织和自稳定的特征.其后的若干年中,他与Carpenter一起研究ART网络[11],并有ART1、作为一门活跃的边缘性交叉学科,神经网络的研究与应用正成为人工智能、认识科学、神经生理学、非线性动力学等相关专业的热点.近十几年来,针对神经网络的学术研究非常活跃,且提出上百种的神经网络模型,涉及模式识别、联想记忆、信号处理、自动控制、组合优化、故障诊断及计算机视觉等众多方面,取得了引人注目的进展.

1??人工神经网络发展的历史及现状

1.1??人工神经网络研究阶段的划分

纵观神经网络的发展历史,其发展过程大致可以概括为如下3个阶段.

1.1.1??第一阶段??????启蒙时期??这是神经网络理论研究的奠基阶段.1943年,神经生物学家MeCulloch和青年数学家Pitts合作,提出了第一个人工神经元模型,并在此基础上抽象出神经元的数理模型[2],开创了人工神经网络的研究.以MeCulloch和Pitts提出人工神经元的数理模型(即神经元的阀值模型,简称MP模型)为标志,神经网络拉开了研究的序幕。为了模拟起连接作用的突触的可塑性,神经生物学家Hebb于1949年提出了连接权值强化的Hebb法则[3].这一法则告诉人们,神经元之间突触的联系强度是可变的,这种可变性是学习和记忆的基础.Hebb法则为构造有学习功能的神经网络模型奠定了基础.1952年英国生物学家Hodgkin和Huxley建立了著名的长枪乌贼巨大轴索非线性动力学微分方程,即H-H方程.这一方程可用来描述神经膜中所发生的非线性现象如自激震荡、混沌及多重稳定性等问题,所以有重大的理论与应用价值.1954年,生物学家Eccles提出了真实突触的分流模型,这一模型由于通过突触的电生理实验得到证实,因而为神经网络模拟突触的功能提供了原型和生理学的证据.1956年,Uttley发明了一种有处理单元组成的推理机,用以模拟行为及条件反射.70年代中期,他把该推理机用于自适应模式识别,并认为该模型能反映实际神经系统工作原理.

1958年Rosenblatt在原有MP模型的基础上增加了学习机制[5].他提出的感知器模型,首次把神经网络理论付诸工程实现,他的成功之举大大激发了众多学者对神经网络的兴趣.Rosenblatt证明了两层感知器能够对输入进行分类,他还提出了带隐层处理元件的三层感知器这一重要的研究方向.Rosenblatt的神经网络模型包含了一些现代神经计算机的基本原理,从而形成神经网络方法和技术的重大突破.神经网络[4]

??第1期朱大奇:人工神经网络研究现状及其展望105

处理二值的输入,ART2比ART1复杂并且能处理连续型输入.ART3网络纳入了生物神经元的生物电??化学反应机制,其结构更接近人脑的工作过程.

1972年,有两位学者分别在欧洲和美洲发表了类似的神经网络开发结果.一位是芬兰的KohonenT教授,提出了自组织神经网络SOM(Self??Organizingfeaturemap);另一位是美国的神经生理学家和心理学家AndersonJ,提出了一个类似的神经网络,称为??交互存储器??.后来的神经网络主要是根据KohonenT的工作来实现的

[12]

术领域中,神经网络理论研究很快便迎来了第二次高潮.

同年,Marr开辟了视觉和神经科学研究的新篇章,他对视觉信息加工和过程进行了全面、系统和深刻的描述,并与神经实现机制联系起来[15].1983年,Kirkpatrick等人认识到模拟退火算法可用于NP完全组合优化问题的求解

[16]

,这种模拟高温物体退火过

程来找寻全局最优解的方法最早于1953年由Metro??pli等人提出.1984年,Hinton与年轻学者Sejnowski等合作提出了大规模并行网络学习机,并明确提出隐单元的概念,这种学习机后来被称为Boltzmann机

[17]

.SOM网络是一类无导师学习网络,

主要用于模式识别、语音识别及分类问题.它采用一种??胜者为王??的竞争学习算法,与先前提出的感知器有很大的不同,同时它的学习训练方式是无指导训练,是一种自组织网络.这种学习训练方式往往是在不知道有那些分类类型存在时,用作提取分类信息的

一种训练.

低潮期另一位重要人物是日本的福岛邦彦(Ku??nihikoFukushima).他开发了一些神经网络结构和训练算法,其中最有名的是1980年发表的??新认知机??(Neocognitron).??新认知机??是视觉模式识别机制模型,它与生物视觉理论相结合,其目的在于综合出一种神经网络模型,使它像人类一样具有进行模式识别能力.

在整个低潮时期,上述许多重要研究成果虽然未能得到应有的重视,但其科学价值不可磨灭,他们的工作为日后神经网络理论研究的又一次高涨打下了坚实的基础.

1.1.3??第三阶段??????复兴时期??这是神经网络理论研究的主要发展时期.1982年,美国国家科学院的刊物上发表了著名的Hopfield模型的理论神经网络是如下的一组非线性微分方程

CidUi/dt=

i=1

.

Piggio等人以Marr视觉理论为基础,提出了初级视觉的正则化方法[18,19].中国生物物理学家汪云九提出了视觉神经元的广义Gabor函数模型以及有关立体视觉、纹理检测、运动方向检测、超视觉度现象等的计算模型.

1986年,由Rumelhart和McCkekkand主编的有16位作者参加撰写的??ParallelDistributedProcessing:Ex??plorationintheMicrostructuresofCognition??

[20]

一书出

版,在该书中,他们建立了并行分布处理理论,主要致力于认知的微观研究,同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析,解决了长期以来没有权值调整有效算法的难题.可以求解感知机所不能解决的问题,回答了??Perceptrons??一书中关于神经网络局限性的问题,从实践上证实了人工神经网络有很强的运算能力,BP算法是目前最引人注目、应用最广泛的神经网络算法之一.该书的出版表明PDP理论已达到一个新水平,在世界各地产生了广泛的影响.

在神经网络的物理实现方面,Mead和Conway、Mahowald等人合作,研制一种动物神经系统的电子电路模拟,即硅神经系统,他们以人的视网膜中锥体细胞的方式来连接一块VLSI芯片.1988年,Chua和Yang提出了细胞神经网络(CNN)模型

[21,22]

[13]

.Hopfield

??Tijfj[uj]-

N

ui/Ri+Ii,

(i=1,2,??,N)??(1)

其中Ui是第i个神经元的膜电位;Ci,Ri分别是输入电容和电阻;Ii是电路外的输入电流;Tij是第j个神经元对第i个神经元的联系强度;f(u)是u的非线形函数.Hopfield构造出Laypunov函数,并证明了在Tij=Tji情况下,网络在平衡点附近的稳定性,还将这种模型用电子电路来实现.Hopfield的模型不仅对人工神经网络信息存储和提取功能进行了非线性数学概括,提出了动力方程和学习方程,还对网络算法提供了重要公式和参数,使人工神经网络的构造和学习有了理论指导,在Hopfield模型的影响下[14],大量学,,它是一

个细胞自动机特性的大规模非线性计算机仿真系统;Ksko建立了双向联想存储模型(BAM)[23,24],它具有非监督学习能力.

20世纪90年代中后期,神经网络研究步入了一个新的发展时期,一方面已有理论在不断深化和得到进一步推广,另一方面,新的理论和方法也从未停止过其不断开拓的步伐.Edelman提出的Darwinism模型在20世纪90年代初产生了很大的影响,他建立了一种神经网络系统理论,以Darwinism??为例,其组成包,

106江南大学学报(自然科学版)第3卷??

网络又包含一些功能不同的子网络等;1991年,Haken把协同学引入神经网络,在他的理论框架中,他认为,认知过程是自发的,并断言模式识别过程即是模式形成过程;后来,中国学者吴佑寿等人提出了一种激励函数可调的神经网络模型,试图对先验知识加以利用.1994年,廖晓昕关于细胞神经网络的数学理论与基础的提出,带来了这个领域新的进展[25].这一时期,另一些新的发展方向也非常的引人关注.

以光学方法来实现神经网络,即光学神经网络,由于能充分发挥光学强大的互连能力和并行处理能力,因而受到重视.Wunsch在1990OSA年会上提出一种光电ART,它的主要计算强度由光学硬件完成.1995年,Jenkins等人研究了光学神经网络(PNN),建立了光学二维并行互连与电子学混合的光学神经网络系统[26].其他还有McAulay等学者致力于将电子俘获材料用于光学神经网络等等[27,28].

鉴于非线性系统控制问题的复杂性,一些学者试图通过神经网络方法来解决此类问题.1990年Naren??dra和Parthasarathy提出了一种推广的动态神经网络系统即其连接权的学习算法[29],增强了非线性系统控制的鲁棒性.戴先中等人提出了连续非线性系统的神经网络(??阶逆系统控制方法)

[30]

家进而又提出了混沌神经网络理论.1991年Aibara等在前人推导和实验的基础上,给出一个混沌神经元模型[33].1991年Inoue等提出用耦合混沌振荡子作为单个神经元构造混沌神经网络模型的方法[34,35].耦合混沌振荡子的同步和异步分别对应神经元激活和抑制两个状态.虽然混沌是由简单的确定性规则产生的,但它包含规则性和不规则性两个方面,耦合的混沌振荡子的同步来自规则性,而不规则性可产生随机搜索能力.

考虑到人的思维及表达上常具有模糊性,一些学者把神经网络的研究与模糊系统联系起来,从而导致了模糊神经网络的产生

[36,37]

.HiroyukiQkada等人把

模糊神经网络模型用于金融风险评估,他们提出了由Sigmoid型节点和线性节点构成的模糊神经网络模型[38],其中的模糊规则由领域专家给出.该模型具有网络结构简单、模糊规则易于理解、有学习能力及能充分利用专家知识等特点,不足在于该网络连接结构及其权值的确定过分依赖领域专家的知识,而专家知识的获取、有时会比较困难.CaiYaling等人提出了由3种不同类型节点构成的模糊神经网络模型[39],该网络具有能够对学习样本快速记忆,不需要领域专家知识指导等优点,但在学习样本较多时,规则数量较大时应用不理想.模糊神经网络在工业控制、金融时间序列分析、风险评估等方面预计有较大的应用潜力.

经过多年的发展,目前已有上百种的神经网络模型被提出,表1列出了神经网络发展过程中起过重要作用的十几种著名神经网络,它也是神经网络发展史的一个缩影.

.Miller等人在小

脑模型关节控制器(CAMC)基础上,提出的非线性系统控制方法[31],具有局部逼近和修改权极小的特点,但存在由于采用间断超平面对非线性曲面进行逼近而有时会出现精度不够的问题.1993年Bulsari提出以乘积Sigmodial函数作为激发函数[32],给出了非线性系统用神经网络逼近的构造性描述等等.

随着人们发现人脑中存在着混沌现象,一些科学

表1??重要影响神经网络Tab.1??ImportantNeuralNetworks

网络名称感知器

(Perceptron)

发明者FrankRosenblatt(康奈尔大学)

时间1958

特点

最早的神经网络,有学习能力,只能进行线性分类

学习能力较强,较早开始商业应用

局限性

不能识别复杂字符,与输入模式的大小、平移和旋转敏感要求输入??输出之间是线性关系

典型应用领域文字识别、声音识别和学习记忆等

雷达天线控制、自适应回波抵消等

自适应线性单元(Adaline)BernardWidrow(斯坦福大学)

1960~1962

??第1期

网络名称小脑自动机(Cerellatron)

发明者MarrD.(麻省理工学院)

朱大奇:人工神经网络研究现状及其展望

时间1969~1982

特点

能调和各种指令系列,按需要缓慢地插入动作

多层前馈网络,采用最小均方差学习方式,是目前应用最广泛的网络

局限性

需要复杂的控制输入

107

典型应用领域控制机器人的手臂运动

误差反传网络

BP(BackPropagation)

WerbsP.(哈佛大学)

RumelhartD.(斯坦福大学)

Mcclelland(斯坦福大学)

1974~1985

需要大量输入??输出数据,训练时间长,易陷入局部极小语音识别、过程控制、模式识别等

自适应共振理论ARTCarpenterG.(AdaptiveResonanceGrossbergS.Theory)(波士顿大学)

1976~1990

可以对任意多个和任

意复杂的二维模式进行自组织学习

受平移、旋转和尺度的影响;系统较复杂.

模式识别,长于识别复杂、未知模式

盒中脑BSB网络(BrainStateinaBox)JamesAnderson(布朗大学)

1977

具有最小均方差的单层自联想网络,类似于双向联想记忆,可对片断输入补全多层结构化字符识别网络,与输入模式的大小、平移和旋转无关,能识别复杂字型对输入样本自组织聚类,可映射样本空间的分布

单层自联想网络,可从缺损或有噪声输入中恢复完整信息采用随机学习算法的网络,可训练实现全局最优

只能作一次性决策,无重复性共振解释概念形成,分类和知识处理

新认知机(Neocognition)FukushimaK.(日本广播协会)

1978~1984

需要大量加工单元和联系

手写字母识别

自组织特征映射网络TuevoKonhonenSOM(Self??Organizing(芬兰赫尔辛基featuremap)技术大学)Hopfield网络

JohnHopfield(加

州理工学院)

1980

模式类型数需要事先知道

语音识别、机器人控制,图像处理等

求解TSP问题,优化计算及联想记忆等

图像、声纳和雷达等的模式识别

1982

无学习能力,权值要预先设定

玻尔兹曼机

(Boltzmanmachine);柯西机(Cauc??hyma??chine)

双向联想记忆网BAM(Bi??directionalAssocia??tiveMemory)

HintonJ.

(多伦多大学)Sejnow??skiT.(霍布金斯大学)BartKosko(南加州大学)

1985~1986

玻尔兹曼机训练时间长;柯西机在某些统计分布下产生噪声

1985~1988

双向联想式单层网络,有学习功能,简单易学

存储的密度低,数据必须能编码内容寻址的联想记忆

双向传播网

CPN(CounterPropaga??tion)

RobertHech??tnielsen(美国)

1986

一种在功能上作为统计最优化和概率密度函数分析的网络

需要大量处理单元和连接,要高度准确

神经网络计算机,图像处理和统计分析

1.2??人工神经网络国内外研究状况

随着人工神经网络20世纪80年代在世界范围内的复苏,国内也逐步掀起了研究热潮.1989年10月和11月分别在北京和广州召开了神经网络及其应用讨论会和第一届全国信号处理??神经网络学术会议;1990年2月由国内八个学会(中国电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会和心理学会)联合在北京召开??中国神经网络首届学术会议??.这次大会以??八学会联盟,探智能奥秘??神经网络及神经计算机方面科学研究的新纪元.经过十几年的发展,中国学术界和工程界在人工神经网络的理论研究和应用方面取得了丰硕成果,学术论文、应用成果和研究人员逐年增加.

在国际上,1987年,在美国加洲召开了第一届国际神经网络学会.此后每年召开两次国际联合神经网

络大会(IJCNN).不久,该学会创办了刊物JournalNeu??ralNetworks,另有十几种国际著名的神经网络学术刊物相继问世.至此,神经网络理论研究在国际学术领.

博泰典藏网btdcw.com包含总结汇报、自然科学、农林牧渔、外语学习、医药卫生、出国留学、IT计算机、资格考试、行业论文、计划方案以及人工神经网络研究现状及其展望等内容。

本文共2页12

  本文关键词：人工神经网络研究现状及其展望，由笔耕文化传播整理发布。

，

本文编号：184712