BP网络和Hopfield网络的联想分类能力的对比研究

第一章 引言

1.1 人工神经网络概念的提出
人脑，众所周知，是非常智能的信息处理系统，是高级的神经中枢系统，也是人类认识踏足较少的的领域之一。很长时间，人们一直致力于对神经网络的研究，在对神经网络内部机制进一步加深了解的基础上，进一步了解人脑的工作原理，试图开发神经网络的更为智能的方面，以为各种实际问题提供方法。人工神经网络继承了大脑的某些功能，并且模仿大脑的功能，来处理信息。它的组成与大脑一样，是多个神经元。神经元通过权值连接，形成了神经网络，从而实现其庞大的逻辑运算功能。
神经网络具有人工智能作用，在处理具有残缺结构或者结构中存在错误成分的模式时有很好的作用，即使在信息源信息不确定或者不完整的情况下，仍然能够进行模式识别。这种系统能够进行联想记忆，也就是说，当信息不完整，网络仍然可以从部分信息中来获得全部正确信息。并且网络具有非线性型，当在模式特征空间的分界面很复杂时，网络还是能够进行识别分类。由于网络自身的的自适应、自学习功能，系统能从环境和输入中获取有效信息，修改网络的结构和连接强度，提高网络对各种信息的适应能力。而由于分布式存储和自组织性，使系统连接线即使在被破坏50%的情况下，仍能处在最优化工作状态，这在军事电子系统设备中有着举足轻重的意义。

1.2 人工神经网络的特点
神经网络在很多方面都有应用，理论上，它可以应用到你所能想到的各个领域。我们课题组的也有许多人在做信号处理，可以说信号处理是其很重要的一个应用。前面我们说过，神经网络的自学习能力和神经网络的自适应能力，这种神经网络自带的优势，使它变成一种信息处理的很好的工具，大多信号处理还是优先考虑神经网络。神经网络在处理连续时序模拟信号等方面有很大的优势。应用主要有谱估计[16]]、自适应滤波[17]、时序预测[18]等。神经网络其他应用也非常引人注目，像通信、弱信号检测等。总之，神经网络正以前所未有的优势应用于信号处理。
…………

第二章 BP 网络原理

2.1 BP 网络模型与结构
其中 P 表示输入，从图中可以看出这个网络有 r 个输入，共有 q 组这样的输入。W1 表示隐含层的权值，B1 表示隐含层的偏差。i 表示隐含层第 i 个神经元的输出，F1表示隐含层的激活函数。A1 表示输出层的输入，W2 表示输出层的权值，B2 表示输出层的偏差。k 输出层第 k 个神经元的实际输出，F2 表示输出层的激活函数。从图中可以看出，输出层的输入是 s1 维的，输出层也有 q 组这样的输入。

2.2 BP 网络的激活函数
图 2.2 显示了 S 型激活函数的图像。从图中我们可以得到这些函数的一个共同特性—连续可微，当然这是网络内在要求的。由这样的激活函数划分出来的多层网络的区域是一个非线性的超平面，而不再是线性划分的平面。这个超平面具有很好的特性—柔和、光滑，且是个任意界面，从它的柔和型我们容易知道，这个划分更为准确。另外，我们知道激活函数是可微分的，这也符合利用梯度法来进行推算。并且，权值怎样修正是十分明确的，这就是误差反向传播法（BP 算法）。由 S 型函数的图像可以知道，它可以把之间的数都放缩到（-1，+1）之间。因为要把任意数放缩到这个区间，所以，在缩放较大的数时，函数的放大系数较小；而缩放较小的数时，需要函数提供一个较大的放大系数，这样可以保证信号在（-1，1）这个区域。一般输出层不采用 S 型函数，因为，从图中可以看出，S 型函数的值域是（-1，1），会把输入限制到（-1，1）这个狭窄范围。线性激活函数具有很好的性质，它的值域、定义域都是输入可以为任何值。因此，有这样的规律，输入层不需要限制，采用线性激活函数；输出层采用 S 型激活函数，可以对输入进行限制，即隐函数采用 S 型激活函数。
…………

第三章 Hopfield 网络原理 .......................................13
3.1 Hopfield 网络基本概述[46].................................13
3.2 Hopfield 网络输出表达式...................................13
第四章 BP 网络分类能力和 Hopfield 网络联想记忆能力比较..............16
4.1 预备实验（测试离散 Hopfield 网络效能）...............................16
第五章 改进的 BP 网络对手写体数字的识别............................................33
5.1 图片的处理过程............................................34

第六章 基于 BP 网络的数字图片特征提取

6.1 二值字符的 7 个不变矩（Hu 矩）特征
实际上，在对图片的识别中，所有的 Hu 矩并不都保持不变性。其实只有低阶的 Hu矩对不变性不敏感，像M1和M2不变性保持的比较好，剩下的几个不变矩就对不变性的保持效果一般，误差也比较大，刻画图像的特征也就一般。所以，有学者认为，7 个Hu 矩都具有旋转、缩放和平移不变性的描述欠妥，其实只有有基于二阶矩的不变矩对二维物体的描述符合这条规律。（因为基于二阶矩的不变矩对二维物体的描述才是真正的具有M1和M2的 Hu 矩刚好都是由二阶矩组成的）。

6.2 二值字符的字符势能投影特征
可以看出，两幅图片的不变距特征都是 13 维的向量，在识别时，我们要对这些数字进行归一化处理，当然，这很好实现，只需找到数组中的最大值和最小值，然后数组中的各个数字减去最小值，比商最大值就能归一化到[0,1]这个区间。
可以看出，他们都是 112 维的向量，其实通过我们介绍的字符势能，我们能看出势能提取的大小。然后，我们再以不变矩、势能以及求取的不变距的均值、方差等作为输入向量。用 BP 网络进行训练和仿真。在训练时，我们选取了 200 组图片，然后再以 110 组新的图片作为测试样本，进行识别。
从上面的结果可以看出，有些数字的识别效果很好，像数字1、2、3、4、6、7、8、9、0识别正确率都很高，数字1、7、9的识别正确率都是100%，数字2、3、4、5、6、0的识别正确率也在80%以上，不过数字5的识别正确率很低，不到60%。主要是因为在输入的时候，数字5的输入不是很规范，而且数字5本身和数字3和8也哟一定得相似性，导致你误识。但是，经过特征提取，数字总体的识别正确还是增加了很多，总体的识别正确率达到了86.36%。

......

第七章 总结与展望

1.本文研究了 BP 网络和 Hopfield 网络识别数字、字母、和手写体数字图片的记忆效果。其实 Hopfield 网络联想记忆能力很好，在汉字的识别方面效果也很好。BP 网络和 Hopfield 的识别机理不一样，BP 网络是一个非线性的映射，是输入和输出矢量建立的一种很复杂的而又是非线性的映射关系。而 Hopfled 网络是一个反馈网络，通过网络自身的权值调整，能达到输入等于输出这样一种稳定状态，正是由于网络的这种特性，所以它可以直接来识别一些损坏不完整的汉字、数字等。2.手写体数字的特征提取是一个相当复杂的问题，这篇文章也只是涉足到这个领域中的一角。其实，在做特征提取时，可以先用自组织特征，因为它比较适合于做特征提，然后再映射成网络能识别的样本特征，这样特征就很明显了，便于识别，这时再用 BP神经网络进行分类识别，提高了识别正确率。因为我们充分利用两种网络的优点。

...............

参考文献（略）