忆阻阵列上的容错驱动神经突触映射方法
发布时间：2020-11-13 16:23
新兴的忆阻交叉阵列由于非线性、非易失性、低功耗和高集成度等优点,在神经形态计算系统(Neuromorphic Computing Systems,NCS)中具有很好的应用前景。但是大多数大型神经网络都是稀疏的,这与忆阻阵列提供的高密度连接相矛盾;同时由于不成熟的制造工艺,目前可用的忆阻交叉阵列规模有限;且忆阻交叉阵列中存在一定比例的故障。针对上述问题,本文面向NCS提出了忆阻交叉阵列上的大规模神经网络容错映射框架,主要工作如下:(1)本文设计了一种面向基于忆阻阵列的神经形态计算系统的容错映射方法。该方法主要包括容错驱动的神经元谱聚类算法,采用0-1矩阵表示聚类神经元间的突触连接关系,通过基于海明距离的谱聚类距离定义,引导形成具有一定稀疏度的且行间海明距离最大化的神经元突触子矩阵,将容错问题转换为找到突触子矩阵和忆阻阵列矩阵之间的有效映射问题,提升通过映射阶段的列置换方法对矩阵进行重排列来避开故障忆阻器的可能性;通过基于二分匹配的启发式算法,完成神经突触矩阵到故障忆阻阵列的映射。(2)为了实现一定规模忆阻阵列下的通用性设计,本文设计了基于固定尺寸忆阻阵列的大规模容错聚类方法。该方法通过基于划分算法的容错驱动聚类方法将突触连接聚类为大小相近的集群,扩大了在可接受时间内处理的神经网络规模;通过对突触子矩阵到固定尺寸忆阻阵列映射成功概率的估计,在保证一定映射成功率的条件下最大化突触连接子矩阵,提升忆阻阵列的利用率;提出通过对半转置方法,降低非对称矩阵的行列差距,提升给定忆阻阵列可容纳的突触连接子矩阵规模,减少忆阻交叉阵列数目。最后根据聚类结果,通过蒙特卡洛方法来进行模拟。模拟结果显示,在固定故障的故障注入率一共为10.79%的情况下,FTNCS框架可以实现96.69%的映射成功率,FTDC-NCS框架的映射成功率更是达到了 99.52%,而且对于含有百万突触的大规模神经网络,相比于FTNCS,FTDC-NCS将运行时间从6h减少到1500秒左右,同时提高了忆阻阵列的利用率。
【学位单位】：中国科学技术大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TN60;TP183
【部分图文】：
?第１章绪论???第１章绪论??１．１研究背景及意义??近年来，人工智能得到了飞速的发展，对于信息处理和计算能力的要求也爆??炸式增长。而传统计算机中的中央处理器（ＣＰＵ）在物理上与存储元件分离，这??种体系结构造成了冯？诺依曼瓶颈，其固有的高数据传输开销导致无法满足高性??能计算的需求［１］。相对来说，人脑是一个高效的存算一体的信息存储与计算引擎，??它能存储３．５?ＰＢ的数据，并提供２０?ｐｅｔａＦＬＯＰｓ的计算能力，却仅仅消耗２０Ｗ的??功耗［２］。与人脑相比，基于ＣＭＯＳ的ＣＰＵ只能达到１．５?ＧＯＰｓ／Ｗ气虽然随着ＣＭＯＳ??器件尺寸的缩小和定制化设计的发展，能效逐渐提高，但是由于器件上的限制，??这种趋势无法持续。??图１．１大脑的层次结构问??人脑与传统计算机之间巨大的能源效率差距使人们尝试去探索其中的原因，??科学家通过研究发现，人类大脑拥有与众不同的信息处理方式。人脑含有约１０＂??神经元和１〇１５突触其层次结构如图１．１所示，而对人脑的分析揭示了几个重??要特征。首先，大脑是集存储与计算于一体的，它可以并行地处理信息，克服了??众所周知的“内存墙”问题，并减少了将数据从内存传输到计算单元所需的能量，??是一种非冯？诺依曼构架。其次，大脑不是基于布尔代数的，而布尔代数是基于??１??
?第１章绪论???大规模集成（ＶＬＳＩ）与模拟生物神经系统的模拟元件作为“神经形态”系统，而最??近这个术语己经包括了基于人工神经网络、生物启发或非冯？诺依曼体系结构的??实现。模仿神经生物学结构中的神经网络以实现神经系统模型的硬件系统被称作??神经形态计算系统［４］。??神经形态计算系统近年来经常作为冯？诺依曼系统的补充体系结构出现：在??传统的冯？诺依曼体系结构中，一个（或几个并行）的逻辑核心对从内存中获取??的数据进行顺序操作：而神经形态计算系统将计算和存储同时分布在大量相对原??始的“神经元”中，每个神经元都与数百或数千个神经元通信。因此神经形态计??算系统通常是高度并行、广泛连接的，并且消除了?ＣＰＵ计算能力和内存带宽之??间的差距。神经形态计算涉及的领域相当广泛，包括如材料科学、神经科学、电??气工程、计算机工程和计算科学等。神经形态计算拥有的诸多特性，使得人们开??始对它进行研宄与开拓，如图１．２是海德堡大学开发的第一个神经形态芯片??Ｓｐｉｋｅｙ［４】。??图１．２神经形态芯片“Ｓｐｉｋｅｙ”?Ｗ??在神经形态计算的早期研宄中，神经形态系统的固有并行性是最普遍的研究??方向，这得益于在生物大脑中观察到的并行性，但是该并行性是在单个芯片上实??现的。神经形态系统强调了许多简单的处理组件（通常以神经元的形式），它们??之间具有相对密集的互连（通常以突触的形式），从而使它们与当时的其他并行??计算平台区分开。??３??
?第１章绪论???ＣＴ）和电感（的关联时，通过数学概念从对称性出发推导出的一种新基??本电路元件，可以用来表示ｇ和＜／＞之间缺失的关系，Ｌｅｏｎ?Ｃｈｕａ将其称为忆阻器，??如图１．３所示。但是直到２００８年，惠普公司才成功制作出了第一个实体忆阻器，??这是一个在两个金属板之间具有氧化钛薄膜的双端纳米器件，它使忆阻器从理论??变成了现实。???￣－—??？—ＶＳＡｒ－＃?Ａ?？—｜?｜—？????电阻?ｆ?电荇??ｄｖ?－?Ｒｄｉ?芝?ｄｑ?＊?Ｃｄｖ??（７＾?＜???????■！?＝?ｉｄｔ??？－ｒｉｎｎｒ＃＞ｋ??电感?忆阻??ｄ（／＞?＝?Ｌｄｉ?＝?Ｍｄｑ??＞?ｒ????？ＧＨ???忆阻系统??图１．３电阻、电感、电容及忆阻器间的关系Ｗ??忆阻器是一种具有动态电阻的器件，其定义特性是通量（施加电压的积分）??和电荷（通过它的电流的积分）之间的函数关系。如公式１．１所示，忆阻器的电??阻取决于流过它的电荷及其先前的电阻状态，其中Ｍ?（ｇ）为忆阻值，具有电阻??的量纲。??ｄ（ｆ）?＝?Ｍ｛ｑ）ｄｑ?（１．１）??忆阻器与其他普通电阻器不同，具有非易失性。作为一种新型的两端电路元??件，忆阻器还具有很多优点：??１．忆阻器是纳米级器件，其存储密度大，使延续摩尔定律成为可能。??２．忆阻器具有连续的输入输出特性。??３．忆阻器的信息存储速度要比在快闪内存上快３个数量级，将忆阻器用作??存储设备具有闪存、ＳＲＡＭ和ＤＲＡＭ的集体优势。??４．忆阻器有独特的开关转换机制，可以用作多层单元，还具有低功耗和天??然的记忆功能。??５．忆阻器是非线性的，而且可以与晶体
【参考文献】
本文编号：2882379
【学位单位】：中国科学技术大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TN60;TP183
【部分图文】：
?第１章绪论???第１章绪论??１．１研究背景及意义??近年来，人工智能得到了飞速的发展，对于信息处理和计算能力的要求也爆??炸式增长。而传统计算机中的中央处理器（ＣＰＵ）在物理上与存储元件分离，这??种体系结构造成了冯？诺依曼瓶颈，其固有的高数据传输开销导致无法满足高性??能计算的需求［１］。相对来说，人脑是一个高效的存算一体的信息存储与计算引擎，??它能存储３．５?ＰＢ的数据，并提供２０?ｐｅｔａＦＬＯＰｓ的计算能力，却仅仅消耗２０Ｗ的??功耗［２］。与人脑相比，基于ＣＭＯＳ的ＣＰＵ只能达到１．５?ＧＯＰｓ／Ｗ气虽然随着ＣＭＯＳ??器件尺寸的缩小和定制化设计的发展，能效逐渐提高，但是由于器件上的限制，??这种趋势无法持续。??图１．１大脑的层次结构问??人脑与传统计算机之间巨大的能源效率差距使人们尝试去探索其中的原因，??科学家通过研究发现，人类大脑拥有与众不同的信息处理方式。人脑含有约１０＂??神经元和１〇１５突触其层次结构如图１．１所示，而对人脑的分析揭示了几个重??要特征。首先，大脑是集存储与计算于一体的，它可以并行地处理信息，克服了??众所周知的“内存墙”问题，并减少了将数据从内存传输到计算单元所需的能量，??是一种非冯？诺依曼构架。其次，大脑不是基于布尔代数的，而布尔代数是基于??１??
?第１章绪论???大规模集成（ＶＬＳＩ）与模拟生物神经系统的模拟元件作为“神经形态”系统，而最??近这个术语己经包括了基于人工神经网络、生物启发或非冯？诺依曼体系结构的??实现。模仿神经生物学结构中的神经网络以实现神经系统模型的硬件系统被称作??神经形态计算系统［４］。??神经形态计算系统近年来经常作为冯？诺依曼系统的补充体系结构出现：在??传统的冯？诺依曼体系结构中，一个（或几个并行）的逻辑核心对从内存中获取??的数据进行顺序操作：而神经形态计算系统将计算和存储同时分布在大量相对原??始的“神经元”中，每个神经元都与数百或数千个神经元通信。因此神经形态计??算系统通常是高度并行、广泛连接的，并且消除了?ＣＰＵ计算能力和内存带宽之??间的差距。神经形态计算涉及的领域相当广泛，包括如材料科学、神经科学、电??气工程、计算机工程和计算科学等。神经形态计算拥有的诸多特性，使得人们开??始对它进行研宄与开拓，如图１．２是海德堡大学开发的第一个神经形态芯片??Ｓｐｉｋｅｙ［４】。??图１．２神经形态芯片“Ｓｐｉｋｅｙ”?Ｗ??在神经形态计算的早期研宄中，神经形态系统的固有并行性是最普遍的研究??方向，这得益于在生物大脑中观察到的并行性，但是该并行性是在单个芯片上实??现的。神经形态系统强调了许多简单的处理组件（通常以神经元的形式），它们??之间具有相对密集的互连（通常以突触的形式），从而使它们与当时的其他并行??计算平台区分开。??３??
?第１章绪论???ＣＴ）和电感（的关联时，通过数学概念从对称性出发推导出的一种新基??本电路元件，可以用来表示ｇ和＜／＞之间缺失的关系，Ｌｅｏｎ?Ｃｈｕａ将其称为忆阻器，??如图１．３所示。但是直到２００８年，惠普公司才成功制作出了第一个实体忆阻器，??这是一个在两个金属板之间具有氧化钛薄膜的双端纳米器件，它使忆阻器从理论??变成了现实。???￣－—??？—ＶＳＡｒ－＃?Ａ?？—｜?｜—？????电阻?ｆ?电荇??ｄｖ?－?Ｒｄｉ?芝?ｄｑ?＊?Ｃｄｖ??（７＾?＜???????■！?＝?ｉｄｔ??？－ｒｉｎｎｒ＃＞ｋ??电感?忆阻??ｄ（／＞?＝?Ｌｄｉ?＝?Ｍｄｑ??＞?ｒ????？ＧＨ???忆阻系统??图１．３电阻、电感、电容及忆阻器间的关系Ｗ??忆阻器是一种具有动态电阻的器件，其定义特性是通量（施加电压的积分）??和电荷（通过它的电流的积分）之间的函数关系。如公式１．１所示，忆阻器的电??阻取决于流过它的电荷及其先前的电阻状态，其中Ｍ?（ｇ）为忆阻值，具有电阻??的量纲。??ｄ（ｆ）?＝?Ｍ｛ｑ）ｄｑ?（１．１）??忆阻器与其他普通电阻器不同，具有非易失性。作为一种新型的两端电路元??件，忆阻器还具有很多优点：??１．忆阻器是纳米级器件，其存储密度大，使延续摩尔定律成为可能。??２．忆阻器具有连续的输入输出特性。??３．忆阻器的信息存储速度要比在快闪内存上快３个数量级，将忆阻器用作??存储设备具有闪存、ＳＲＡＭ和ＤＲＡＭ的集体优势。??４．忆阻器有独特的开关转换机制，可以用作多层单元，还具有低功耗和天??然的记忆功能。??５．忆阻器是非线性的，而且可以与晶体
【参考文献】
相关硕士学位论文 前2条
1 刘友超;基于近邻相似图的谱聚类算法研究与应用[D];江南大学;2019年
2 刘记朋;基于RRAM阵列的神经形态计算训练电路设计[D];哈尔滨工业大学;2016年
本文编号：2882379
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2882379.html
