大规模数据获取系统下的数据汇聚关键技术研究

发布时间：2020-05-10 12:31

【摘要】：在地球物理勘探和高能物理等科研领域,经常会通过大型物理实验对学科的前沿理论和猜想进行研究。数据获取系统是大型物理学实验中非常重要的设备,它的核心功能是接收前端采集电子学的原始数据,按实验要求对数据进行预处理等操作,然后将其汇总记录到存储系统中,等待进一步的分析。近年来,随着科技水平进步,大规模传感器阵列中通道数量、采样频率都在不断提升,数据获取系统的原始数据率也在递增,随之而来的问题就是如何提高大规模数据获取系统的数据传输和实时处理能力。数据汇聚是数据获取系统中很重要的一个环节,主要负责对数据进行及时高效的组织和汇聚,并且将汇总后的数据传输到后端存储系统。数据获取系统可以通过提升数据汇聚能力来提高传输和处理能力的上限。不同的数据获取系统内部结构虽然存在差异,但是核心功能和工作流程都是相似的,所以理论上可以用一个通用的方案解决多个系统的数据汇聚问题。为了设计出高性能高通用的数据汇聚方案,在解决大规模数据获取系统的数据汇聚问题的同时,能够适用于多种大型物理学实验的数据获取系统,本论文展开了相关的研究工作。本论文在调研参考技术和分析方案需求的基础上,遵循通用化和标准化的设计思路,最终结合软硬件设计实现了一种适用于多种大规模数据获取系统的高速数据汇聚方案,具备很强的灵活性、改动成本低、能够稳定可靠的传输数据等优点。硬件设计方面采用了FMC标准,能够以替换FMC子卡的方式,低成本的改变扩展和前端电子学连接的数据接口,让方案从硬件层面具备了适用于多种数据获取系统的能力。逻辑设计时制定了统一规范,使用标准的接口和数据格式,并且划分了不同的功能模块,能够方便的添加自定义逻辑模块,或者是根据需求对单独模块修改和替换,可以满足方案在实际应用时的各种需求变化。本论文的组织结构上安排如下:第一章介绍了大规模数据获取系统下数据汇聚方案的研究背景和意义,确定了方案的设计目标和需要解决的关键技术问题,同时调研了国内外典型的数据获取系统的现状和发展趋势作为设计参考,并且给出了本文的研究内容和结构安排。第二章首先通过分析比较和调研接口技术明确了如何实现关键技术,从而确立了方案的整体设计内容,之后从硬件设计和逻辑设计两个方面介绍了数据汇聚的总体设计方案。第三章介绍了前端数据接收功能的实现。首先分析了方案需求的FMC子卡接口类型和数据率,然后使用Aurora IP核实现接收高速数据功能,并且利用IP核自身能够双向传输的特性设计了阻塞机制,确保了数据在传输过程中不会丢失或是重传。第四章介绍了多节点数据汇聚功能的实现。首先介绍了基于传输协议实现的数据合并机制面对两类数据获取系统的不同做法,然后介绍了通过信号仲裁实现接口轮流传输的接口调度机制,最后介绍了基于DDR3的存储功能实现的数据缓存功能。第五章从逻辑模块设计和驱动程序开发两个方面,完整的介绍了数据汇聚方案的后端数据高速传输功能是如何实现的。首先介绍了和PCIe总线协议有关的基础知识作为参考,然后介绍了调用PCIe IP核和DMA引擎实现的逻辑功能,最后介绍了驱动程序的中断方式和响应机制,以及具体DMA传输工作流程。第六章介绍了逻辑仿真的结果和联合工作站进行的传输测试结果。根据设计的测试方案,首先对逻辑模块的功能进行了仿真,之后在工作站上联合PIFC接口卡和驱动程序进行了传输测试和阻塞机制测试,用测试数据证明了该数据汇聚方案是可行的。第七章对整个论文的内容进行了总结,介绍了工作的创新点和不足之处,并且进一步指出了未来的发展方向。
【图文】：

通过硬件模块来对前端探测器采集到原始数据完成１级触发判选，之后将符合条逡逑件的数据传输到数据获取系统中汇集，，之后再由软件来实现对数据的２级和３级逡逑触发判选，结构如图１．１所示。由于前端探测器的通道数目极为庞大，系统采集逡逑到的原始数据率可达６４ＴＢｐｓ，但是经过多级筛选之后最终保留的有效数据率约逡逑为３００ＭＢｐＳＷ。数据在进行多级筛选的过程中，每一级都会缓存多个节点的数据逡逑进行汇聚，经过判选后组成新的数据帧，然后发送到上级节点。除了邋１级的硬件逡逑过滤

通过硬件模块来对前端探测器采集到原始数据完成１级触发判选，之后将符合条逡逑件的数据传输到数据获取系统中汇集，之后再由软件来实现对数据的２级和３级逡逑触发判选，结构如图１．１所示。由于前端探测器的通道数目极为庞大，系统采集逡逑到的原始数据率可达６４ＴＢｐｓ，但是经过多级筛选之后最终保留的有效数据率约逡逑为３００ＭＢｐＳＷ。数据在进行多级筛选的过程中，每一级都会缓存多个节点的数据逡逑进行汇聚，经过判选后组成新的数据帧，然后发送到上级节点。除了邋１级的硬件逡逑过滤
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：O572;TP311.13;P631

【相似文献】

相关期刊论文 前10条

1 申超;;地震数据获取系统提高信息采集方法探析[J];化工管理;2014年11期

2 张建川;王彦瑜;南钢洋;周文雄;;核实验数据获取系统中的触发信号预处理[J];强激光与粒子束;2012年11期

3 杨晓青 ,曹小平;VME数据获取系统调研[J];中国原子能科学研究院年报;2003年00期

4 赵萌,孙汉生,刘延,郑建平,宋犀云;北京谱仪气体系统在线数据获取系统的研制[J];核电子学与探测技术;1997年02期

5 席德明;大型数据获取系统的模拟[J];地质科技管理;1995年06期

6 焦敦庞,周云雁,葛文秀,王彦瑜,余掬生,敬岚;MOLDAS1多参数通用数据获取系统[J];核电子学与探测技术;1988年06期

7 夏松江;微型化四参数核谱数据获取系统[J];核技术;1988年12期

8 叶宗男,沈长铨;空间硬X射线谱仪数据获取系统[J];核电子学与探测技术;1989年01期

9 王焕玉;一种STD总线微机支持的多通道核数据获取系统[J];核电子学与探测技术;1989年02期

10 邓慧忱,傅博,董贾福,王槿元,段文新,黄克强,张崇慧,唐立新,侯俊梅,徐征宇;HL-1托卡马克数据获取系统及其在物理实验中的初步应用[J];中国核科技报告;1989年00期

相关会议论文 前10条

1 郭天瑞;杜一飞;殷锡金;;微机数据获取系统的一些发展和应用[A];第7届全国核电子学与核探测技术学术年会论文集（二）[C];1994年

2 张文良;;人员出入口核材料放射性检测装置中单片机数据获取系统的设计[A];第11届全国计算机在现代科学技术领域应用学术会议论文集[C];2003年

3 潘大金;刘永生;董明礼;杜树斌;;超精细相互作用谱仪数据获取系统[A];第五次全国核电子学与核探测器学术会议论文集（下）[C];1990年

4 张家文;张炳云;过雅南;孙舫;赵维仁;李小南;杨长友;朱科军;沈红;罗栓群;周小帆;;北京谱仪Ⅱ在线数据获取系统[A];第8届全国核电子学与核探测技术学术年会论文集（二）[C];1996年

5 章志明;王丹妮;李道武;张兰芝;王宝义;魏龙;;高速、并行双通道数据获取系统的研制[A];第九届全国正电子谱学会议论文集[C];2005年

6 肖瑞亭;陈英;;多功能核数据获取系统[A];第五次全国核电子学与核探测器学术会议论文集（下）[C];1990年

7 白晓薇;殷锡金;郭恬瑞;段宏伟;陈展图;陈红燕;王彦瑜;王树金;邢建萍;;基于微机的数据获取系统的研制[A];第8届全国核电子学与核探测技术学术年会论文集（二）[C];1996年

8 罗栓群;孙舫;张炳云;过雅南;;异质系统间进程级网络通信技术——在北京谱仪数据获取系统上的应用[A];第7届全国核电子学与核探测技术学术年会论文集（二）[C];1994年

9 王彦瑜;马晓莉;白晓薇;陈红燕;;智能型事件触发CAMAC组件的研制[A];第9届全国核电子学与核探测技术学术年会论文集[C];1998年

10 姜晓明;何玮;周镭;修立松;郑文莉;高振华;洪蓉;李大仕;;北京同步辐射装置X射线漫散射实验站的控制和数据获取系统[A];第8届全国核电子学与核探测技术学术年会论文集（二）[C];1996年

相关博士学位论文 前4条

1 周文雄;便携式多参数数据获取系统的设计[D];中国科学院研究生院（近代物理研究所）;2014年

2 叶春逢;飞行时间质谱仪数据获取系统的研究与设计[D];中国科学技术大学;2014年

3 刘涛;高能量分辨（e，2e）谱仪的数据获取系统研制及其应用[D];中国科学技术大学;2007年

4 易晗;多丝漂移室探测器系统的研制和测试[D];清华大学;2016年

相关硕士学位论文 前10条

1 吴辰晨;大规模数据获取系统下的数据汇聚关键技术研究[D];中国科学技术大学;2019年

2 郑伟;飞行时间质谱仪数据获取系统设计[D];中国科学技术大学;2009年

3 朱庆伟;空间高能中子探测器数据获取系统设计及调试[D];南京航空航天大学;2016年

4 刘澍嶷;基于FPGA的块茎电阻成像数据获取系统研究[D];北京交通大学;2017年

5 应三丛;双通道多定标数据获取系统的研究[D];四川大学;2001年

6 彭睿;基于PC的高速数据获取系统的设计[D];湖南大学;2012年

7 邓文迪;CBM-TOF无触发数据获取系统数据压缩算法研究[D];华中师范大学;2016年

8 胡程;中小型贸易企业网络设备数据获取系统的设计与实现[D];电子科技大学;2011年

9 杜前亮;移动终端行为数据获取系统的设计与实现[D];安徽工业大学;2016年

10 余扬武;基于关键词匹配的打印数据获取系统[D];厦门大学;2008年

本文编号：2657302