高IO下天文数据采集和处理关键技术研究

发布时间：2024-03-07 03:08

　　当前宽带脉冲星观测中,普遍采用万兆以太网作为底层网络环境来进行数据的采集和传输,而传统的基于SOCKET的网络编程模式已经不能满足后端对海量高速观测数据包的实时接收、解析和处理的性能要求。本论文主要研究基于用户空间态的网络IO以及NUMA架构下GPU/CPU异构并行技术,来提高脉冲星观测的数据采集和处理的效率。采用用户态空间的网络IO技术,实现基于用户态的高效精简的TCP/IP网络协议栈,并结合当前普遍采用的基于通用CPU/GPU计算平台的脉冲星数据处理管线模式,充分运用多核环境和GPU环境的并行计算能力,来解决观测数据的采集、解码等实时处理的实际需求。然后在上述研究的基础上,构建一个针对脉冲星万兆以太网观测环境下数据包的数据采集、处理和传输的通用框架,从而屏蔽底层实现细节,为天文学家提供高效易用的编程模式。本人的主要工作和创新点如下:1.对Linux系统下基于TCP/IP协议栈的网络数据报文的接收处理流程进行分析,从Linux内核、网络驱动、系统架构等方面入手,对高IO下影响和限制数据包可靠接收的瓶颈因素进行了逐一归纳;2.在分析内核协议栈报文处理流程的基础上深入研究用户态、零拷贝等...

【文章页数】：91 页

【学位级别】：硕士

【部分图文】：

图1-1万兆交换下的天文数据采集系统

脉冲星是特殊的中子星，因为其辐射束会周期性快速扫过地球，使地球人看到一个个周期脉冲而得名。对脉冲星进行观测，不仅能够研究脉冲星自身的极端物理状态，还能对星际介质、银河系磁场、引力波等目标进行研究。也正因为脉冲星的特殊性，诺贝尔物理学奖两度授予了脉冲星相关发现。对射电脉冲星的研究是....

图2-1OSI和TCP/IP模型

Linux内核网络协议栈架构第二章Linux内核网络协议栈架构2.1Linux网络协议栈架构2.1.1系统组成在网络历史的早期，国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)共同出版了开放系统互联的七层参考模型。一台计算机操作系统中的网络过程包括从应用....

图2-3中断处理流程

工大学硕士学位论文处理器与其他设备之间的工作。当有设备需要与处理器通信时就会给CPU，CPU在接收到中断信号之后会暂停正在执行的程序，并且调erruptservericeroutine，中断服务程序）处理中断。中断服务理器可以在位于内存中的固定地址中的中断向量表中找到。如....

图2-5NAPI机制NAPI的主要思想是首先采用中断机制数据接收数据，当包速率超过一定限度则改用使用轮询的方式一次处理多个数据包，直到网络再次空闲时重新转入中断等待

图2-5NAPI机制的主要思想是首先采用中断机制数据接收数据，当包速率超过用轮询的方式一次处理多个数据包，直到网络再次空闲时重新如：当包速率很高的时候，NAPI引擎定期的从DMA区里接收。在Linux内，NAPI代替软中断任务去处理数据包，传输包，最终会把数据传....

本文编号：3921294