内存映射技术在大数据存储应用中的研究

发布时间：2022-01-04 20:57

　　针对无线网络技术研究中对大数据实时存储和国产化需求,在Qt平台下利用内存映射技术,设计实现了一种针对大数据的实时存储方案,可实现对无线网络中频采样数据和解调解码数据的实时存储。并通过设计有效的索引机制,极大的提高了后续离线数据分析时的数据搜索效率。最后通过测试代码对该内存映射文件存储技术进行了实验验证。 

【文章来源】：通信技术. 2020,53(05)

【文章页数】：5 页

【部分图文】：

内存映射数据存储的标准的流程图

但是在大数据文件读写应用中，由于数据文件远超Windows进程能分配的最大地址空间（2GB），只能将数据文件分段映射，每次只映射文件的一部分（不能超过2 GB)[3]。在做方案设计时，我们以满足数据量的极限情况为目标，但是在实际情况下的数据量往往远小于极限情况，因此本方案设计了一种依据实际数据量动态调整数据文件长度的机制，可更加合理有效的使用内存和磁盘空间。本方案的内存映射文件存储流程如图2所示。3.2 大数据文件存储涉及的关键技术

在本方案中，采用了将源数据和索引信息独立记录在两个文件中的方式。时间信息通常是所有无线信号数据所具有的关键信息，将时间每进行1秒钟后存储数据相对数据文件起始的偏移作为索引值，记录在索引文件中。索引文件的结构，以及在数据文件的写入过程中如何在索引文件中记录索引值的描述如下图3所示。索引文件的读写同样可采用内存映射的方式实现。按照以上方式，如果在索引文件中以10字节表示年月日时分秒在内的时间信息，以8字节表示偏移地址，那么只需要占用675 KB的磁盘空间就可以为连续24小时的数据存储建立索引，以极小的磁盘空间换取了数据搜索效率的极大提高。

【参考文献】：
期刊论文
[1]内存映射技术在大数据实时存储中的应用[J]. 刘平,贾林林.  河南科技. 2017(05)
[2]内存映射文件在大型数据文件中的实现及其优越性[J]. 贾琴勇,郭庆平.  电脑知识与技术(学术交流). 2007(17)
[3]基于内存映射文件的数据共享技术研究与应用[J]. 孙文庆,刘秉权,肖镜辉.  微计算机应用. 2005(02)
[4]内存映射文件及其在大数据量文件快速存取中的应用[J]. 杨宁学,诸昌钤,聂爱丽.  计算机应用研究. 2004(08)



本文编号：3569046