基于HDFS的网络对讲语音存储和检索研究

发布时间：2020-10-15 04:23

　　 网络对讲机因其价格低、通话质量优和通信距离长等优点,被广泛地应用到工业、安保和消防等领域。随着网络对讲用户数剧增,原有网络对讲交换平台突显出了两大问题:面对大量对讲交换任务并发时,平台交互速度变慢、稳定性变差;存储在平台上的对讲语音数据增多时,文件检索效率低、安全性差。Hadoop分布式文件系统(Hadoop Distribute File System,HDFS)进行大数据处理时具有较高的安全性。HDFS将文件元数据信息放在NameNode节点内存中维护,文件检索效率有所提高,但在处理大量语音数据这种小文件时,HDFS又会出现NameNode节点内存瓶颈等问题。当前,采用小文件合并策略已使得NameNode节点内存瓶颈问题得到了较大改善,但其文件检索策略并没有很好的降低NameNode节点负担,文件检索效率低的问题仍然存在。针对原有网络对讲平台存在的问题,本文提出一种改进方案:(1)提出一种基于扩展型Chord路由算法的改进方案,用于解决高并发问题。通过扩展网络对讲交换平台服务器节点数,然后采用扩展型Chord路由算法维护平台各节点,并结合多线程机制处理并发任务的优点,高效使用各节点的CPU等资源,增强平台任务调度的实时性。实验数据表明,同等条件下系统任务调度时间约为传统多线程方式的64.6%,改进的高并发方案能够提高平台任务调度的实时性。(2)提出一种基于HDFS的语音小文件存储和检索方案,用于解决小文件存储、检索效率低的问题。通过相关性填充策略,使得数据块空间可被最大化利用,减少NameNode节点内存占用,将元数据信息记录到索引文件中并缓存索引文件,使得文件检索效率得以提高。实验数据表明,NameNode节点内存占用为HDFS方案的14.69%,数据块空间利用率相比TM算法提高2.7%,文件总访问时间为HDFS方案的67.8%。改进的小文件存储和检索方案,能有效减少NameNode节点高内存占用,能较大地提高文件检索效率。
【学位单位】：华侨大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TN912.3;TP391.3
【部分图文】：

线程池调度

节点10路由表（m=6）

关键字K47节点查询过程
【参考文献】

相关期刊论文 前8条

1 游小容;曹晟;;海量教育资源中小文件的存储研究[J];计算机科学;2015年10期

2 杨越;闫连山;张志勇;李赛飞;;面向集群服务器大规模并发的改进负载均衡调度系统[J];微电子学与计算机;2013年12期

3 李海军;;服务器集群技术综述[J];电脑知识与技术;2013年22期

4 张启飞;张尉东;李文娟;潘雪增;沈雁;;基于对等网络的面向小文件的云存储系统[J];浙江大学学报(工学版);2013年01期

5 武雪芳;王英杰;;网络游戏服务器并发架构的设计与研究[J];华章;2012年10期

6 刘新强;曾兵义;;用线程池解决服务器并发请求的方案设计[J];现代电子技术;2011年15期

7 段淮川;胡平;;基于剩余负载率的动态负载均衡研究[J];微电子学与计算机;2010年02期

8 赵森;;基于DHT的Chord算法研究[J];网络安全技术与应用;2007年11期

本文编号：2841691