嵌入式大数据平台关键技术研究及实现
发布时间：2021-12-10 16:37
随着大数据处理与存储技术的发展,某些企业租用“公有云”或构建“私有云”来满足“云计算”和“云存储”需求。但租用“公有云”一般伴随着数据的安全性问题,而传统“私有云”的建立和维护需要更大的人力和资金成本。近年来,围绕物联网的结构化大数据的应用需求,低成本、高安全性的嵌入式“私有云”大数据中心倍受企业关注。论文研究基于嵌入式的大数据平台关键技术,搭建嵌入式“私有云”平台,适合中小型企业或家庭,以及对移动便携性有要求的系统。论文研究结构化大数据和节点信息在资源有限的嵌入式平台上的存储机制与集群管理算法优化方法,在分析传统集群管理中节点信息存储和容错机制的基础上,提出了一种优化的基于大堆树节点信息存储的低开销集群管理机制和一种基于列数据存储的混合压缩策略,降低了节点信息和数据的空间开销及故障检测通信量。在嵌入式平台上实现了大数据库引擎的移植与优化,搭建了嵌入式Web服务器Lighttpd,实现了嵌入式大数据平台的集群管理与数据存储等基本功能。论文的主要工作如下:（1）优化了基于大堆树的低开销集群管理机制,降低存储节点信息的平均空间开销,并在心跳检测机制中,得以区分Master的节点故障及链路故...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
图２－１?ＰＵＬＬ方式的心跳检测??
?！?＿?Ｋｕ，?！?＇?Ｋｕ，：??图２－１?ＰＵＬＬ方式的心跳检测??２）?ＰＵＳＨ模型??ＰＵＳＨ模型的基本原理为：被检测进程ｑ主动周期性地推送心跳包（包含节??点运行状态）到检测进程Ｐ，若ｐ在规定时间内未收到来自ｑ的心跳包，则判定??ｑ所在的节点失效。过程不意图如下：??＾＾?＾ｓｃｎｄ???｜４?？］?１＜?？！?＾?ｈ??１?Ａｔｏｕ，?！?？?Ａｔｏｕ，?！?＇?Ｋｕ，?！??图２－２?ＰＵＳＨ方式的心跳检测??ＰＵＳＨ模型检测效率较高，但容易因为网络延时等原因导致误判；ＰＵＬＬ模??型为问询式的检测模型，检测的可靠性较高，但一次检测需要在两个进程之间进??行两次信息传递，效率比ＰＵＳＨ模型低一倍。??２．１．２故障恢复技术??通常意义上节点的故障恢复包括两种：①人工参与的故障恢复；②集群内部??的自适应故障恢复
?！?＿?Ｋｕ，?！?＇?Ｋｕ，：??图２－１?ＰＵＬＬ方式的心跳检测??２）?ＰＵＳＨ模型??ＰＵＳＨ模型的基本原理为：被检测进程ｑ主动周期性地推送心跳包（包含节??点运行状态）到检测进程Ｐ，若ｐ在规定时间内未收到来自ｑ的心跳包，则判定??ｑ所在的节点失效。过程不意图如下：??＾＾?＾ｓｃｎｄ???｜４?？］?１＜?？！?＾?ｈ??１?Ａｔｏｕ，?！?？?Ａｔｏｕ，?！?＇?Ｋｕ，?！??图２－２?ＰＵＳＨ方式的心跳检测??ＰＵＳＨ模型检测效率较高，但容易因为网络延时等原因导致误判；ＰＵＬＬ模??型为问询式的检测模型，检测的可靠性较高，但一次检测需要在两个进程之间进??行两次信息传递，效率比ＰＵＳＨ模型低一倍。??２．１．２故障恢复技术??通常意义上节点的故障恢复包括两种：①人工参与的故障恢复；②集群内部??的自适应故障恢复
【参考文献】：
期刊论文
[1]一种高效匹配PCRE的扩展自动机[J]. 刘鹏,姚远,邰铭,张铮. 计算机工程. 2010(12)
[2]基于列存储数据库的压缩态数据访问算法[J]. 黄鹏,李占山,张永刚,鞠奇. 吉林大学学报(理学版). 2009(05)
[3]浅析嵌入式程序设计中的优化问题[J]. 刘锋,张晓林. 单片机与嵌入式系统应用. 2006(12)
硕士论文
[1]嵌入式深度神经网络的模型压缩与前向加速技术研究[D]. 丁杰.中国科学技术大学 2018
[2]集群管理系统关键技术研究[D]. 许巡枝.北京邮电大学 2018
[3]制造业大数据分布式存储管理方法研究[D]. 王敏.武汉大学 2017
[4]数字家庭环境下的嵌入式Web服务器的设计及实现[D]. 杨峰.南京理工大学 2007
本文编号：3532998
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
图２－１?ＰＵＬＬ方式的心跳检测??
?！?＿?Ｋｕ，?！?＇?Ｋｕ，：??图２－１?ＰＵＬＬ方式的心跳检测??２）?ＰＵＳＨ模型??ＰＵＳＨ模型的基本原理为：被检测进程ｑ主动周期性地推送心跳包（包含节??点运行状态）到检测进程Ｐ，若ｐ在规定时间内未收到来自ｑ的心跳包，则判定??ｑ所在的节点失效。过程不意图如下：??＾＾?＾ｓｃｎｄ???｜４?？］?１＜?？！?＾?ｈ??１?Ａｔｏｕ，?！?？?Ａｔｏｕ，?！?＇?Ｋｕ，?！??图２－２?ＰＵＳＨ方式的心跳检测??ＰＵＳＨ模型检测效率较高，但容易因为网络延时等原因导致误判；ＰＵＬＬ模??型为问询式的检测模型，检测的可靠性较高，但一次检测需要在两个进程之间进??行两次信息传递，效率比ＰＵＳＨ模型低一倍。??２．１．２故障恢复技术??通常意义上节点的故障恢复包括两种：①人工参与的故障恢复；②集群内部??的自适应故障恢复
?！?＿?Ｋｕ，?！?＇?Ｋｕ，：??图２－１?ＰＵＬＬ方式的心跳检测??２）?ＰＵＳＨ模型??ＰＵＳＨ模型的基本原理为：被检测进程ｑ主动周期性地推送心跳包（包含节??点运行状态）到检测进程Ｐ，若ｐ在规定时间内未收到来自ｑ的心跳包，则判定??ｑ所在的节点失效。过程不意图如下：??＾＾?＾ｓｃｎｄ???｜４?？］?１＜?？！?＾?ｈ??１?Ａｔｏｕ，?！?？?Ａｔｏｕ，?！?＇?Ｋｕ，?！??图２－２?ＰＵＳＨ方式的心跳检测??ＰＵＳＨ模型检测效率较高，但容易因为网络延时等原因导致误判；ＰＵＬＬ模??型为问询式的检测模型，检测的可靠性较高，但一次检测需要在两个进程之间进??行两次信息传递，效率比ＰＵＳＨ模型低一倍。??２．１．２故障恢复技术??通常意义上节点的故障恢复包括两种：①人工参与的故障恢复；②集群内部??的自适应故障恢复
【参考文献】：
期刊论文
[1]一种高效匹配PCRE的扩展自动机[J]. 刘鹏,姚远,邰铭,张铮. 计算机工程. 2010(12)
[2]基于列存储数据库的压缩态数据访问算法[J]. 黄鹏,李占山,张永刚,鞠奇. 吉林大学学报(理学版). 2009(05)
[3]浅析嵌入式程序设计中的优化问题[J]. 刘锋,张晓林. 单片机与嵌入式系统应用. 2006(12)
硕士论文
[1]嵌入式深度神经网络的模型压缩与前向加速技术研究[D]. 丁杰.中国科学技术大学 2018
[2]集群管理系统关键技术研究[D]. 许巡枝.北京邮电大学 2018
[3]制造业大数据分布式存储管理方法研究[D]. 王敏.武汉大学 2017
[4]数字家庭环境下的嵌入式Web服务器的设计及实现[D]. 杨峰.南京理工大学 2007
本文编号：3532998
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3532998.html
