嵌入式网络分布式负载任务并行计算系统设计

发布时间：2025-01-15 20:38

　　 传统的嵌入式网络分布式负载任务并行计算系统工作性能差。针对这一问题,设计一种新的并行计算系统,系统硬件由存储层、缓存层、执行层组成架构。通过STORE selection模块连接各层数据,Zookeeper模块监控系统的整体运行变化,data loader模块负责引入外部数据,利用分布式索引结构将得到的数据存储在系统中,设计失效节点检测机制增加系统的容错性,每个节点都设计对应的常驻进程,优化构建查询模块,提高用户查询效率。软件由准备阶段、执行阶段和完成阶段组成,每个阶段的任何一个环节出现问题,都会直接导致进程失败。设计对比实验检测系统效果,结果表明,相较于传统系统,文中给出的并行计算系统在计算过程中消耗的索引量更少,并行计算性能更强,所有的计算都可以在系统中进行,确保系统的负载均衡特性得以提高。

【文章页数】：5 页

【部分图文】：

图1 嵌入式网络并行计算系统硬件结构

对嵌入式网络分布式负载任务并行计算的系统硬件架构进行设计，系统硬件图如图1所示。观察图1可知，本文设计的嵌入式网络分布式负载任务并行计算系统硬件拥有3个层次，位于最底层的为存储层，利用HBase管理3个索引表（SPO,POS,OSP），通过这3个索引表将并行系统中的所有三元组数据....

图2 分布式索引架构

将HBase作为底层，可以提供能够持久存储数据的存储层，存储层内部拥有的分布式内存数据库负责记录热点索引数据。HBase系统具有很强的容错性，扩展能力强，将其作为存储平台底层，可以很好地支持并行计算系统的运行[5]。分布式索引架构中的Rainbow系统能够将每个节点的单机都作为内....

图3 分布式内存存储的失效节点检测机制

图3中失效节点检测机制是利用Zookeeper设计的，当单机内存数据失效时，系统中的底层数据会重新激活，载入到单机存储模块中，通过Lazy后延处理方式处理相关数据，再利用信息管理和组成员实现信息配置服务。运行系统的每个节点上都会有一个常驻进程，通过alivestore目录记录系统....

图4 系统节点常驻进程

并行计算系统每个节点的常驻进程如图4所示。嵌入式网络分布式负载任务并行计算系统内部拥有单独的查询模块，通过独立的引擎和存储架构帮助用户查询[9]。系统内部查询模块如图5所示。

本文编号：4027822