农业信息云平台作业失败预测算法研究

发布时间：2022-01-03 09:56

　　随着农业信息化技术的发展,农业数据呈现出规模巨大、类型多样、价值密度低、复杂度高、区域性等特点。因此,对农业大数据的存储能力和计算能力要求越来越高。将云计算技术应用到农业信息服务中,为农业信息服务提供更好的存储能力、计算能力和共享信息能力,是对农业信息化技术的极大促进。其中,云平台的资源管理是提高资源利用率的重要环节,是实现农业信息云的关键技术。但是,由于软硬件故障、作业调度资源不足和节点失效等原因,导致作业无法成功运行,从而造成运行时间延长和资源浪费等现象。如何预测作业的终止状态并采取相应的调度措施,是云资源管理优化迫切需要解决的问题。本文在对云平台作业失败因素统计分析的基础上,针对云平台复杂负载难以准确地定义特征的问题,提出了基于深度自动编码网络模型;利用任务间的结构化关系,提出了基于多任务学习的模型的预测方法。主要工作和贡献如下:（1）提出了农业信息化云服务平台的资源管理框架。通过云资源管理中任务管理器对农业信息化云平台中作业的任务进行预测,对于预测将会失败的任务,采取相应的调度策略,避免资源浪费。（2）针对复杂的负载数据难以准确定义特征的问题,提出了基于深度自动编码极限学习机模... 

【文章来源】：河南师范大学河南省

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

作业和任务的生命周期图

图 2-2. 每个事件类型的所占作业比率我们不难看出在云集群中被杀和失败的作业还是占有不小比例的，也是惊人的高，RosaA[25]等人对此做了统计，其中驱逐、失败、被0%、4.5%、40.5%和 35%，如图 2-3 所示：

图 2-3. 每个事件类型的机器时间分配可见，成功的作业消耗的时间相对非成功的作业要少得多。并且被杀间有强烈的负面影响，因为它们比成功事件消耗的时间更多。，在云集群中，非成功事件对于资源的浪费和时间的消耗上的影响还，提前对非成功的作业或任务作出预测，可以很好的提高资源的利用能。作业失败因素分析集群中由于作业和任务的约束条件或者机器故障等原因会导致作业

【参考文献】：
期刊论文
[1]基于SVM分类的云集群失败作业主动预测方法[J]. 刘春红,韩晶晶,商彦磊.  北京邮电大学学报. 2016(05)
[2]云计算技术在农业信息共享服务平台中的应用[J]. 马彦图.  西安工程大学学报. 2016(04)
[3]云计算在农业综合信息化服务中的应用[J]. 陈伟.  数字通信. 2014(04)
[4]新形势下现代农业信息化建设的几点思考[J]. 迟立军.  现代化农业. 2014(05)
[5]一种基于Volterra级数的云平台自适应失效检测机制[J]. 侯金轩,林荣恒,邹华,杨放春.  电信科学. 2011(10)
[6]基于云计算的农业信息服务研究[J]. 李光达,郑怀国,谭翠萍,邱琳,赵静娟.  安徽农业科学. 2011(27)
[7]云计算在农业信息化中的应用前景分析[J]. 伍丹华,黄智刚,刘永贤.  南方农业. 2011(05)
[8]农村信息服务云模式探讨[J]. 王爱云.  理论视野. 2011(06)
[9]网上农业信息资源的开发与利用[J]. 邢燕丽,郑怀国,孙素芬.  农业图书情报学刊. 2002(05)

博士论文
[1]云计算环境下动态资源管理关键技术研究[D]. 李冰.北京邮电大学 2012

硕士论文
[1]基于自适应蚁群算法的云计算任务调度研究[D]. 张宁.大连理工大学 2015
[2]多任务学习技术在混合推荐中的应用研究与实现[D]. 程虓.浙江大学 2012
[3]基于云计算技术的数字图书馆云服务平台架构研究[D]. 王静一.吉林大学 2011



本文编号：3566063