面向Hughes效应改善的EM-BP模型——以运载火箭研制经费估算为例
发布时间：2020-12-03 21:05
小样本、特征维度高,特征数多于样本数会导致大部分模型分析结果误差较大,这种现象称为Hughes效应。其中运载火箭经费估算就是典型案例.而通过EM算法改进BP神经网络得到EM-BP模型,可有效改善Hughes效应。该模型首先将高维样本输入至输入层,其后EM算法基于输入神经元提取出低维神经元,并激活传送至隐藏层后,再判断是否需继续使用EM算法,直至最终多次迭代至输出层得出分析结果。该模型使用TcnsorFlow实现,并以长征系列运载火箭经费估算为例验证效果。结果表明:EM-BP模型较其他常用模型的预测精度有所提高,预测结果平均相对误差绝对值为3.93%,模型的训练误差波动小更稳定,且只需4000次迭代即收敛,表明该模型不仅有效改善Hughes效应,同时提高模型分析效率。
【文章来源】：系统工程. 2020年03期 第151-158页 北大核心CSSCI
【文章页数】：8 页
【部分图文】：
图１?ＥＭ－ＢＰ模型运作流程??样本收集和预处理完成后，将高维特征送人ＫＭ－ＢＰ??型人，人ＫＭＯ，ＫＭＯ
型分析效率。??本文使用深度学习框架ＴｅｎｓｏｒＦｌｏｗ完成模型实现，??因为ＴｅｎｓｏｒＦｌｏｗ是采用数据流图（ｄａｔａ?ｆｌｏｗ?ｇｒａｐｈｓ）构建??模型的开源软件库，可高效实现不同模型＿２２＇并支持对各??模型的扩展与改进，方便ＫＭ－ＢＰ模型训练和分析＾。??ＴｅｎｓｏｒＦｌｏｗ使用图（ｇｒａｐｈｓ?．）表示计算任务，张量??（Ｔｅｎｓｏｒ）表示数据，运算称为ｏｐ（ｏｐｃｒａｔｉｏｎ），一个ｏｐ获得??０或多个Ｔｅｎｓｏｒ执行计算，并产生０或多个Ｔｅｎｓｏｒ?＿。??图２构建了?ＫＭ－ＢＰ模型在ＴｅｎｓｏｒＦｌｏｗ下的Ｔｅｎｓｏｒ流动??过程。??在图２中，椭圆表示Ｔｅｎｓｏｒ、白色填充矩形表示ｏｐ、??灰色填充矩形表示各网络层和迭代器。所有矩形、椭圆和??有向箭头组成ｇｒａｐｈｓ．按照数据流向图在ＴｅｎｓｏｒＦｌｏｗ中??依次构建，完成ＫＭ－ＢＰ模型的实现。??３?基于?ＴｅｎｓｏｒＦｌｏｗ?的?ＥＭ－ＢＰ?模型??３．１运载火箭研制经费估算的实验步骤??根据ＫＭ－ＢＰ模型的理论构建和运作流程，结合长征??系列运载火箭样本与特征的实际情况，实验步骤主要分如??下４步：??图２?ＥＭ－ＢＭ模型在ＴｅｎｓｏｒＦｌｏｗ内的数据流动??Ｓｔｃｐｌ：获取长征系列运载火箭数据并输人至ＫＭ－ＢＰ??模型。搜集不同运载火箭型号成本和特征参数数据，形成??经费与特征关系表。基于关系表构建高维特征Ｘ穴ｘｉ，??…，ｘＵ输人至ＫＭ－ＢＰ模型输人层，然后使用ＫＭＯ??检验，若ＫＭＯ检验值大于阈值，则进行Ｓｔｅｐ?２；若ＫＭＯ??检验值小于阈值，则关系表不够完善，需继续完善关系表??至ＫＭＯ检验达到阈值以上。??
１５６??系统工程??２０２０?年???ＥＭ－ＢＰ模型??〇〇〇?ｎｅｕｒｅ＿３??〇〇〇?ｎｅｕｒｅ＿６??？？？?ｎｅｕｒｅ＿８??图３训练２００次权重、偏置三维空间分布??为了更详细观察整个ＫＭ－ＢＰ模型训练过程，图４显??示迭代１００００次输出层权重、偏置图。图４可见，训练前??期［０，２０００］，ＫＭ－ＢＰ模型权重、偏置更新幅度很大，训练??至［２０００，１００００］后，模型权重和偏置缓慢更新，直到满足??５万次迭代。作为对比，使用多元线性回归模型、ＢＰ神经??网络模型在ＴｃｎｓｏｒＦｌｏｗ中同样进行５万次训练。??由图５可知：每个模型损失函数趋于稳定的迭代次数??有较大不同。ＫＭ－ＢＰ模型迭代次数最少，在４０００次时损??失函数趋于稳定、多元线性回归４２００次、ＢＰ神经网络??６０００次。各模型的损失函数在稳定后的变化幅度也不??同，ＫＭ－ＢＰ模型和Ｐ３Ｐ神经网络的损失函数变化幅度微??弱，多元回归模型的损失函数有较大起伏。??图４训练１００００次权重、偏置三维空间分布图??多元线性回归??？?ＢＰ神经网络??１０００?２０００?３０００?４０００?５０００??６０００?７０００?８０００??迭代次数??图５损失函数值随迭代次数的变化曲线??结合表３信息，ＫＭ－ＢＰ模型与Ｐ３Ｐ神经网络、多元线?估算误差波动范围变化小且收敛速度更快。表明ＫＭ－ＢＰ??性回归相比，训练估算误差更小，趋于稳定时在１．４８％；?模型训练效率与准确率更高。??表３训练阶段迭代次数与估算误差??估算误差平均值（％）??估算误差波动范围的绝对值??迭代次数??ＥＭ－ＢＰ模型??ＢＰ神经网络??多元线性回??
【参考文献】：
期刊论文
[1]几何分布的参数估计及EM算法[J]. 张梦琇,周菊玲. 数学的实践与认识. 2018(20)
[2]重复使用运载火箭精确回收滑模动态面控制[J]. 钱默抒,熊克,王海洋. 宇航学报. 2018(08)
[3]基于偏最小二乘模型的无人机航材需求预测方法[J]. 李文强,段振云,赵文辉. 系统工程理论与实践. 2018(05)
[4]Improvement in Time Efficiency in Numerical Simulation for Solid Propellant Rocket Motors(SPRM)[J]. Valeriy BUCHARSKYI,ZHANG Li-hui,WAN Yi-lun. 推进技术. 2018(01)
[5]基于FQFD的固体火箭发动机技术特性综合排序方法[J]. 周伟,罗建军,王学仁,李赛. 系统工程理论与实践. 2017(08)
[6]Asymptotic properties and expectation-maximization algorithm for maximum likelihood estimates of the parameters from Weibull-Logarithmic model[J]. GUI Wen-hao,ZHANG Huai-nian. Applied Mathematics:A Journal of Chinese Universities. 2016(04)
[7]可重复使用运载火箭全寿命周期费用分析[J]. 庄方方,汪小卫,吴胜宝. 导弹与航天运载技术. 2016(06)
[8]空中远程作战体系效能评估的组合分析方法[J]. 钟季龙,郭基联. 系统工程. 2015(11)
[9]Uncertainty analysis and probabilistic design optimization of hybrid rocket motors for manned lunar landing[J]. ZHU Hao,TIAN Hui,CAI GuoBiao,BAO WeiMin. Science China(Technological Sciences). 2015(07)
[10]变量降维及零值数据在DEA应用中的改进[J]. 赵崤含,胡晓龙,诸克军. 系统工程. 2015(04)
本文编号：2896543
【文章来源】：系统工程. 2020年03期 第151-158页 北大核心CSSCI
【文章页数】：8 页
【部分图文】：
图１?ＥＭ－ＢＰ模型运作流程??样本收集和预处理完成后，将高维特征送人ＫＭ－ＢＰ??型人，人ＫＭＯ，ＫＭＯ
型分析效率。??本文使用深度学习框架ＴｅｎｓｏｒＦｌｏｗ完成模型实现，??因为ＴｅｎｓｏｒＦｌｏｗ是采用数据流图（ｄａｔａ?ｆｌｏｗ?ｇｒａｐｈｓ）构建??模型的开源软件库，可高效实现不同模型＿２２＇并支持对各??模型的扩展与改进，方便ＫＭ－ＢＰ模型训练和分析＾。??ＴｅｎｓｏｒＦｌｏｗ使用图（ｇｒａｐｈｓ?．）表示计算任务，张量??（Ｔｅｎｓｏｒ）表示数据，运算称为ｏｐ（ｏｐｃｒａｔｉｏｎ），一个ｏｐ获得??０或多个Ｔｅｎｓｏｒ执行计算，并产生０或多个Ｔｅｎｓｏｒ?＿。??图２构建了?ＫＭ－ＢＰ模型在ＴｅｎｓｏｒＦｌｏｗ下的Ｔｅｎｓｏｒ流动??过程。??在图２中，椭圆表示Ｔｅｎｓｏｒ、白色填充矩形表示ｏｐ、??灰色填充矩形表示各网络层和迭代器。所有矩形、椭圆和??有向箭头组成ｇｒａｐｈｓ．按照数据流向图在ＴｅｎｓｏｒＦｌｏｗ中??依次构建，完成ＫＭ－ＢＰ模型的实现。??３?基于?ＴｅｎｓｏｒＦｌｏｗ?的?ＥＭ－ＢＰ?模型??３．１运载火箭研制经费估算的实验步骤??根据ＫＭ－ＢＰ模型的理论构建和运作流程，结合长征??系列运载火箭样本与特征的实际情况，实验步骤主要分如??下４步：??图２?ＥＭ－ＢＭ模型在ＴｅｎｓｏｒＦｌｏｗ内的数据流动??Ｓｔｃｐｌ：获取长征系列运载火箭数据并输人至ＫＭ－ＢＰ??模型。搜集不同运载火箭型号成本和特征参数数据，形成??经费与特征关系表。基于关系表构建高维特征Ｘ穴ｘｉ，??…，ｘＵ输人至ＫＭ－ＢＰ模型输人层，然后使用ＫＭＯ??检验，若ＫＭＯ检验值大于阈值，则进行Ｓｔｅｐ?２；若ＫＭＯ??检验值小于阈值，则关系表不够完善，需继续完善关系表??至ＫＭＯ检验达到阈值以上。??
１５６??系统工程??２０２０?年???ＥＭ－ＢＰ模型??〇〇〇?ｎｅｕｒｅ＿３??〇〇〇?ｎｅｕｒｅ＿６??？？？?ｎｅｕｒｅ＿８??图３训练２００次权重、偏置三维空间分布??为了更详细观察整个ＫＭ－ＢＰ模型训练过程，图４显??示迭代１００００次输出层权重、偏置图。图４可见，训练前??期［０，２０００］，ＫＭ－ＢＰ模型权重、偏置更新幅度很大，训练??至［２０００，１００００］后，模型权重和偏置缓慢更新，直到满足??５万次迭代。作为对比，使用多元线性回归模型、ＢＰ神经??网络模型在ＴｃｎｓｏｒＦｌｏｗ中同样进行５万次训练。??由图５可知：每个模型损失函数趋于稳定的迭代次数??有较大不同。ＫＭ－ＢＰ模型迭代次数最少，在４０００次时损??失函数趋于稳定、多元线性回归４２００次、ＢＰ神经网络??６０００次。各模型的损失函数在稳定后的变化幅度也不??同，ＫＭ－ＢＰ模型和Ｐ３Ｐ神经网络的损失函数变化幅度微??弱，多元回归模型的损失函数有较大起伏。??图４训练１００００次权重、偏置三维空间分布图??多元线性回归??？?ＢＰ神经网络??１０００?２０００?３０００?４０００?５０００??６０００?７０００?８０００??迭代次数??图５损失函数值随迭代次数的变化曲线??结合表３信息，ＫＭ－ＢＰ模型与Ｐ３Ｐ神经网络、多元线?估算误差波动范围变化小且收敛速度更快。表明ＫＭ－ＢＰ??性回归相比，训练估算误差更小，趋于稳定时在１．４８％；?模型训练效率与准确率更高。??表３训练阶段迭代次数与估算误差??估算误差平均值（％）??估算误差波动范围的绝对值??迭代次数??ＥＭ－ＢＰ模型??ＢＰ神经网络??多元线性回??
【参考文献】：
期刊论文
[1]几何分布的参数估计及EM算法[J]. 张梦琇,周菊玲. 数学的实践与认识. 2018(20)
[2]重复使用运载火箭精确回收滑模动态面控制[J]. 钱默抒,熊克,王海洋. 宇航学报. 2018(08)
[3]基于偏最小二乘模型的无人机航材需求预测方法[J]. 李文强,段振云,赵文辉. 系统工程理论与实践. 2018(05)
[4]Improvement in Time Efficiency in Numerical Simulation for Solid Propellant Rocket Motors(SPRM)[J]. Valeriy BUCHARSKYI,ZHANG Li-hui,WAN Yi-lun. 推进技术. 2018(01)
[5]基于FQFD的固体火箭发动机技术特性综合排序方法[J]. 周伟,罗建军,王学仁,李赛. 系统工程理论与实践. 2017(08)
[6]Asymptotic properties and expectation-maximization algorithm for maximum likelihood estimates of the parameters from Weibull-Logarithmic model[J]. GUI Wen-hao,ZHANG Huai-nian. Applied Mathematics:A Journal of Chinese Universities. 2016(04)
[7]可重复使用运载火箭全寿命周期费用分析[J]. 庄方方,汪小卫,吴胜宝. 导弹与航天运载技术. 2016(06)
[8]空中远程作战体系效能评估的组合分析方法[J]. 钟季龙,郭基联. 系统工程. 2015(11)
[9]Uncertainty analysis and probabilistic design optimization of hybrid rocket motors for manned lunar landing[J]. ZHU Hao,TIAN Hui,CAI GuoBiao,BAO WeiMin. Science China(Technological Sciences). 2015(07)
[10]变量降维及零值数据在DEA应用中的改进[J]. 赵崤含,胡晓龙,诸克军. 系统工程. 2015(04)
本文编号：2896543
本文链接：https://www.wllwen.com/guanlilunwen/shengchanguanlilunwen/2896543.html
