基于近似动态规划的迭代控制研究及应用

发布时间：2017-06-25 16:14

  本文关键词：基于近似动态规划的迭代控制研究及应用，由笔耕文化传播整理发布。

【摘要】：近似动态规划已经成为求解优化控制问题的一种有效方法,是机器学习和优化控制领域的一个热门研究方向。近些年来,前人的研究主要是针对离散状态空间问题,而实际工业生产中往往遇到的是大规模、连续的状态空间问题,对于这些问题的求解,现有的算法研究还没有得出较好的结果并且算法的学习效率不高。因此论文研究了如何进一步改进近似动态规划算法,改善该算法的学习控制性能。我们先是研究如何通过神经网络来辨识建模,针对航煤干点软测量问题,我们建立了部分最小二乘(PLS)、径向基函数神经网络(RBFN)和PLS-RBFN三个软测量子模型,通过主元分析法把三个子模型线性加权,建立航煤干点混合软测量预测模型,从而验证了神经网络建模的可行性,为获取改进近似动态规划算法所需要的模型信息提供了思路。目前研究的近似动态规划算法中评价网络通常采用神经网络结构,该结构存在着估计精度不够和经验设置参数不足的缺点。我们在最小二乘TD (Temporal Differences)学习算法的基础上,分别采用RLSTD(0)、 RLSTD(λ)、TDC(TD with gradient correction)算法和LSTDC (Least squares temporal difference with gradient correction)算法代替对偶启发式动态规划(Dual Heuristic Programming,DHP)算法中评价网络的神经网络结构,从而推导出了RLSTD(0)-DHP算法、RLSTD(λ)-DHP算法和本文改进的TDC-DHP算法、LSTDC-DHP算法,这样我们改进了近似动态规划算法中评价网络估计值函数的逼近方式,优化了权值更新过程,提高了算法的学习控制性能。为了验证所推导改进近似动态规划的有效性,我们对乙醇生产间歇过程这个被控对象进行迭代控制应用研究。我们给出了RLSTD(0)-DHP算法、RLSTD(λ)-DHP算法和本文改进的TDC-DHP算法、LSTDC-DHP算法这四种算法的基本算法流程。在生物发酵间歇过程进行迭代控制仿真实验研究中,观测发酵四个状态变量、性能指标函数和进料率轨迹的变化趋势,比较分析四种算法的实验结果。所改进的LSTDC-DHP算法不仅能够连续地获得最优进料率轨迹,而且在数值上获得最大乙醇产物产量。仿真实验结果说明LSTDC-DHP算法能够有效简化了权值调整过程并提高了评价网络的逼近精度,同时也验证了LSTDC-DHP算法在处理连续空间问题上的有效性。
【关键词】：近似动态规划 对偶启发式动态规划 神经网络 间歇过程 生物发酵 学习控制
【学位授予单位】：北京化工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：O221.3;O231
【目录】：

• 摘要4-6
• ABSTRACT6-13
• 第一章 绪论13-19
• 1.1 研究背景及意义13-14
• 1.2 研究现状及发展趋势14-17
• 1.2.1 近似动态规划的研究现状及发展趋势14-15
• 1.2.2 神经网络建模的研究现状及发展趋势15
• 1.2.3 间歇过程迭代控制的研究现状及发展趋势15-17
• 1.3 本文研究的内容17
• 1.4 课题来源17-19
• 第二章 近似动态规划方法和神经网络理论基础19-33
• 2.1 近似动态规划理论基础19-21
• 2.1.1 马尔科夫决策过程19-20
• 2.1.2 动态规划20-21
• 2.2 近似动态规划算法原理21-29
• 2.2.1 启发式动态规划方法(HDP)21-22
• 2.2.2 对偶启发式动态规划方法(DHP)22-23
• 2.2.3 全局对偶启发式动态规划方法(GDHP)23-29
• 2.3 神经网络理论基础29-32
• 2.3.1 神经网络原理及结构30-31
• 2.3.2 神经网络训练算法31-32
• 2.4 小结32-33
• 第三章 神经网络预测模型的建立及仿真研究33-43
• 3.1 航煤干点软测量问题的描述33-34
• 3.2 混合预测模型的建立34-38
• 3.3 航煤干点软测量模型预测效果分析38-41
• 3.4 小结41-43
• 第四章 改进的近似动态规划算法实现43-51
• 4.1 最小二乘TD学习算法43-44
• 4.2 基于RLSTD的DHP算法推导44-46
• 4.2.1 RLSTD(0)-DHP算法推导44-45
• 4.2.2 RLSTD(λ)-DHP算法推导45-46
• 4.3 TDC-DHP算法推导46-47
• 4.4 LSTDC-DHP算法推导47-49
• 4.5 小结49-51
• 第五章 基于ADP算法的生物发酵间歇过程迭代控制研究51-69
• 5.1 问题描述51-52
• 5.2 基于ADP算法的生物发酵过程迭代控制52-60
• 5.2.1 RLSTD(0)-DHP算法的迭代控制53-55
• 5.2.2 RLSTD(λ)-DHP算法的迭代控制55-58
• 5.2.3 TDC-DHP算法的迭代控制58-60
• 5.3 基于改进LSTDC-DHP算法的实现60-68
• 5.3.1 改进LSTDC-DHP算法实现流程60-61
• 5.3.2 基于LSTDC-DHP算法生物发酵过程迭代控制的实验设置与结果61-64
• 5.3.3 实验结果对比分析64-68
• 5.4 小结68-69
• 第六章 总结与展望69-71
• 6.1 总结69-70
• 6.2 展望70-71
• 参考文献71-75
• 致谢75-77
• 研究成果及发表的学术论文77-79
• 导师和作者简介79-81
• 附件81-83

【相似文献】

中国期刊全文数据库 前10条

1 程吉林，，金兆森，沈洁，刘正祥，陈平;高维动态规划的试验选优方法[J];系统工程理论与实践;1996年02期

2 程吉林，金兆森，沈洁，刘正祥，陈平;多维动态规划的广义拉氏方法[J];江苏农学院学报;1996年02期

3 王俊,张光宇;多约束动态规划问题求解方法的探讨[J];经济师;2001年09期

4 马卫民,徐青川;局外k-出租车问题及其动态规划求法[J];系统工程学报;2001年06期

5 王刚;动态规划的应用实例[J];云南财贸学院学报;2001年S1期

6 储锦林;谈动态规划阶段状态的确定问题[J];安徽教育学院学报;2003年03期

7 孙晚华;关于动态规划顺序求解法的教学探讨[J];北京交通大学学报(社会科学版);2004年01期

8 罗党,刘思峰;灰色动态规划研究[J];系统工程理论与实践;2004年04期

9 段红玉;李芳菊;;动态规划在程序设计中的应用[J];中国科技信息;2006年07期

10 焦移山;;稀疏动态规划技术介绍[J];科技信息(科学教研);2007年17期

中国重要会议论文全文数据库 前10条

1 蒋科林;迟宝山;许云华;刑俊文;;动态规划在装备计划生产中的运用[A];2006全国复杂网络学术会议论文集[C];2006年

2 张钊;裴燕玲;;动态规划的正向递推方法[A];2005年度山东建筑学会优秀论文集[C];2005年

3 玄一民;赵焕丛;刘宏;;动态规划在多重约束下可靠性选优应用研究[A];质量——持续发展的源动力：中国质量学术与创新论坛论文集（下）[C];2010年

4 曹平;范萌萌;刘克;陈建州;;卫星系统通讯路由问题的动态规划建模[A];第十届中国不确定系统年会、第十四届中国青年信息与管理学者大会论文集[C];2012年

5 胡乐群;吴沧浦;;矢量指标动态规划的满意解方法[A];全国青年管理科学与系统科学论文集（第1卷）[C];1991年

6 宋绍剑;李劲芝;林小峰;;基于执行依赖启发式动态规划的三容水槽液位控制[A];第二十七届中国控制会议论文集[C];2008年

7 海心;;使用Excel求解动态规划问题方法探讨[A];2005年中国机械工程学会年会论文集[C];2005年

8 宋丹丹;邓志东;;基于模糊动态规划的RNA折叠算法的研究与实现[A];2005年中国智能自动化会议论文集[C];2005年

9 张祥;王晓蕾;杨子宾;王剑;;动态规划理论在雷达可靠性评估中的应用[A];2009第五届苏皖两省大气探测、环境遥感与电子技术学术研讨会专辑[C];2009年

10 胡铁松;段国圣;万永华;冯尚友;;多目标动态规划的摄动权重法[A];1993中国控制与决策学术年会论文集[C];1993年

中国重要报纸全文数据库 前1条

1 彭舒佳;专家吁建动态规划机制“纠编”用地[N];中国房地产报;2008年

中国博士学位论文全文数据库 前4条

1 王颖;基于仿真的可重入生产系统的神经元动态规划调度研究[D];厦门大学;2007年

2 费蓉;动态规划研究及其在电力市场动态分区定价问题中的应用[D];西安理工大学;2009年

3 王怡慧;动态规划加速算法和轮廓探测算法[D];复旦大学;2012年

4 姜琳;过程控制优化中的智能方法研究[D];吉林大学;2010年

中国硕士学位论文全文数据库 前10条

1 陈铭;基于动态规划的弱小目标检测前跟踪（DP-TBD）算法研究[D];电子科技大学;2014年

2 安政帅;基于动态规划的微弱目标检测前跟踪算法研究[D];西安电子科技大学;2014年

3 程亮;自适应动态规划在电力系统中的应用研究[D];华中科技大学;2014年

4 乔东钦;基于动态规划技术的MFI理论在板桥中的应用研究[D];湖南大学;2016年

5 蒙宁佳;基于近似动态规划的迭代控制研究及应用[D];北京化工大学;2016年

6 张宏伟;数学建模中的动态规划问题[D];东北师范大学;2008年

7 鄢长伟;一类动态规划问题的约束指标的决策方法[D];辽宁工程技术大学;2012年

8 张晨;基于近似动态规划的随机车辆路径问题研究[D];清华大学;2012年

9 王振兴;近似动态规划在供应链生产环节风险管理中的应用研究[D];清华大学;2009年

10 徐鹏;多阶段营销信息动态发送建模与分析[D];南京大学;2013年

  本文关键词：基于近似动态规划的迭代控制研究及应用，由笔耕文化传播整理发布。

本文编号：482766