基于深度强化学习的电力系统智能发电控制

发布时间：2020-03-18 01:09

【摘要】：随着大量间歇性分布式能源持续接入电网,电力系统的发电控制迎来了新的挑战,如何经济又高质量地发电成为电力工作者与研究者所关心的热点问题。本文采用先进的强化学习与深度学习解决了此问题。并研发了基于信息物理社会融合系统与平行系统的智能发电控制仿真平台,提升了智能算法的学习能力和决策能力,为解决如何经济又高质量地发电问题做出了科学贡献。本文主要创新工作如下:1.为提升强化学习算法在智能发电控制中的控制性能,提出了人工情感强化学习算法。将强化学习与人工心理学中的人工情感进行结合,从强化学习中的动作值选择、Q值矩阵更新和奖励值函数更新三个方面进行情感分析与改进。并设计了三种人工情感的量化函数,从而形成了九种策略的人工情感Q学习算法和九种策略的人工情感Q(λ)学习算法。2.为解决传统电力系统多时间尺度调度与控制难以协调的问题,提出了互联电网的统一时间尺度的实时经济发电调度与控制框架,并为该框架提出了松弛深度学习算法。首先,为提升算法对智能发电控制中的大扰动紧急情况发生的预防能力,采用深度森林算法对系统的历史状态和历史动作值进行学习,并融入强化学习框架中,提出了深度强化森林算法。然后,为进一步解决互联电网多区域之间的博弈问题,将机器学习中具有强大学习与认知能力的深度学习算法应用到强化学习算法的框架中,从而提出了深度强化学习算法,并在变参数的模型中进行仿真,设定的仿真时间长达1296天。最后,在同时考虑“机组组合+经济调度+自动发电控制+发电功率分配”的基础上,设计了统一时间尺度的实时经济发电调度与控制框架,并为该框架提出了松弛深度学习算法,且对比了1200种传统非统一时间尺度的组合式算法,设定的总仿真时间长达6.586年。3.为微电网提出了统一时间尺度的实时智能发电控制框架,并为该框架提出了深度自适应动态规划算法。首先,设计了“自动发电控制+发电功率分配”的一体化实时智能发电控制框架。然后,为该框架提出了深度自适应动态规划算法,在所提深度自适应动态规划算法中设计了深度模型预测网络、深度评价网络和深度执行网络三个多输出的深度神经网络。最后,设计了一个含有19个二次调频机组和一个含有28个二次调频机组的电力系统,并在基本仿真、“即插即用”启停机仿真、通讯故障仿真、全天扰动仿真、变拓扑结构仿真和变参数模型仿真六种工况下仿真,设定的总仿真时长达25.155年。4.为提升统一时间尺度算法的学习速度,研发了基于社会物理信息系统的智能发电控制平行系统仿真平台,并将所提松弛深度学习算法在所建平台上进行仿真,对比了146016种非统一时间尺度的组合式算法,设定的总仿真时间为400.0493年。最后,所建平行系统平台在小型示范工程中得到了初步应用。
【图文】：

programming)。自适应动态规划算法与强化学习的框架非常相似，但的结构还可以进行更多的变化，如启发式动态规划算法(heuristicing, HDP)、执行依赖启发式动态规划算法(action dependent heuristicing,ADHDP)、二次启发式规划算法(dual heuristic programming, DHP)规划算法(global dual heuristic programming, GDHP)、执行依赖二次启on dependent dual heuristic programming, ADDHP)、执行依赖全局二次ction dependent global dual heuristic programming, ADGDHP)和单神经法(single network adaptive critic, SNAC)[66]等算法。适应动态规划具备可改进和变化的方法多，其应用场景也非常广泛。规划对电网电压的控制[67]和对储能系统的控制[68]；目标导向的自适应l representation heuristic dynamic programming, GrHDP)对风电频率的控可以绘制广义的强化学习的分类图如图 1-1 所示。Q学习

、学习率和奖励函数等。在现有文献中，，尚未有人工情感与强化现。算法已在电力系统的研究中得到发展，但深度森林算法在电力林(randomforest,RF)算法在多个领域中得到应用与研究：农耕区机载激光全波形点云数据分类[114]、激变变星候选体的数据挖掘]等应用。作为集成学习算法的一种，随机森林算法也在电力系：用户用电关联因素辨识及用电量预测[117]、电力系统短期负荷断方法[119]等。随机森林算法的改进算法也被应用到多个领域中测[120]、Android 恶意软件检测[121]和入侵检测模型[122]等应用。随可见表 1-9 所示[123]。人工情感人工意识
【学位授予单位】：华南理工大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TM76;TP181

【参考文献】

相关期刊论文 前10条

1 邓建玲;王飞跃;陈耀斌;赵向阳;;从工业4.0到能源5.0:智能能源系统的概念、内涵及体系框架[J];自动化学报;2015年12期

2 杨柳青;王飞跃;张艳丽;韩双双;杨坚;赵恺;程翔;;基于ACP方法的城市平行停车系统[J];指挥与控制学报;2015年04期

3 丁君美;刘贵全;李慧;;改进随机森林算法在电信业客户流失预测中的应用[J];模式识别与人工智能;2015年11期

4 马钊;周孝信;尚宇炜;盛万兴;;能源互联网概念、关键技术及发展模式探索[J];电网技术;2015年11期

5 孙宏斌;郭庆来;潘昭光;王剑辉;;能源互联网:驱动力、评述与展望[J];电网技术;2015年11期

6 孙宏斌;郭庆来;潘昭光;;能源互联网:理念、架构与前沿展望[J];电力系统自动化;2015年19期

7 王一丁;徐林林;段强宇;贺文强;;基于深度学习和多尺度编码组合的手背静脉识别[J];北方工业大学学报;2015年03期

8 张孝顺;余涛;;互联电网AGC功率动态分配的虚拟发电部落协同一致性算法[J];中国电机工程学报;2015年15期

9 谷学静;高贝贝;朱朝月;;基于人工情感的Q-学习算法在机器人行为决策中的应用[J];自动化与仪表;2015年07期

10 吴潇雨;和敬涵;张沛;胡骏;;基于灰色投影改进随机森林算法的电力系统短期负荷预测[J];电力系统自动化;2015年12期

相关博士学位论文 前5条

1 王国芳;专家知识辅助的强化学习研究及其在无人机路径规划中的应用[D];浙江大学;2017年

2 冯小峰;基于自适应动态规划法的二级电压控制问题研究[D];华南理工大学;2016年

3 王怀智;智能发电控制的多目标优化策略及其均衡强化学习理论[D];华南理工大学;2015年

4 卢泽汉;主动配网/微网中新能源发电机协调控制问题研究[D];浙江大学;2015年

5 宋睿卓;基于自适应动态规划的几类非线性时滞系统最优化控制方法研究[D];东北大学;2011年

相关硕士学位论文 前10条

1 朱佳晖;基于深度学习的主题建模方法研究[D];武汉大学;2017年

2 汪青;基于深度学习的多视角步态识别算法设计与研究[D];深圳大学;2016年

3 张泽宇;基于多智能体一致性协同理论的智能配电网自动发电控制方法[D];华南理工大学;2016年

4 丁乐乐;基于深度学习和强化学习的车辆定位与识别[D];电子科技大学;2016年

5 许天宁;汽轮机电液调节系统模型参数辨识研究[D];吉林大学;2015年

6 王莹;基于深度学习的多形态人脸识别[D];大连理工大学;2015年

7 郑闻成;基于JADE的多智能体动态博弈自动发电控制仿真平台研究[D];华南理工大学;2014年

8 张水平;在策略强化学习算法在互联电网AGC最优控制中的应用[D];华南理工大学;2013年

9 甘凌霄;孤岛微电网中多种分布式低碳能源智能优化分配算法研究[D];华南理工大学;2012年

10 梁海华;基于强化学习算法的孤岛微电网智能发电控制[D];华南理工大学;2012年

本文编号：2587979