基于强化学习的微电网能源调度算法研究
发布时间：2022-10-18 14:52
能源是目前人类赖以生存的重要保证,节能减排、清洁能源成为了现如今世界能源经济发展的重要方向。而在这个信息技术不断发展的今天,微电网作为一种绿色环保、持续且高效的电力系统,被业界广泛认为是一个技术平台开阔、有着广阔市场前景的新兴方向。而针对不断发展的微电网技术,各国学者们也提出了许多关于其优化以及控制策略的理论,其中强化学习是机器学习中较为热门的优化算法,也可以应用于微电网中。本文将针对不同类型的微电网,构建不同的数学模型,提出不同的优化目标。根据马尔可夫决策模型,将连续的调度过程离散化,结合强化学习算法求解出最优的调度方案,并分别针对不同数学维度的场景,对算法进行递进加深,本文的贡献如下:1.在传统强化学习的基础上,针对性地融入了异步的概念,并分析其收敛性,在原有算法基础上提出了“增益经验复用”以及动态决策的概念,适用于较低维度的数学模型。针对居民园区微电网场景,通过分析其模型特性,确定了控制手段,构成了电价引导式的居民园区调度策略。同时根据其用电负荷以及用户端需求,确立了三个优化目标并通过线性叠加成为单目标优化问题,然后通过理论分析确定该模型为较低维度的数学矩阵,最后在理论以及仿真中...
【文章页数】：86 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究背景与意义
1.2 国内外微电网现状
1.3 研究方法现状
1.4 研究内容及论文架构
第二章 智能电网框架以及算法理论
2.1 智能电网框架
2.2 能源系统数学模型
2.2.1 风能数学模型
2.2.2 光伏发电数学模型
2.2.3 蓄电池系统模型
2.2.4 P2G数学模型
2.2.5 V2G数学模型
2.3 能源调度策略
2.4 日前调度预测模型
2.5 基于强化学习算法的能源调度
2.5.1 蒙特卡洛与马尔科夫决策理论
2.5.2 Q-learning 算法
2.5.3 Sarsa算法
2.6 本章小结
第三章 基于异步强化学习的居民园区微电网能源调度研究
3.1 数学模型
3.1.1 基于电价引导的居民园区微电网模型
3.1.2 优化目标
3.1.3 约束条件
3.2 异步强化学习
3.2.1 异步Q-learning
3.2.2 异步 Q-learning 以及微电网效益收敛性分析
3.2.3 算法伪代码
3.3 动态异步强化学习
3.3.1 动态异步Q-learning
3.3.2 动态决策算法流程
3.4 基于动态异步 Q-learning 的微电网能源调度
3.4.1 数学模型
3.4.2 算法流程
3.5 仿真结果分析
3.5.1 算例仿真
3.5.2 收敛性及参数灵敏度分析
3.5.3 目标结果分析
3.6 本章小结
第四章 基于GA-强化学习的工业园区微电网能源调度研究
4.1 基于单微电网的数学模型
4.1.1 工业园区微电网模型
4.1.2 优化目标
4.1.3 约束条件
4.1.4 多属性评价指标
4.2 基于多微电网的数学模型
4.2.1 多个工业园区微电网模型
4.2.2 约束条件
4.2.3 微电网电能交易博弈模型
4.3 GA-Q算法
4.4 GA-DQSA算法
4.4.1 DQSA算法
4.4.2 基于GA的决策过程
4.5 基于 GA-DQSA 算法的微电网能源调度
4.6 仿真结果
4.6.1 算例分析
4.6.2 收敛性及参数灵敏度分析
4.6.3 效益评估分析
4.6.4 目标函数分析
4.7 本章小结
第五章 总结
5.1 全文总结
5.2 后续工作与进展
致谢
参考文献
攻读硕士学位期间取得的成果
【参考文献】：
期刊论文
[1]强化学习研究综述[J]. 高阳,陈世福,陆鑫. 自动化学报. 2004(01)
[2]基于用户价格响应和满意度的峰谷分时电价决策模型[J]. 丁伟,袁家海,胡兆光. 电力系统自动化. 2005(20)
[3]RLGA:一种基于强化学习机制的遗传算法[J]. 王本年,高阳,陈兆乾,谢俊元,陈世福. 电子学报. 2006(05)
[4]微电网的研究现状及在我国的应用前景[J]. 郑漳华,艾芊. 电网技术. 2008(16)
[5]微电网技术及发展概况[J]. 左文霞,李澍森,吴夕科,程军照. 中国电力. 2009(07)
[6]分布式发电、微网与智能配电网的发展与挑战[J]. 王成山,李鹏. 电力系统自动化. 2010(02)
[7]基于影响出行满意度的出行方式优化研究[J]. 杨松尧. 赤峰学院学报(自然科学版). 2012(08)
[8]基于Elman神经网络的电力负荷预测模型研究[J]. 石黄霞,何颖,董晓红. 工业仪表与自动化装置. 2013(01)
[9]电动汽车参与V2G的最优峰谷电价研究[J]. 项顶,宋永华,胡泽春,徐智威. 中国电机工程学报. 2013(31)
[10]车网互联（V2G）支持高峰电力的技术经济分析[J]. 廖强强,周国定,葛红花,蒋心泽,张宇,钱虹,李晓华,张沈阳. 中国电力. 2012(04)
硕士论文
[1]基于异步方法的强化学习研究[D]. 赵星宇.中国矿业大学 2019
[2]基于强化学习的微电网电能交易研究[D]. 周长华.厦门大学 2017
[3]智能电网中V2G系统能量管理及应用研究[D]. 钟伟锋.广东工业大学 2016
[4]储能系统能量调度与需求响应联合优化控制[D]. 高雪莹.合肥工业大学 2015
[5]微电网建模及其控制策略研究[D]. 徐丰.南京理工大学 2013
[6]并行强化学习研究[D]. 杨旭东.苏州大学 2012
[7]基于V2G应用的车载充放电机的研究与设计[D]. 张宏坡.华南理工大学 2012
[8]电动汽车大规模接入对电网的影响分析[D]. 寇凌峰.华北电力大学（北京） 2011
[9]基于模拟退火-Q学习的移动机器人路径规划技术研究[D]. 郭娜.南京理工大学 2009
本文编号：3692526
【文章页数】：86 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究背景与意义
1.2 国内外微电网现状
1.3 研究方法现状
1.4 研究内容及论文架构
第二章 智能电网框架以及算法理论
2.1 智能电网框架
2.2 能源系统数学模型
2.2.1 风能数学模型
2.2.2 光伏发电数学模型
2.2.3 蓄电池系统模型
2.2.4 P2G数学模型
2.2.5 V2G数学模型
2.3 能源调度策略
2.4 日前调度预测模型
2.5 基于强化学习算法的能源调度
2.5.1 蒙特卡洛与马尔科夫决策理论
2.5.2 Q-learning 算法
2.5.3 Sarsa算法
2.6 本章小结
第三章 基于异步强化学习的居民园区微电网能源调度研究
3.1 数学模型
3.1.1 基于电价引导的居民园区微电网模型
3.1.2 优化目标
3.1.3 约束条件
3.2 异步强化学习
3.2.1 异步Q-learning
3.2.2 异步 Q-learning 以及微电网效益收敛性分析
3.2.3 算法伪代码
3.3 动态异步强化学习
3.3.1 动态异步Q-learning
3.3.2 动态决策算法流程
3.4 基于动态异步 Q-learning 的微电网能源调度
3.4.1 数学模型
3.4.2 算法流程
3.5 仿真结果分析
3.5.1 算例仿真
3.5.2 收敛性及参数灵敏度分析
3.5.3 目标结果分析
3.6 本章小结
第四章 基于GA-强化学习的工业园区微电网能源调度研究
4.1 基于单微电网的数学模型
4.1.1 工业园区微电网模型
4.1.2 优化目标
4.1.3 约束条件
4.1.4 多属性评价指标
4.2 基于多微电网的数学模型
4.2.1 多个工业园区微电网模型
4.2.2 约束条件
4.2.3 微电网电能交易博弈模型
4.3 GA-Q算法
4.4 GA-DQSA算法
4.4.1 DQSA算法
4.4.2 基于GA的决策过程
4.5 基于 GA-DQSA 算法的微电网能源调度
4.6 仿真结果
4.6.1 算例分析
4.6.2 收敛性及参数灵敏度分析
4.6.3 效益评估分析
4.6.4 目标函数分析
4.7 本章小结
第五章 总结
5.1 全文总结
5.2 后续工作与进展
致谢
参考文献
攻读硕士学位期间取得的成果
【参考文献】：
期刊论文
[1]强化学习研究综述[J]. 高阳,陈世福,陆鑫. 自动化学报. 2004(01)
[2]基于用户价格响应和满意度的峰谷分时电价决策模型[J]. 丁伟,袁家海,胡兆光. 电力系统自动化. 2005(20)
[3]RLGA:一种基于强化学习机制的遗传算法[J]. 王本年,高阳,陈兆乾,谢俊元,陈世福. 电子学报. 2006(05)
[4]微电网的研究现状及在我国的应用前景[J]. 郑漳华,艾芊. 电网技术. 2008(16)
[5]微电网技术及发展概况[J]. 左文霞,李澍森,吴夕科,程军照. 中国电力. 2009(07)
[6]分布式发电、微网与智能配电网的发展与挑战[J]. 王成山,李鹏. 电力系统自动化. 2010(02)
[7]基于影响出行满意度的出行方式优化研究[J]. 杨松尧. 赤峰学院学报(自然科学版). 2012(08)
[8]基于Elman神经网络的电力负荷预测模型研究[J]. 石黄霞,何颖,董晓红. 工业仪表与自动化装置. 2013(01)
[9]电动汽车参与V2G的最优峰谷电价研究[J]. 项顶,宋永华,胡泽春,徐智威. 中国电机工程学报. 2013(31)
[10]车网互联（V2G）支持高峰电力的技术经济分析[J]. 廖强强,周国定,葛红花,蒋心泽,张宇,钱虹,李晓华,张沈阳. 中国电力. 2012(04)
硕士论文
[1]基于异步方法的强化学习研究[D]. 赵星宇.中国矿业大学 2019
[2]基于强化学习的微电网电能交易研究[D]. 周长华.厦门大学 2017
[3]智能电网中V2G系统能量管理及应用研究[D]. 钟伟锋.广东工业大学 2016
[4]储能系统能量调度与需求响应联合优化控制[D]. 高雪莹.合肥工业大学 2015
[5]微电网建模及其控制策略研究[D]. 徐丰.南京理工大学 2013
[6]并行强化学习研究[D]. 杨旭东.苏州大学 2012
[7]基于V2G应用的车载充放电机的研究与设计[D]. 张宏坡.华南理工大学 2012
[8]电动汽车大规模接入对电网的影响分析[D]. 寇凌峰.华北电力大学（北京） 2011
[9]基于模拟退火-Q学习的移动机器人路径规划技术研究[D]. 郭娜.南京理工大学 2009
本文编号：3692526
本文链接：https://www.wllwen.com/kejilunwen/dianlidianqilunwen/3692526.html
