基于深度强化学习的风电场运行策略研究

发布时间：2023-08-15 18:03

　　当下,我国已成为世界上风电装机容量最大的国家,风力发电已经成为调整发电能源结构的重要手段。同时新一轮的电力体制改革也在如火如荼的推进中,公平公正的电力市场机制正在逐步完善,风力发电作为发电商并网并进入电力市场追逐利润成为必然趋势。然而,风电和市场电价本身具有不确定性,这对电力系统经济调度带来了诸多挑战。在此背景下,如何协调风力发电作为被动电源和发电商的双重身份即如何在应对多重不确定性的同时追逐最大利益成为风力发电决策与控制急需解决的难题。储能系统和其他具有调节能力的备用作为风电场的调度对象能解决上述问题。目前面向风电场储能/备用的不确定性调度优化算法可以被分为两大类:一类以基于场景的随机优化、动态规划、机会约束等方法为代表,该类方法在进行优化前需要将风电或市场电价的不确定性人为地表征为已知的数学概率分布。然而假设的概率分布是否与实际的风电场不确定性规律匹配将直接影响整个优化算法的优化效果;另一类鲁棒优化方法将不确定性用考虑极端结果的区间来模糊表示,规避了对不确定性的人为假设,提升了计算效率。然而,该类方法未能有效挖掘不确定性规律,导致其决策结果具有保守性,在以收益为首要目标的电力市场环...

【文章页数】：72 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 课题研究背景与意义
        1.1.1 风电发展现状与趋势
        1.1.2 风电场运行策略研究意义
    1.2 风电场运行策略研究概述
        1.2.1 储能系统以及外部备用
        1.2.2 面向风电不确定性的随机优化算法
        1.2.3 风电场运行策略研究存在的问题
    1.3 本文工作和章节安排
第二章 面向风电场调度的深度强化学习算法
    2.1 强化学习与深度学习
        2.1.1 强化学习以及不确定性的应对
        2.1.2 深度学习以及多场景的应对
        2.1.3 深度、强化学习在电力系统中的应用综述
    2.2 深度强化学习算法
    2.3 本章小结
第三章 基于DRL的风-储-备用联合发电策略
    3.1 方法概述
        3.1.1 储能系统与备用的合作机制
        3.1.2 深度强化学习模型
    3.2 RAINBOW算法
        3.2.1 Deep Q Network (2015)算法
        3.2.2 Rainbow算法框架
        3.2.3 动作选择策略
    3.3 电力市场环境模型
        3.3.1 即时收益与长期收益目标
        3.3.2 储能系统运行约束
        3.3.3 惩罚费用计算
        3.3.4 维修费用计算
    3.4 深度强化学习模型的实现
        3.4.1 状态空间和动作空间
        3.4.2 学习环节的实现
        3.4.3 应用环节的实现
    3.5 算例分析
        3.5.1 学习环节
        3.5.2 应用环节
        3.5.3 不同优化控制方法的比较分析
        3.5.4 不同深度强化学习算法的比较分析
    3.6 本章小结
第四章 基于DRL的风电场储能系统预测决策一体化调度
    4.1 风电场预测决策一体化调度模型
        4.1.1 风电场预测决策一体化调度
        4.1.2 一体化调度模式下储能系统的优化控制
    4.2 深度强化学习在预测决策一体化调度中的应用
        4.2.1 一体化调度模式下的状态空间
        4.2.2 动作空间
        4.2.3 奖励函数
        4.2.4 储能系统运行约束与惩罚费用
    4.3 算例分析
        4.3.1 算例数据
        4.3.2 学习环节
        4.3.3 应用环节
        4.3.4 关于控制器输入数据的讨论与分析
        4.3.5 与传统调度方法的比较分析
    4.4 本章小结
第五章 结论与展望
    5.1 结论
    5.2 展望
参考文献
致谢
攻读硕士学位期间所发表的论文及参与的项目
学位论文评阅及答辩情况表



本文编号：3842008