- 智能电网负载调控方法的研究背景及意义
如今，能源需求的持续增长给电力系统带来了重大负担，电力需求和供应之间的不匹配将导致电力服务提供商和电力消费者的高昂成本，甚至可能使整个电网瘫痪[1,2]。这就要求电力服务提供商购买大量的能源来应对电力波动，提高电网的可靠性。传统上，传统的火力发电厂被用来缓解电力不平衡或短缺；然而，这种方法的特点是环境污染和高碳排放[3]。智能电网是一种高效、可靠、经济、可持续的发电、输电、配电和消费的现代电网。在智能电网系统中，随着现代信息和通信技术和先进的计量基础设施，需求响应已成为提供平衡能源资源以增强稳定性以及提高整个电力系统经济效率的有效途径[4–6]。根据美国能源部的说法，智能电网的负载调控，也称为“需求响应”（Demand Response，DR），指的是“为激励用电户调节自身用电负载以维持电网电力供需平衡，在电网可靠性受到威胁的情况下提供变化电价或现金奖励，保障电网稳定性的用电需求端负载管理方法”[7]。
智能电网的负载调控项目大致分为两类：价格型负载调控和奖励型负载调控。价格型负载调控激励电力消费者根据时变电价改变其能源消费模式。奖励型负载调控为参与电力消费者减少用电量提供额外的现金奖励[8]。价格型负载调控的调控范围有限，因此从电力服务提供商的角度提供了较少的灵活性。此外，价格型负载调控将批发电价风险强加给电力消费者；规避风险的电力消费者可能会犹豫是否加入此类计划[9]。
相反，奖励型负载调控帮助电力服务提供商获得所需需求响应资源方面更灵活[10]。此外，奖励型负载调控是一种奖励计划，因此与价格型负载调控相比，它对电力消费者更具吸引力[11]。约93%的美国现有需求响应资源的峰值负荷减少是通过奖励型负载调控项目实现的[12]。
二、智能电网奖励型负载调控的研究现状
近期，学术界对智能电网奖励型负载调控进行了大量的研究。文献[13]提出了一种基于优惠券奖励的需求响应，诱导用电户在电力负荷高峰期减少用电量，从而促进电力服务提供商的利润、电力消费者盈余和社会福利。在[14]中，提出了一种基于奖励的需求响应算法，用于降低电网峰值，其中奖励费率来自日前（Day-ahead）电力市场，通过负荷转移和电压改善计算得出。文献[15]的作者提出了一个针对零售电力服务提供商的提前一天的风险管理方案，通过使用奖励型负载管理项目，同时利用分布式发电和储能系统来减少电力服务提供商的财务损失。类似地，文献[16]提出使用奖励型需求响应项目管理零售电力服务提供商的市场价格风险和负荷变化，其中还考虑了发电和存储单元。文献[17]考虑了一种实时的奖励型需求响应项目及其在基于混合整数线性规划方法的离散制造设施中的应用，在该方法中，预生成负载减少模式，计算出需求响应过程中的潜在负载减少。在[18]中，作者在电力服务提供商与电力消费者之间开发了一个基于奖励的需求响应契约，以探索个体合理性和渐进的相容性。文献[19,20]从电网管理者的角度提出了基于激励的需求响应模型，该模型由电网管理者、多电力服务提供商和电力消费者三个层次构成，然后采用斯塔克伯格博弈来模拟不同参与者之间的交互作用。
然而，尽管在智能电网奖励型负载调控研究方面做出了上述努力，但仍存在三个不足。首先，大多数研究在日前（Day-ahead）市场的背景下探索了智能电网奖励型负载调控项目，但考虑到与能源生产和消费相关的高度动态和较少的预测约束，实时电网奖励型负载调控项目提供了更大的潜力[21]。第二，大多数研究只考虑单一类型的负荷，如工业负荷或住宅负荷，而没有考虑现实世界中电力消费者群的多样性，而个体电力消费者群在参与基于奖励的需求响应项目时有其特定的要求和反应。第三，实现方法仍然依赖于传统的技术，如混合整数线性规划或博弈论，这是基于模型的方法，缺乏可伸缩性和灵活性。在建立基于模型的控制器时，必须仔细选择合适的模型并估计模型参数。因此，不同的电力消费者期望有不同的模型参数甚至不同的模型，大规模实现基于模型的控制器需要一种鲁棒稳定的方法，能够识别出合适的模型和相应的模型参数，这使得建立模型变得更具挑战性，考虑到现实世界焦点的异质性及其行为模式的差异。此外，由于基于模型的方法的性能受到操作人员知识和经验的极大限制，因此模型通常只是对实际情况的估计，因此与实际的电网系统相比可能是不现实的。鉴于此，有必要为智能电网开发具有“无模型”和“不需要先验知识”特点的奖励型负载调控方法。
近年来，随着人工智能的迅速发展，人们对人工智能在决策问题中的应用产生了极大的兴趣。谷歌发布的AlphaGO和AlphaGO Zero是两个杰出的研究进展，这说明强化学习具有“无模型”和“不需要先验知识”的独特特性，具有卓越的决策标记能力。强化学习是一种计算方法，通过迭代与不确定、未知和复杂环境的交互，使代理行为最大化其预期累积报酬[22]。文献[23]提出了一个基于强化学习的全自动能源管理系统来调度住宅设备，以最小化用户不满意成本和电费。[24，25]的作者使用强化学习算法在不同的策略玩家之间使用提前一天价格信息进行电能交易博弈，使得每个玩家学习一个策略来交易电能，以使平均收益最大化。在文献[26,27]中，利用强化学习算法获得了电动汽车的能量管理方案，该方案的目标是使能量损失最小化，其中电动汽车控制策略是通过强化学习获得的。类似地，[28,29]的作者提出了两种基于多智能体学习的需求响应算法，以在智能家庭中实现更高效的能源消耗，其中电气设备（即电动汽车）也由强化学习控制。[30,31]中的研究引入了批处理强化学习算法，在没有任何系统动力学专家知识的情况下，在提前一天定价方案下调度可控负载，如热泵恒温器或电热水器。在[32,33]中，作者提出了一种基于预测的多智能体强化学习方法，该方法将预测和模式变化检测能力集成到多智能体强化学习中，以最小化智能电网场景中非平稳性的影响。文献[34]从服务提供商的角度出发，利用强化学习方法提出了一种基于动态价格的需求响应方案，该方案被建模为马尔可夫决策过程，然后采用Q-学习确定最优零售价格。最近，强化学习已经成为一个很有前途的工具，可以在能源管理系统中实现需求响应，这些系统必须处理几个因素的持续变化[35]，例如间歇性可再生资源、动态电价和能源消耗量。然而，虽然已经有几个成功的例子说明了强化学习在智能电网系统中的有效性，但大多数现有的研究都集中在基于日前价格的需求响应，应用强化学习的智能电网奖励型负载调控方法还没有被研究。因此，为了弥补上述研究空白，本毕业设计研究基于强化学习和深度神经网络方法的智能电网奖励型负载调控方法。
参考文献
[1] Nojavan S, Zare K, Mohammadi-Ivatloo B. Optimal stochastic energy management of retailer based on selling price determination under smart grid environment in the presence of demand response program. Appl Energy 2017;187:449–64.
[2] Jin M, Feng W, Marnay C, Spanos C. Microgrid to enable optimal distributed energy retail and end-user demand response. Appl Energy 2018;210:1321–35.
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
