:/DOI10.7500AEPS20180814007
第43卷 第1期 2019年1月10日Vol.43No.1Jan.10,2019
机器学习在能源与电力系统领域的应用和展望
(华南理工大学电力学院,广东省广州市5广东省绿色能源技术重点实验室,广东省广州市51.10641;2.10641;
)汕头大学工学院,广东省汕头市5广西大学电气工程学院,广西壮族自治区南宁市53.15063;4.30004
22
,余 涛1,,张孝顺3,殷林飞4程乐峰1,
)摘要:新一代人工智能(近年来成为国内外研究的热点,其中的典型代表机器学习(作为一AIML)
个算法范畴,通过分析和学习大量已有或生成数据形成预测和判断以做出最佳决策。中国的新一代A目前已在能源与电力系统中得到初步应用。基于此,文中以新一I正处于快速发展的关键期,代A重点综述了强化学习、深度学习、迁移学习、平行学习、混合学习、对抗学习I中的ML为代表,
和集成学习等7种代表性ML在能源与电力系统调度优化和控制决策等方面的应用。最后,对未来ML的发展进行了思考与展望。
关键词:人工智能;机器学习;能源与电力系统;智能电网;能源互联网
0 引言
“清洁替代”和“电能替代”为主要内容的“两个替代”
[]34]
,)”、“”、“互联网+[智能电interconnectionEI
[]5]6
”、“”网+[智联网(等一系列能源与电力发IoM)1-2]
。在此背景下,“逐渐转变[能源互联网(energy
近年来,世界能源结构正发生深刻变革,并向着
[1]
,使得其中的深度强化学习(AlhaZero1deepp
,作为AreinforcementlearninDRL)I2.0代表在无g
需先验知识、降低资源消耗、提高训练速度等方面取得了可喜进步,为Smart-EEPS的发展提供了重要机遇和强劲动力。
当前,国外纷纷制定AI发展计划以抢占新一
轮科技变革的先机。在中国,新一代AI已上升为
4]
。国家电网有限公司启动编制《国家发展战略[新
的快速发展。作andelectricpowersstem,EEPS)y
为当前最具颠覆性的技术,新一代人工智能(即结合大数据、超级计算等新理论新技术正深AI2.0)
刻影响和改变整个世界的电力与能源产业,并在涵,盖智能电网(与EsmartgridSG)I的EEPS中发挥巨大潜力,将驱动电力、能源和信息产业的深度融合,形成具有“智慧思维”和信息—物理—社会融合
展理念被相继提出,促进了能源与电力系统(energy
,一代电力系统技术研究框架》其中将AI列为基础性支撑技术,并在电网领域相继开展了AI应用的
12]
。可行性和关键技术研究[
由上述可见,发展AI2.0在中国具备良好基础,
()”新时代。EEPSSmart-EEPS
在上述发展过程中,知识自动化是传统EEPS向未来S其核心mart-EEPS转变的一个关键技术,,),要义是人工智能(主要体artificialintellienceAIg现为硬件即插即用和软件定义的知识自动化。随着
[][0]
并进化到A和AlhaGo9的出现,lhaGoZero1pp
[]
()、“的E开启未来基于“工业4.能CPSSEPS,07”
[][]]5
、“”源5.和“智能电网+[的“智慧07”AI2.0+8”
AI2.0未来在EEPS领域将大有用武之地。基于
,此,本文以AI2.0中的机器学习(machinelearning为例,对其在SML)G及EI调度优化和控制决策中
的应用进行综述研究。
1 新一代AI的内涵与ML概述
1.1 AI的起源与历史简述
开发用于模AI是什么?一般认为AI是研究、拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门集控制论、信息论、计算机科学、数理逻其终极目标是让计算机能像人一样思考和行动,并进一步提升人的智能。
其中第一阶段AI的发展经历了3个阶段:
(),1950—1960AI概念被提出并得到了初步发展;
://httwww.aes-info.compp
5-6,8]
,辑、神经生理学等学科于一体的新兴交叉学科[
收稿日期:2018-08-14;修回日期:2018-11-05。上网日期:2018-11-28。
;国家自然科学基金资助项目(中国南51477055,51777078))。方电网有限责任公司重点科技项目(GZKJQQ00000419
15
()2019,431·人工智能在电力系统及综合能源系统中的应用·
,第二阶段(1980—2000)AI中的专家系统发展迅
,速,并开始转向实用;第三阶段(20世纪末至今)AI战略。关于这三个阶段的详细描述参见附录A第
A1节。
,学等新理论新技术的驱动下,新一代A即AII2.0
迎来大爆发,人类在AI上开始取得一系列顶尖研
,究成果,如A各国也纷纷提出AlhaGoI国家发展p
[]14-15
,、混合学习(,learninPL)hbridlearningyg[[16]17]
、,对抗学习(等HL)adversariallearninAL)g
)集(等早期ML的应用方面掀起一个研究热潮。FS
近年来,有关学者陆续提出了平行学习(arallelp新的ML理论框架,并引入EEPS中。可以预见的是,ML将是AI2.0发展的关键技术和核心创造力,将起到主要的推动作用。总的来说,ML主要分为化主义和行为类比主义,详情参见附录A第A3节]18-19
,五大流派[即符号主义、贝叶斯派、联结主义、进
1.2 新一代AI的内涵
在移动互联网、大数据、超级计算、传感网、脑科
加速发展,并呈现出深度学习(跨界融合、人机协同、群智开放d、e自主操控等以应用eplearning,DL)、为导向的新特征,正在对经济发展、社会进步、国际政治经济格局等方面产生重大而深远的影响。在I2.0内涵中,
海量数据资源、超常计算能力、核心算法模型将是推动其发展的三大关键要素,将驱使其从计算智能向更高层的感知、认知智能发展,并推动通用技术发展及AI产品大规模应用。
基于云计算和大数据两大基础平台,从AI器人M/L制造系统(如DL、
/模式识别等安防/驾驶、)算法模型、智能传感器、机器感知/芯片2.0/将(机如语音/图像/视频/文本识别、计算机视觉、自然语言处理等)、人机混合增强智能、计算智能(如进化计算等)、符号智能(如专家系统等)等主要技术应用领域取得(图新突破,其研究分支参见附录.3 A1)。A第A2节标函数MMLL
是一个算法范畴,
其本质[13
]是找到一个目f的最佳映,射使其成为输入变量:Y=f、无监督学习(X。MLX到输出变量Y之间
算法主要分四大类:有监督式学习)习(学习需要标识数据reinforcementle;a无监督学习不需要任何标识数rning
,、半监督式学习和强化学RL)。其中:有监督式据;半监督式学习介于前两者之间(有部分标识数据);衡探索和利用RL无需监督信号,
可在模型未知的环境中平(中,常用的MLe算法有xplorati:o线性nan回de归xp
、l逻oit辑ati回on归)[9
](。其反向传递神经网络(法、k-均值、图论推理BP算N法N、)支、ALR)
、持pri向or量i算法、机(Eclat性判别分析、朴素贝叶斯、最近邻(SVM、算法、奇异值分解(SVD)矩阵分解K-、降维算法KNN)、(聚类算)线树、随机森林、最小二乘法、、主成分分析法等)如决策、梯度提高和演算法、集成算法(如Q随-学习、时间差分学习(机森林和BoostinT,DB-
学习)、daBoos、人工神经网络(如ai,2t等)统领域,0世纪90年代曾在BPDNLN),等gSVM。在电力系ggng
和模糊16
了智能的部分特征(表A1
)。可以看出,在,前面“制造4个流派从不同侧面抓住”AI方面都取得了里程碑式的成就。
基于此,受的ML为代表,尤Alp其ha以Go[9-11
]启发,本文以ML算法、技术和框AI架2.为0中典型代表,并结合笔者及所在团队在年的EEPS领域十余
迁移学习ML研究经验,选取其中发展迅速的(成学习(的EEPSent中的应用进行综述研究sreamnsbfleerlleeaarrnniinng
g,,ETLL))等在涵盖,PL,HL,RL,DL,
。需说明SAL和集的G及是,E限I于研究视野,笔者无法一一涵盖各类ML方法,最终选取上述架,并从运行7类具有典型代表性的算法、技术和框、调度、优化、控制、管理、市场等方面出发,描述它们在A第表EEPS领域的研究现状。为此,附录在技术EEA和P4节(S等主要领域中的研究进展A2)
简要总结了上述,
包括相关算法7类ML方法、架构、优势和缺点、EEPS领域主要应用场景、其他领域主要应用场景、未来发展趋势(含EEPS领域)、涉及相关文献和在程度(五星表示应用的程度最高E)
E。P后S领域的应用
文以附录表A2为基础,对上述7类ML方法在A。
EEPS领域中的研究现状进行详细展开2 RL原理及应用
2.1 RL原理
与督式学RL属于习和无M监L中一个重要的研究领域,
有监(督学习相比,activele)的一种[20]
,即本质上是一种在环境RL属于主动学习中“审时度势arnin”g地学习策略的过程,强调如何基于状
态(益(srteawtear)d而)[行21]
动,其特点详见附录(action),以取得A最表大A化2,
的具体细节预期收见附录A第格数学基0年来A5节。
近2,以马尔可夫决策过程(础的RL算法成为ML领域一M个DP新)
为的严突
破,其中学习、R-学Mo习nt和eC自ar适loR应动L、态时间差规划(分AD、策P)
略等梯[21度]经、Q典-A1A程乐峰,等 机器学习在能源与电力系统领域的应用和展望
并RL算法被国内外学者陆续引入EEPS领域中,
22]
。日益受到国际ML和智能控制学术界的重视[、自动发电控制(电压无RL在安全稳定控制、AGC)
功优化控制、最优潮流控制、供需互动、电力市场、电力信息网络等方面的研究和应用颇多(详见附录A2.2 RL在EEPS领域中的应用2.2.1 安全稳定控制
习控制算法对电力系统AGC的负荷频率控制
(进行了研究,可快速自动地在线优化控制系LFC)统的输出;文献[将分层相关均衡R36]L算法(引入互联电网的控制性能标准(指令HCEQ)CPS)优化分配,有效解决了C维PS指令分配过程中的“数灾”问题。文献[则将R37]L方法引入水火混杂),表A尤其在电力系统调度控制决策中颇具潜力。2针对水轮机系统的非线性特点,将环AGC系统中,
境知识转化成RL算法的先验知识用以加快AGC
反应R,L方法只需对当前控制效果的评价信息做出
具有更高的控制实时性和鲁棒性,因而在电力系统安全稳定控制中得到应用[22]
将RL算法应用于静止同步补偿(S。T为此ATC,OM文献)电压[23]
控制器,可在一定程度上确保系统的安全稳定运行;
基于框架[R24L理论,]
式。在此基础上,包含了ErRn,文献Lst等构想一种电力系统稳定控制
方法的在线和离线两种控制模
[应用于动态电气制动控制器的设计25]将其中的离线控制模式;文献[中的在线控制模式进行了深入研究,提出了一种控26]对其制控制方法Lyapun,o可v函数(实现满CL足FC)L与FR约L算法相结合的稳定束的稳定区域内的
L优化控制。此外,文献[27-30]基于RL算法,
分别设计了直流附加阻尼控制器止无功补偿器(力系统安全稳定装置SVC),、、动态正交增压器、静具有良好的适应性电力系统稳定器(P、S稳定性和S)等电优化控制特性。
上面提到的系统低频振荡的措施之一PSS是目前使用最为广泛的抑制
。为此,文献[基于Q(λ)学习算法的PSS最优控制策3略1],研究了利用多步的经验来进行寻优,在收敛速度上优于经典回溯的QQ学习。另外,还可将基于多步-用于与DLPS相结合形成S的最优控制[32]
DRL用于电网的安全稳定控制。近年来,相关学者将(λ)学习算R法L
,如文献[策略,可依12]据提出了一种基于电网运行环境信DR息L的电网切机控制,通过RL比较Q值大小得到切机控制策略。此外,从分析评估电力系统脆弱性的各种因素出发,文献[33]基于多同制定最优控制决策gentRL系统中各A,g构建了一种新型战略电力基
ent之间交互式协作学习共础设施防御系统(棒性、开放性和灵活性显著提高SPID),与传统。
集控系统相比,鲁.2.2 A策问题[S4GGC
在中,互联电网]
AGC是一个动态的多级决
3系统内发电出力和负荷功率相匹配,其控制过程可视为MDP,
。以最终实现全为此,基于马
尔可夫链控制过程,文献[35]采用模型无关的Q-
学的调整速度。在互联电网AGC的随机最优控制
中,同样可应(用的全过程Rλ)学RL习算法[38]
[39
]和在,策如略基S于A平RS均A报算酬法模[4
0型]而具有先验知识的,最为广泛[41
D。近年来Q-学习算法则在,有关学者将多AGAC中应用得
]g
entRL和[算法4R2L]提出了一种基于时间隧道思想的多算法用于互联大规模电网的AGC用于解决新能源大规模接入后互A,
联ge如电ntR文献网的
LAGC问题;文献[能力的及分布式能源大规模并网后给DRL算法4(3D]D则提出了一种具有动作自寻优RQN-AD)用于解决新能源以动问题,具有较强的鲁棒性及学A习GC带来的随机扰能力。此外,还可与多目标优化策略相结合用于解决RL题[44]
(计[4D5]
e,。e其中p-有关学者还将Q)Q-AGC问用学于习强与鲁DR棒LL性相中的智结能合可R(发形λ)
电成学习用于孤岛控深制度器的学习Q-设微电网的[6]
AGC中引入AGRC4
L机制。总,可将的来化信号反馈给AGC系统,能CP说,在互联大电网的够S性能指标转化为强
有效实现功率调节指令的在线优化。
.2.3 电压无功优化控制和最优潮流控制
在电力系统电压无功控制(方法具有常规控制方法所不具备的自学习和实时性VQC)中,RL控制等特点,因而非常适合解决小化分区内主导节点电压偏差和发电机无功出力比
VQC问题。为此,以最例的方差为目标,文献[二级电压控制的简化播速度;针对地区电网R4VL7]方提出了求解多目标协调法,可加快奖励值的传学习算法在动作策略与电QC网,状文献态[的48交]提出采用互中不Q-习,以得到各“状态—动作对(应的state-actionpair)”断所对学则针对暂态电压紧急控佳的
VQ值函数,形成电网各种运行状态下最题Q,C策略。文献[提出了一种多目标求解的49]RL方法。近年来制,
问基于相关均衡的算法[51]
RL协同算法[50]
、基于RL的一致性
TRL)、多主体和文化进化RL算法[52](算法[53
]等陆续用于多区域随着与各类启发式群智能算法VQC和碳能复合
、迁移RL
流无功优化。(如粒
http://www.aep
s-info.com17
R2A2()2019,431·人工智能在电力系统及综合能源系统中的应用·
)、子群优化(和遗传算法(多APSO)GA)TL、entg
系统等结合,RL在电压无功优化控制决策中将发挥重要作用。
此外,在最优潮流控制(中,OPFC)RL克服了
(优化算法用于求解大规模复杂电网的风险BFRL)
调度问题,并以基于知识延伸的维度缩减方式有效。避免了“维数灾”
总的来说,RL尤其是与其他ML算法的结合将在E为具有不确定EPS中具有广阔的应用前景,但RL在处理EEPS大规模优化和控制决策问题时,易出现“维数灾”使得可行解探索困难。尤其是当状态空间很大时,将导致计算成本过高,需要与环境传统的最优化算法在面对复杂、非线性描述的多目标最优潮流时无法满足电力系统实时调度运行这一缺点,其不依赖于对象模型,将OPFC问题中的约
束、动作和目标转换成算法中的状态、动作与奖
]54
,励[并通过不断的试错、回溯、迭代等来动态寻找
模型的优化控制决策问题提供了有利的分析手段。
最优动作,在处理多目标的效果,具有很强的可行O性P与FC问题时取得了良好
有效性[55
]献[。例如,了一种基于51
]中利用基于潮流计算结果的碳流模型半MDP的Q(λ问题中的电力网络的碳排放优化控制)学习算法,通过不断试用于O,提出文
PFC
错与迭代来动态寻找最优动作策略,取得了不错的效果。
.2.4 其他方面
近年来,RL在EE电力信息网络PS的应用中还可解决一些供需互动、电力市场、、经济风险调度等问题。在处理这些问题时,RL理论非常适用于分析含不确定性因素的复杂系统的动态行为与约束条件。如在挖掘供给侧发电机和需求侧柔性负荷的
联合优化调度方面,文献[tackelberg博弈的电力系统实时供需互动模型56]搭建了基,于
并提出了一种全新的深度迁移助分布式计算优势,可快速获RL得(D高T质RL量)的算法最,优其借解。
在求解包含复杂的电力市场规则及其约束的博弈模型方面,RL理论亦发挥了重要作用,如电力市场交易规则和竞标机制的设计等。为此,文献[了一种基于5提出模型用来描述发电厂商的策略性报价行为RL算法的电力拍卖市场智能仿真代理7],使得仿
真结果收敛到市场均衡状态;[8]
前电力市场的拍卖竞价过程N视an为dur一i等5
则将日个竞争型的
M提供了一种有效的最优投标策略DP(CMDPs),并应用RL算法为日前市场参与者
。Bach等[5
9]
基于了深入研究L算法对电力批发市场中参与者的行为特性进行
。最近,文献[60]通过RL和数据驱动的方法将整个能源交易的过程建模为间接的客户对客户的能源交易,这有助于提高市场MDP,以实现效率并鼓励地方一级的电力平衡。
在电力信息网络方面,有关学者利用搭建了半MDP的RL入侵检测系统模型[R6
1L算法
]
了误报率和漏报率。在风险调度方面,RL算,降法低可
[用于求解经济调度中的风险评估问题]提出了一种基于知识迁移的细。菌例如觅,文献
6128
食RL进行大量交互从而获得反馈用以更新模型,学习效率其实并不很高。因此,近年来,很多学者开始将其他法L与多、智能控制Agent系统、ML方法、经典控制方理论等相结合,已在多电系统与微电网、多A能en源t系统协商学习、分布式发g综合系统、电力系统控制、负荷预测与负荷调度、继电保护等领域开展了深入研究。未来学习特性、与其他ML方法可有RL理论的决策和自效集成的特性,以及在线学习技术等将有利于其在EEPS应用领域的进一步发展。
DL原理及应用
.1 神经网络DDLL原理
本质上是具有多层隐藏层([63
]hid)的为(denlay
er通过多层的网络结构和非线性变换DL)
,是一种特定类型的典型事实上,4层以上的神经网络就可称之
ML,,组合低层特征其基本思想是,形成抽象的、易于区分的高层表示,以发现数据的分(布式特征表示。近年来,为了改善深度神经网络
有的DNN)的训练效果,降低DNN的优化难度,
一些特[3-66
]编码器DL模型和框架被相继提出6(络(SAE)、深度信念网络(DBN、,递如堆叠自动归神经网学习等RNN,详见附录)、卷积神经网络A第A6(C节NN。
)、深度森林)、超深度.2 DL在EEPS领域中的应用
电力系统中存在着大量高维度的电力数据,因此,引入EPS领域中DL的理论具有一定的现实意义。目前,
在,D的L的研究与应用已初现端倪,其中应用较为经典电机NN和、变压器RNN、,
断主要应用领域则涵盖电力设备DL网络模型包括:DBN,S路器等)的故障诊断[67]
暂态稳定评估[68]、电力(A如发E,系统
短期电力负荷预测、电力大数据融合与异常检测[
69]
[70]、71]
、信息网入侵检测[72
]等。电力设备图像识别[例如,气预报数值模拟,采用Sogabe等[73]结、电力合天利用DLDL技术对能源消耗和发电量进行预测,并中的玻尔兹曼机算法作为
R2S333ECR程乐峰,等 机器学习在能源与电力系统领域的应用和展望
优化工具平台来求解非线性混合整数规划(NMIP)
[4]
问题,取得了不错的效果;采用两种不同Ru等7y
一步优化用户的用电模式、提高电网的收益、减少调峰的压力等。当然,也应认识到D需在实L的缺陷,际工程问题中进行改进,例如DL受限于其反馈机应用D算法多为“黑箱模L进行工程问题研究时,,型”需要复杂的模型验证;DL对数据的推理和理解能力较弱,难以应对复杂的多数据模态建模。如清华大学张钹院士在今年召开的CCF-GAIR大会上所言,未来发展不容乐观,将行为DL已遇瓶颈,制,导致学习深度有限,时而出现“梯度弥散”现象;
的D对需求侧的短期负荷预测进行建模,其中NN,含无监督预训练的DBN模型取得了较好的预测结果和训练速度。
分别利用D改进深度RL中的RNN、BM等进行风电、光伏功率的短期预测,有效提高了预测精度。面向智能输电系统的分析与控制,文献[提出了一78]此外,面向智能发电的功率预测,文献[75-77]
种堆叠降噪自编码器和SVM集成模型相结合的暂态稳定评估与严重度分级方法。面向智能输电系统的一次设备,文献[79]采用DL可有效识别高压电缆等一次设备的局部放电模式。文献[别将DL中的DBN和CNN应用于变压器和高压断80-81]则分路器的故障诊断,准确率得到了有效提升。近年来,DL逐渐与其他ML方法结合形成了功能更强的高级混合了初步应用。M例L算法,并已在如,文献[EEPS领域
中得到及侧发电机和需求侧柔性负荷的联合优化调度问题RL结合开发了一种DTRL算5法6]用将于D求L与解供T给L
。
近年来,随着新能源发电、电动汽车(量接入,包含高维、复杂、耦合关系的电力系统问题EV)、储能等大日益突出,并亟待解决。为此,清华大学吴文传教授
等[82]从系统的角度,对适应学习特征的方法体系进行探索EEPS领域中具有多模态自
(,提出了“电力脑
力脑认知计算结构和交互反馈的自适应学习模式electricpowerbrain
)”的概念,包括自上而下的电,以及“引导学习元,其核心特征在于用领域知识保证结果可行DL--RL”相结合的基础学习算,法用数单据驱动提升精度与性能。此外,-学习、ADP等相结合形成的DDRL与L在R电L中的经典
网紧急控
制策略制定[12
]题[43、电控制与优化、智能发电控制器设计解决大规[4模5
[83]
等方面已有深入的研究和应用、互孤岛主动配电网发联电网AGC问
]]。
在当前大力发展新能源的背景下,结合特征提取及模型拟合方面的优势,对于解决抑制新DL在
能源发展的问题具有重要意义,比如风力发电中的弃风率高、调峰能力不足、新能源汽车充电桩地点设置分布不合理等问题,利用合的综合方法可提供一个科学的决策方案DL及与其他。ML相结
总之,在的角色,并将DL引领E新EP变S领域中正扮演着极其重要
革。例如,基于庞大、海量的用户用电数据,可利用DSLG和在EI中
方面的优点对用户用电行为进行有效分析M,L及
挖掘用户的用电潜力I充分,制定对应的用电鼓励政策,进
(是特征向量得更加DL在科研领)和数据域(的符号向量难点,而)这结合起来使用将始终也就限制了机器变“智能”
。 TL原理及应用
.1 TTLL原理
强调的是在不同但相似的领域、任务和分布之间进行知识的迁移。TL于20世纪90年代被
引入务学习ML领域,早期研究有终生学习([84]
[56]细描述及其算法分类参见附录、知识迁移[53,62,85
]等。关于TLLL)
原理的详
、多任.2 TL在A第A7节。
济调度(问题(统优化方法NLEEPDPESEPS领域中的应用
在E问)、领域题无)
功,经常会遇到机组组合(U、经[53
优](如内点法等,化解(决AV),这C还包括基于概率搜索的
类)
等问高题维的非方线法性C)除规了划传启发式群智能算法(即SO,GSO等)。在求解过SI算法,包括程中,TL作为G一A,种A近BC年,
来受到广泛关注和研究的学习框架,旨在根据任务间的相似性(知识或策略,利用在辅助领域过去所学习到的经验域中进行学习),和结果应用到相似但不相同的目标领
复用已有经验以加速新任务的学习速度,有效提高新任务的学习效率和算法的收敛
性[62,85-86
]于高渗透率可再生能源和。基于此,文献[84补发电控制(E]V将的大型互联电网的互TL中的LL算法用
的多层了一种迁移蜂群优化CGCC取得了不错的效果GC),在实际电网。算文献例中[(8针5]
对则提出AGC和新任务的状态—动作空间TBO)算法,主要采用源任务迁移,用于解决大规模复杂Q转换作为蜂群的行为电力系统的无功优化问题。
此外,将TL与一些ML方法及上述提到的启
发式SI算法结合用于解决大规模复杂系统的快速寻优问题成为统AI算法,引入EETPS中近年来研究的热点。相比传务之间的相似性,高效利用已学习的知识来加速新
L的好处在于可根据不同优化任
http://www.aep
s-info.com19
444QPA