Reinforcement learning for grid control in an electric distribution system

Abstract

The increasing amount of variable renewable energy (VRE) sources such as solar and wind power in the power mix brings new challenges to existing power system infrastructure. A fundamental property of an electric power system is that the production of power at all times must be consumed somewhere in the grid. Therefore, excess power from VRE must be exported and consumed elsewhere, which can break the power capacity in distribution lines and damage the voltage quality in an electric grid. A workaround this problem is that consumers shift their power consumption pattern such that more solar power is consumed locally during daytime. Methods for achieving a change in consumption patterns are called demand response programs. The purpose of this thesis is to make a Python implementation of an automatic and simplified demand response program by using reinforcement learning (RL), a subcategory of machine learning. The RL algorithm is allowed to increase or decrease the power consumption every hour in an electric grid that has a high amount of local solar production and high peak demand. Decreasing the power consumption can for instance correspond to a collection of electric vehicles postponing the charging to later in the day. Once the RL algorithm has modified the power consumption, the resulting line currents and voltages in grid are calculated. The goal for the algorithm is to learn a behaviour that reduces the number of current and voltage violations in the grid. The trained RL algorithm is found to reduce the number of safety violations in the grid by 14 % in a test simulation. However, investigating the results reveals that the RL algorithm only avoids safety violations in hours of peak demand, and that it actually produces more violations during hours of peak solar production. The algorithm is better overall because more violations occur during the afternoon. Further investigation is needed to fine-tune the algorithm such that it behaves well in an entire day.

Økt andel uregulerbar fornybar kraftproduksjon som sol- og vindenergi i energimiksen gir utfordringer for eksisterende infrastruktur i et elektrisk kraftnett. En grunnleggende egenskap i det elektriske kraftsystemet er at all produsert kraft alltid i sanntid må forbrukes et sted i kraftnettet. Overskudsenergi fra solproduksjon må derfor transporteres ut på nettet, som i verste fall kan bryte kapasiteten i kraftledningene og ødelegge spenningskvaliteten i kraftnettet. En løsning på dette problemet er at forbrukere forskyver forbruksmønsteret sitt slik at mer solkraft forbrukes lokalt på dagtid, slik at kraften ikke må eksporteres til kraftnettet. Metoder som har som mål å endre forbruksmønsteret kalles program for forbrukerfleksibilitet. Hovedmålet i denne masteroppgaven er å lage en Python-implementasjon av et automatisk og forenklet program for forbrukerfleksibilitet ved hjelp av forsterkende læring (FL), en underkategori av maskinlæring. FL-algoritmen få lov til å øke eller minke kraftforbruket hver time i et kraftnett med høy lokal produksjon av solkraft og høyt forbruk på ettermiddagen. Et eksempel på å minke kraftforbruket kan være ˚a utsette ladningen av flere elbiler til senere. Når FL-algoritmen har modifisert kraftforbruket i nettet, så kalkuleres de påfølgende verdiene for strøm og spenning. Målet til algoritmen er ˚a lære seg en strategi som reduserer antall ganger verdiene for strøm og spenning går utenfor sine respektive sikkerhetsmarginer. Den trente FL-algoritmen reduserer antall sikkerhetsavvik i kraftnettet med 14 % i test-simuleringen. Det viser seg imidlertid at algoritmen kun klarer ˚a redusere antallet sikkerhetsavvik sent på ettermiddagen, nå forbruket er på sitt høyeste. Algoritmen gjør situasjonen verre i timer med høy kraftproduksjon fra solceller. Totalt sett er den trente algoritmen bedre siden det er flere sikkerhetsavvik i timer med høyt forbruk. Videre undersøkelser trengs for ˚a justere algoritmen slik at den lærer seg en strategi som fungerer hele døgnet.