Kalibrering av en overvannsmodell ved bruk av maskinlæring. SWMM-modell for Sandsli i Bergen

Abstract

Urbanisering og klimaendringer fører til behov for hydrologiske modeller som kan beskrive urban avrenning. Parametere i hydrologiske modeller er ofte ikke nøyaktig kjent, eller kan være usikre, og må derfor estimeres ved å utføre kalibrering. Manuell kalibrering ved å «prøve og feile» kan være avhengig av at den som utfører modelleringsarbeidet gjør subjektive vurderinger og valg på bakgrunn av erfaring. Prosessen kan være svært tidkrevende. En alternativ metode å kalibrere på for å imøtekomme disse utfordringene er å bruke maskinlæring.

I denne oppgaven er det forsøkt å kalibrere en eksisterende overvannsmodell for Sandsli i Bergen ved å bruke maskinlæring, og det er brukt differensiell evolusjon (DE) for å lete etter de optimale parameter verdiene under kalibrering. Kling Gupta Efficiency (KGE) er brukt som målfunksjon ved kalibreringen. Ved validering er både KGE, PEAK and totalt volum undersøkt. Modellen er bygget i US EPAs Storm Water Management Model (SWMM). Kalibreringen og valideringen er «automatisert» ved å lage kode i R for både å kjøre SWMM, evaluere resultater og justere variabler som brukes til å kalibrere.

Antall variabler det kalibreres med, og antall iterasjoner (videre omtalt som antall generasjoner) som brukes ved kalibrering kan ha betydning for resultatet både ved kalibrering og validering. I tillegg kan det ha innvirkning på nødvending tidsbruk. Hovedformålet med oppgaven er å utforske mulighetene for å begrense nødvendig tidsbruk i forbindelse med kalibrering og validering av en kompleks nedbør-avløpsmodell når DE brukes i kombinasjon med KGE som målfunksjon.

Resultater i oppgaven indikerer at antall variabler å kalibrere med bør begrenses til et fåtall, samt at valg av variabler bør gjøres basert på resultater fra en sensitivitetsanalyse (SA), det taler for at det ikke er hensiktsmessig å utelate SA for å spare tid og ressurser. Den «automatiserte» metoden å utføre kalibrering og validering på som er brukt i denne oppgaven, viste seg å være tidsbesparende i forbindelse med å finne en god kombinasjonen av variabler å bruke til kalibrering, dette fordi det ble enkelt å teste ulike kombinasjoner, og det gikk stort sett bare på bekostning av mer simuleringstid.

Sammenhengen mellom antall generasjoner og oppnådd KGE var avhengig av hvilke variabler som ble benyttet til kalibrering, og ved å bruke en god kombinasjon av variabler ble trenden at bedre KGE ved kalibrering, medførte bedre KGE ved validering. Det ble også observert at det kan være verdt den ekstra tidsbruken det tar å bruke flere generasjoner (og da flere simuleringer), selv om endringene i KGE ved kalibrering kunne se ut til å ha stoppet opp, eller være liten. Dette fordi en forbedring i KGE under kalibrering på ca. 1%, medførte en forbedring i KGE under validering på ca. 28%. Ved denne endringen i KGE, så man også at totalt volum gikk fra å underestimeres med ca. 22% til å overestimeres med ca. 2%.

Derimot så man at sammenhengen mellom KGE og PEAK i dette tilfellet for flere av de største toppene, generelt ble en overestimering ved lavere KGE, og underestimering ved høyeste oppnådde KGE. Siden underestimering i mange tilfeller er noe man ikke ønsker kunne det i en slik situasjon være hensiktsmessig å ikke bruke like mange generasjoner (stoppe ved en lavere KGE), og dermed kunne spart tid pga. færre generasjoner i dette tilfellet ville bety færre simuleringer.

Urbanization and climate change lead to a need for hydrological models that can describe urban runoff. Parameters in hydrological models are often not known, or may be uncertain and must therefore be estimated by calibration. Manual calibration by "trial and error" can depend on the subjective assessments and choices based on experience by the modeler. This process can be very time-consuming. An alternative method to calibrate that can meet these challenges, is to use machine learning.

In this study, an attempt has been made to calibrate an existing rainfall-runoff model for Sandsli in Bergen by using machine learning, and differential evolution (DE) has been used to search for the optimal parameter values during calibration. Kling Gupta Efficiency (KGE) have been used to measure the quality of the model during calibration. For validation both KGE, PEAK and total volume have been calculated. The model is built in the US EPA's Storm Water Management Model (SWMM). The calibration and validation are "automated" by creating a code in R that run SWMM, evaluate results and adjust the variables used for calibration.

The number of variables that is used when calibrating, and the number of iterations (from now on refered to as number of generations) during calibration, can have an effect on the result both during calibration and validation. In addition, it may have an impact on time needed in connection with the calibration process. The main purpose of this study is to explore the possibility to reduce the necessary time spent in connection with calibration and validation of a complex rainfall-runoff model when using DE, and KGE is used as the measure of quality.

Results in this study suggests that the number of variables used to calibrate with should be limited to a few, and chosing variables should be made based on results from a sensitivity analysis (SA), and therefor SA may not be omitted in order to save time and resources. The "automated" method of performing calibration and validation used in this study proved to be time-saving when trying to find a good combination of variables to use for calibration, this because it became easy to test different combinations, and mostly just at the expense of more time used for simulations.

The relationship between the number of generations and KGE was dependent on which variables that was used for calibration, and by using a good combination of variables one could see a trend that better KGE during calibration led to better KGE during validation. It was also observed that it may be worth the extra time it takes to use more generations (and thus more simulations), even though the changes in KGE during calibration could appear to have stopped, or be small. This because it was observed that an improvement in KGE during calibration of about 1%, resulted in an improvement in KGE during validation of about 28%. With this change in KGE, it was also seen that total volume went from being underestimated by about 22%, to be overestimated by about 2%.

On the other hand the relationship between KGE and PEAK was in this case for many of the biggest observed flow peaks, generally overestimation at lower KGE, and underestimation at the highest achieved KGE. Since underestimation in many cases is something you don't want, it could be beneficial in such a scenario to use less generations (stop at a lower KGE), and thus one could save time since less generations in this case would mean less simulations.