Evaluering av maskinlæring brukt til endringsdeteksjon av arealtyper i AR5 basert på flybilder

Abstract

Arealressurskartet AR5 ajourføres periodisk av Norsk institutt for bioøkonomi (NIBIO) ved bruk av flybilder. Maskinlæring kan øke kvaliteten på endringskartene og effektivisere ajourføringsprosessen. NIBIO har i løpet av det siste året jobbet med å utvikle og trene en maskinlæringsmodell, en siamesisk konvolusjonell variasjonsautokoder. Modellen har som formål å oppdage områder med endret arealtype i AR5 basert på RGB-flybilder.

Denne oppgaven tar for seg en statistisk evaluering av prediksjonene fra modellen. Den undersøker også forskjellen i klassifiseringsnøyaktighet mellom forskjellige arealtyper og forskjellige geografiske områder. Kommunene med data i denne oppgaven hører til de tre regionene Romerike/Glåmdalen, Valdres og Jæren. Matthews korrelasjonskoeffisient (MCC) ble valgt som mål på klassifiseringsnøyaktighet fordi den er uavhengig av balanse i datasett, som gjør at MCC til ulike datasett kan sammenliknes direkte.

Resultatene viser at MCC for det samlede datasettet ligger på 0,104, som betyr at det er en svak korrelasjon mellom modellens prediksjoner og faktiske endringer, litt bedre enn tilfeldig gjetning. Modellen har altså lært seg enkelte sammenhenger som er nyttige for klassifiseringen, men når ikke opp til nøyaktigheten som forventes av en endringsdeteksjonsmodell som faktisk skal kunne tas i bruk.

MCC varierer en del mellom arealtypene, hvor det er skog, fulldyrka jord, bebygd og innmarksbeite som oppnår best resultat (0,09 < MCC < 0,14). Åpen fastmark, myr og overflatedyrka jord er arealtypene som er mest utfordrende for modellen å predikere (-0,01 < MCC < 0,03). Flere konkrete områder med høy andel feilprediksjoner har blitt identifisert, blant annet vegetasjon i bebyggelse, flyplasser, hogstflater, golfbaner, snaumark i fjellet, tresatt myr og skyggelagte områder.

Modellen oppnådde bedre resultat i Romerike/Glåmdalen enn i Valdres og på Jæren. Dette kan delvis forklares av at en større andel av treningsdataene kommer fra Romerike/Glåmdalen. I tillegg er det en større andel åpen fastmark i Valdres og på Jæren, som reduserer klassifiseringsnøyaktigheten.

Flere mulige tiltak for å forbedre modellens klassifiseringsnøyaktighet foreslås: mer variasjon i treningsdata, vekting av vanskelige observasjoner, skyggekorreksjon, kombinere flybilder med andre typer fjernmålingsdata, hyperparameteroptimalisering og eventuelt å implementere bildesegmenteringsalgoritmer.

The land resource map AR5 is periodically updated by the Norwegian Institute of Bioeconomy Research (NIBIO) from aerial imagery. Machine learning can increase the quality of the change maps and streamline the updating process. NIBIO has during the last year developed and trained a machine learning model, a siamese convolutional variational autoencoder. The purpose of this model is to detect areas where the land type has changed in AR5, based on RGB aerial imagery. This thesis performs a statistical evaluation of the model’s predictions. It also examines the difference in classification performance between different land types and different geographic regions. The municipalities with data in this thesis are in the three regions Romerike/Glåmdalen, Valdres, and Jæren. Matthew’s correlation coefficient (MCC) was chosen for classification performance metric because it is independent of balance in datasets, which means that MCC of different datasets can be directly compared. The results show that MCC for the total dataset equals 0,104, which means that the model’s predictions are weakly correlated to actual changes. In other words, the model has learned certain patterns that are useful for classification but does not reach the performance that is expected of a change detection model that is to be used. MCC varies somewhat between land types, where woods, fully cultivated land, built-up area, and infield pastures achieve the best performance (0,09 < MCC < 0,14). Open land, bog, and surface cultivated land are the area types that are most difficult for the model to predict (-0,01 < MCC < 0,03). Several specific situations with a high proportion of wrong predictions were identified, including vegetated built-up areas, airports, felling areas, golf courses, open vegetated land in the mountains, wooded bogs, and shaded areas. The model achieved better performance in Romerike/Glåmdalen than in Valdres and Jæren. This can be partly explained by the fact that more of the training data is from Romerike/Glåmdalen. Furthermore, open land is more common in Valdres and Jæren, which reduces the classification performance. Several measures to increase classification performance are proposed: more varied training data, weighting difficult observations, shadow correction, combining with other remote sensing data, hyperparameter optimalization, and possibly implementing image segmentation algorithms.