Pikselbasert klassifisering og skyggedeteksjon av urbane områder ved bruk av hyperspektrale bilder og LiDAR

Abstract

Urban regions consist of different types of vegetation, complex materials and structure information, which can be collected by remote sensing. One of the biggest problems within remote sensed data is the appearance of shadows, as it may lead to confusion and misleading results. Shadow detection is required to increase the performance level of the image segmentation, and to distinguish between for example ”roads” and ”non-roads”, and ”asphalt” and ”shadow on asphalt”. Shadow detection based on deep learning algorithms can reduce the impacts of the errors and contribute to produce a better result. In 2019, hyperspectral (HS) and LiDAR data from urban areas in Bærum municipality in Norway was acquired. In this study, shadow detection and semantic segmentation were carried out based on the fused HS (Hyspex VNIR-1800 and SWIR-384) and LiDAR (Riegl VQ-1560i). In order to detect shadow, a shadow mask produced from SWIR and LiDAR, was used to train a U-net architecture. The model was successfully used to predict shadow masks and shadow classes for higher resolution images such as VNIR. With the generated shadow masks, shadow was identified as a class for semantic segmentation with a U-net architecture. The model was trained to predict five different elements: ”roads”, ”building”, ”shadow on roads”,”shadow on everything else” and ”everything else”. As a result of introducing shadow classes, the classification accuracy increased for roads and buildings. The prediction of roads and building reached an accuracy of 61% and 77%. The model achieved an ”f1-score” of 0.81 and a ”Jaccard score” of 0.69.

Urbane områder består av ulik type vegetasjon, komplekse materialer og strukturell informasjon, som kan innhentes ved hjelp av fjernmåling. En av de største utfordringene med fjernmålingsdata er identifisering av skygge, ettersom skygge kan medføre forvirring og misvisende resultater. Skyggedeteksjon er nødvendig for å øke kvalitetsnivået på bildesegmentering og for å kunne skille mellom for eksempel ”veier” og ”ikke-veier”, og ”asfalt” og ”ikke-asfalt”. Skyggedeteksjon basert på maskinlæringsalgoritmer kan redusere graden av feil i predikeringen, og kan dermed benyttes for å oppnå bedre resultater. I 2019 ble det innhentet hyperspektrale (HS) og LiDAR data fra urbane områder i Bærum kommune. I denne masteroppgaven blir det lagt vekt på skyggedeteksjon og pikselbasert klassifisering, basert på sammenslåing av HS (Hyspex VNIR-1800 og SWIR-384) og LiDAR (Riegl VQ-1560i). For å kunne detektere skygge, ble det laget skyggemasker av SWIR og LiDAR, som videre ble brukt til å trene en U-net arkitektur. U-net arkitekturen ble benyttet til å predikere skyggemasker og skyggeklasser for høyoppløselige bilder som for eksempel VNIR. Ved hjelp av genererte skyggemasker, ble skygge innført som en klasse for pikselbasert klassifisering med en U-net arkitektur. Modellen ble trent opp til å kunne predikere fem ulike elementer: ”veier”, ”bygninger”, ”skygge på vei”, ”annen skygge” og ”alt annet”. Innføring av skyggeklasser førte til økt nøyaktighet ved predikering av veier og bygninger. Det ble oppnådd en nøyaktighet på 61% for predikering av veier og 77% for predikering av bygninger. Modellen ble evaluert til en ”f1-score” lik 0.81 og ”Jaccard score” lik 0.69.