Effekt av dataaugmentering på dyp læring-basert segmentering av hode- og halskreft i PET/CT-bilder

Abstract

Inntegning av tumorvolum i hode- og halsområdet er en tidkrevende utfordring, utsatt for intra- og intervariabiliteter, samt feilinntegninger, som kan gi store konsekvenser for behandlingsutfallet til den enkelte pasient. Ved bruk av dyp læring kan den manuelle inntegningsprosessen automatiseres og dermed brukes som et hjelpemiddel innenfor medisinsk behandling. Målet med denne oppgaven var å forbedre segmenteringsytelsen til et konvolusjonsnettverk med 2D U-Net-arkitektur ved å benytte dataaugmenteringsteknikker på inputbilder. Mangel på tilstrekkelig treningsdata er en av de vanligste utfordringene innenfor maskinlæring og kan føre til overtilpassede modeller. Dette gjelder spesielt innen medisin, der det både er dyrt og vanskelig å anskaffe bilder nettverket kan trene på. Ved å endre inputbildene på en rekke tilfeldige måter, blir modellen introdusert for bilder med større variasjoner, som kan gjøre modellen mer robust og generell, og dermed øke segmenteringsytelsen til 2D U-Net-arkitekturen.

Rammeverket deoxys, utviklet ved fakultet for realfag og teknologi, NMBU, ble benyttet for å lage 65 eksperimentmodeller med 2D U-Net-arkitektur som ble trent på treningsdatasett påført ulike kombinasjoner av augmenteringsteknikker. Datasettet bestod av PET/CT-bilder av hode- og halskreftpasienter fra Oslo universitetssykehus (OUS) og ble delt i treningssett (142 pasienter), valideringssett (40 pasienter) og testsett (15 pasienter). Datasettet ble delt slik at settene inneholdt et representativt utvalg av pasienter med forskjellig tumorstadium, der hvert tverrsnitt inneholdt sann inntegning av tumorvolum og påvirkede lymfeknuter utført av spesialister. Overlappsmålet Dice-score ble benyttet for å evaluere modellenes ytelse på valideringssettet.

48 eksperimentmodeller brukte de affine transformasjonsteknikkene rotasjon, zoom, forskyvning og flipp, kalt eksperimentplan 1. 16 eksperimenter brukte punkt- og filteroperasjonene lysstyrke, kontrast, støy og uskarphet, kalt eksperimentplan 2. Videre ble et kombinasjonseksperiment utført, som bestod av teknikkene som oppnådde høyest ytelse per tverrsnitt på valideringssettet i eksperimentplan 1 og eksperimentplan 2. De statistiske testene Friedmantest etterfulgt av Nemenyi post-hoc test og Wilcoxon signed rank-test ble benyttet i sammenheng med Dice-score for å finne eksperimentmodellen med kombinasjonen av augmenteringsteknikker som oppnådde høyest segmenteringsytelse i forhold til ikke-augmenterte modeller. Denne modellen ble videre testet på OUS-testsettet og et eksternt testsett innhentet fra Maastro Clinic i Nederland for å evaluere modellens ytelse på usett data.

Affine transformasjoner hadde signifikant innvirkning på segmenteringsytelsen, i motsetning til punkt- og filteroperasjonene som i noen tilfeller hadde negativ effekt på modellens ytelse. Augmenteringsteknikken med den mest markante innvirkningen var den affine transformasjonen flipp. Videre tydet de statistiske testene på at den sterkeste augmenteringen oppnådde de høyeste Dice-scorene. Modellen med tilfeldig rotasjon mellom -90 grader og 90 grader, zoomfaktor mellom 0,5 og 1,5, et antall pikselforskyvning mellom -10 og 10 i x- og y-retning og flipping om x-aksen, oppnådde høyest ytelse på valideringssettet av alle eksperimentmodellene og ble derfor videre evaluert på testsettene. Denne modellen oppnådde den gjennomsnittlige Dice-scoren 0,75 ± 0,16 per pasient på OUS-testsettet og 0,65 ± 0,19 på det eksterne Maastro-settet.

Observasjoner fra visualiserte inntegninger viste at modellen hadde vanskeligheter for å tegne inn små tumorvolum og områder der den sanne inntegningen inneholdt piksler med lavt FDG-opptak eller atypiske Hounsfield-verdier. I tillegg inkluderte modellen falske positive inntegninger i typiske lyse områder som ikke var tegnet inn av spesialistene.

Augmentering økte modellytelsen og gav inntegninger med høy overlapp med sanne inntegninger, i forhold til ikke-augmenterte modeller. Spesielt kraftige affine transformasjoner økte segmenteringsytelsen til modellen. Til tross for lovende resultater utførte modellen feilaktige inntegninger som kan få store konsekvenser for pasientens behandlingsutfall. Den augmenterte modellen må derfor videre forbedres for å kunne brukes som et assisterende hjelpemiddel i klinisk sammenheng. Videre arbeid bør undersøke post-prosessering, innhenting av treningsdata fra forskjellige institusjoner, samt undersøke andre augmenteringsteknikker for å kunne ytterligere forbedre modellens segmenteringsytelse.

Purpose Tumour delineation in the head and neck region is a time-consuming challenge, prone to intra- and interobserver variability as well as erroneous delineations which have large consequences for the treatment outcome for each individual patient. By using deep learning, the manual delineation can be automated and thereby be used as a tool in medical treatment. The goal of this thesis was to improve the segmentation performance of a convolutional neural network with 2D U-Net architecture by using data augmentation techniques on the input data. The lack of sufficient training data is one of the most common challenges within the field of machine learning, which can cause overfitted models, especially in the medical field, where it is both expensive and demanding to procure images for network training. By distorting the input images in various ways, the model will be introduced to images with larger variations. This can make the model more robust and general, thereby increasing the delineation performance of the 2D U-Net. Method The framework deoxys, developed at the Faculty of Science and Technology, NMBU, was used to generate 65 experiment models with the 2D U-Net architecture, which were trained on a dataset containing images augmented with different combinations of augmentation techniques. The dataset contained PET/CT images of head and neck cancer patients from the Oslo University Hospital (OUS) and was split into a training set (142 patients), a validation set (40 patients) and a test set (15 patients). The dataset was stratified by tumour stage where each image slice contained a true segmentation of the tumour volume and affected lymph nodes, provided by specialists. The performance metric Dice-score was used to evaluate the model’s performance on the validation set. 48 experiment models used the affine transformations rotation, zoom, shift and flip, called experimental plan 1. 16 experiments used the points and filter operations brightness, contrast, noise, and blur, called experimental plan 2. Furthermore, a combination experiment was conducted that used the techniques within each experimental plan which achieved the highest performance per slice on the validation set. The statistical test Friedman test followed by a Nemenyi post-hoc test, and Wilcoxon signed-rank test was used in combination with the Dice-score to find the experiment model with the augmentation techniques that obtained the highest segmentation performance relative to models without augmentation. This model was further tested on the OUS test set and on an external test set retrieved from Maastro Clinic in the Netherlands for evaluating the model performance on unseen data. Results and discussion Affine transformations were shown to have a significant effect on the segmentation performance, unlike the points and filter operations which in some cases had a negative influence on the model performance. The augmentation technique which had the clearest effect was the affine transformation flip. Furthermore, the statistical test showed that the most substantial augmentation achieved the highest Dice-scores. The model, consisting of random rotation between -90 and 90, a zoom factor between 0.5 and 1.5, a shift between -10 and 10 pixels along each axis and vertical flip, obtained the highest performance among all experiment models, and was therefore further evaluated on the test sets. This model achieved a mean Dice-score 0.75 ± 0.16 per patient on the OUS test set and 0.65 ± 0.19 on the external Maastro set. Observations from visualised delineations show that the model struggled to delineate small tumour volumes or regions where the true segmentations contained pixels with a low FDGuptake or atypical Hounsfield-values. In addition, the model included false positive delineations in bright areas not delineated by specialists. Conclusion Augmentation was found to increase model performance, providing auto-delineations with higher overlap with the ground truth relative to models without augmentation. Particularly affine transformations with a substantial augmentation increased the segmentation performance of the 2D U-Net model. Despite promising segmentation results, the augmented models included erroneous delineations, which have large consequences for the patient treatment outcome. The models must therefore be further improved if they are to be used as an assistance tool in clinical use. For future research and development, post-processing should be explored, more image data from different institutions should be added to the training set and other augmentation techniques should be investigated to further increase the model’s segmentation performance.