Bruk av kunstig intelligens til medisinsk beslutningstøtte: Sammenligning av Dynamic Ensemble Selection med klassiske ML-algoritmer i kreftprediksjon

Abstract

Sammendrag

I en verden med teknologiske fremskritt som stadig påvirker ulike næringer, har maskinlæring (ML) vist seg å være en banebrytende teknologi som kan revolusjonere ulike sektorer. Helsesektoren, som i stor grad står overfor kritiske og komplekse utfordringer, er en sektor som kan dra stor nytte av ML. Maskinlæring er en gren av datavitenskapen som bruker algoritmer og statistiske modeller til å forbedre datamaskiners ytelse, og er en fundamental byggestein i utviklingen av kunstig intelligens.

Denne oppgaven tar for seg problemstillingen om å analysere prediksjon av kreftpasienter ved å anvende ulike ML-algoritmer. I denne sammenhengen ble Dynamic Ensemble Selection (DES) undersøkt for å evaluere om det kan gi bedre resultater for prediksjon av kreftpasienter enn kjente klassiske ML-algoritmer. Flere ML-teknikker ble brukt til å utføre prediksjonstester og øke forståelsen av algoritmene. Videre ble en MCDA-analyse benyttet for å sammenligne resultatene med den nåværende beslutningsprosessen, som tar hensyn til kliniske og etiske retningslinjer samt pasientens behov og interesse. Studien vil gi innsikt i hvilken grad DES og de klassiske ML-algoritmene kan bidra til å forbedre dagens situasjon om å støtte medisinsk beslutningstaking i kreftbehandling.

Datasettene som ble brukt til å trene de prediktive modellene inneholdt omfattende klinisk informasjon om pasienter behandlet ved Oslo universitetssykehus (OUS). Datasettene inkluderte en gruppe på 192 pasienter som gjennomgikk behandling for kolorektal kreft i tidsrommet 2013-2017, samt en annen gruppe på 197 pasienter som ble behandlet for hode- og halskreft i perioden 2007-2013. Åtte klassifiseringsalgoritmer ble trent på disse datasettene med kliniske egenskaper for generell overlevelse (OS), progresjonsfri overlevelse (PFS) og sykdomsfri overlevelse (DFS). Resultatene ble validert ved å måle nøyaktighet, F1-score for positiv og negativ, Matthews korrelasjonskoeffisient (MCC) og ROC AUC. Videre ble modellen for hode- og halskreft testet på et eksternt datasett bestående av 99 behandlede pasienter ved MAASTRO-klinikken i Nederland.

Funnene fra oppgaven tyder på at det er flere muligheter å dra nytte av i forhold til å anvende ulike ML-algoritmer. De klassiske algoritmene presterer generelt bedre enn DES med hensyn til nøyaktighet, prediksjonsytelse, og antall feilaktig klassifisering. I følge MCDA-analysen blir også de klassiske algoritmene sett på som den beste løsningen i kombinasjon av den eksisterende beslutningsprosessen. Den nye løsningen skal ikke være en erstatning, men bli sett på som et mulig beslutningsstøtteverktøy. Det er viktig å merke seg at ulike algoritmer og teknikker vil respondere forskjellig og gi ulike svar på forskjellige typer data og problemer. Dermed er denne anbefalingen gitt for de datasettene og algoritmene som denne oppgaven har basert seg på.

For videre forskning anbefales det å samle et større og mer dagsaktuelt datasettet, som kan bidra til å optimalisere prognosen og overlevelsesraten for kreftpasienter. Dette kan gi mer presise og pålitelige prediksjoner om hvilken behandling som vil gi best resultat for den enkelte pasient. Resultatene fra denne oppgaven kan danne grunnlag for utvikling av modeller som kan identifisere optimal kreftbehandling for en pasient og brukes som beslutningsstøtteverktøy av helsepersonell ved behandling av nye kreftpasienter.

Abstract

In a world of technological advancements that continue to impact various industries, machine learning (ML) has proven to be a ground-breaking technology that can revolutionise various sectors. The health sector, which largely faces critical and complex challenges, is a sector that can greatly benefits from ML. Machine learning is a part of computer science that deals with using algorithms and statistical models to learn and improve computer performance based on feedbacks and experiences from previous data and is a fundamental in the development of artificial intelligence.

The master thesis deals with the problem of analyzing the prediction of cancer patients using different ML algorithms. In this context, several ML techniques are used to perform prediction tests and increase the understanding of the algorithms. Furthermore, an MCDA-analysis is used to compare the results with the current solution, which is based on clinical and ethical guidelines as well as the patients' needs and interests. The aim is to investigate whether Dynamic Ensemble Selection (DES) gives better results for predicting cancer patients than existing models, like random forest and logistic regression. The study will provide insight into the extent to which the DES algorithms and the classical algorithms can contribute to improving the current situation of supporting medical decision-making in cancer treatment.

The datasets used for training the predictive models consisted of clinical information from 192 patients who were treated for colorectal cancer in the period 2013 to 2017, and 197 patients who were treated for head and neck cancer in period 2007 to 2013 at Oslo University Hospital, OUS. Eight classification algorithms were trained on these datasets with clinical characteristics of overall survival (OS), progression-free survival (PFS), and disease-free survival (DFS). The results were validated by measuring accuracy, F1-score for positive and negative, Matthew's correlation coefficient (MCC) and ROC AUC. Furthermore, an external data set consisting of 99 patients who received treatment at the MAASTRO clinic in the Netherlands was used to test head and neck cancer models.

The findings from the thesis indicate that several opportunities can benefit from the use of different ML algorithms. The classical algorithms generally outperform DES when it comes to accuracy, prediction performance, and number of misclassifications. According to MCDA-analysis, the classic algorithms are also seen as the best solution in combination with the current situation. The new solution should not be a replacement but be seen as a possible decision-support tool. It is also important to note that different algorithms and techniques will respond differently and give another output to different type of data and problems. This recommendation is therefore given for the datasets and algorithms on which this task is based on.

A challenge with the datasets that are used in this thesis is that they were limited and contained little information. For further research, a larger and more up-to-date data set should be collected, which can help to optimize cancer patients' prognosis and survival rate This can provide more precise and reliable predications about which treatment will give the best result for the individual patient. The results from this thesis can form the basis for the development of models that can identify optimal cancer treatment for a patient and be used as a decision-support tool by healthcare professionals when treating new cancer patients.