PLS-VS: partial least squares med variabelseleksjon : en eksplorativ regresjonsmetode med fokus mot bedre tolkbarhet

Abstract

I denne oppgaven har vi utviklet en PLS beslektet metode som for multivariate regresjonsproblemer kan brukes til å bygge konkurransedyktige modeller med tanke på prediksjon og tolkbarhet. Metoden er motivert av Powered Partial Least Squares Regression (PPLS) og variabelseleksjonsmetodikk kombinert med bruk av enkel teori om rette linjer. Med dette som grunnlag har vi lykkes med å utvikle en eksplorativ PLS metode kalt PLS-VS (PLS med variabelseleksjon) som i interessante tilfeller kan gi opphav til enkle og tolkbare modeller. Fra moderne måleteknologier og datainnsamlingsmuligheter eksponeres vi stadig hyppigere for datasett med svært mange og høyt korrelerte forklaringsvariable. Her utfordres vi til å frambringe innsikt og ikke minst oversikt over årsaksforhold som gjerne kokes ned til hvilke forklaringsvariable som er de «viktigste» for å kunne forklare variasjonen i responsen(e) som studeres. Det er derfor et åpenbart «marked» for metoder som PLS-VS som både enkelt og forholdsvis effektivt er i stand til å produsere enkle modeller også i situasjoner der datagrunnlaget i utgangspunktet har høy kompleksitet. Gjennom arbeidet med PLS-VS har vi sammenlignet vår metode både med noen beslektede PLS-metoder og andre etablerte metoder som anses som relativt godt egnet for analyse av komplekse datasett. Vi har også forsøkt å skaffe innsikt i likheter og forskjeller mellom modellene de ulike studerte metodene produserer på en samling reelle datasett. PLS-VS viser seg å ha prediksjonsevne fullt på høyde med de kjente metodene vi har sammenlignet den med. Det er derfor grunnlag for å påstå at PLS-VS representerer et ikke uinteressant bidrag til utviklingen av regresjonsmetodikk tilpasset komplekse multivariate datasett. Ikke minst innenfor fagområder som kjemometri, spektroskopi, bioinformatikk og genomikk vil PLS-VS være et relevant verktøy. In this thesis we have developed a PLS-related method that produces competitive models in terms of prediction and interpretability when applied on multivariat regression problems. Yhe method is motivated by Powered Partial Least Squares Regression (PPLS) and variable selection combined with the usage of simple theory of straight lines. On this basis we have succeeded in developing an exploratory PLS-method named PLS-VS (PLS with variable selection) that in interesting cases can give rise to simple end interpretable models. From modern measurement technologies and data mining abilities we are more frequently exposed to datasets including many and highly correlated explanatory variables. Here we are challenged to produce insight and not least an overview of the causality, that often boils down to which explanatory variables that are the most important to explain the variation in the response variable that are studied. Though, there is clearly a need for methods like PLS-VS that easily and rather efficiently are able to produce sparse models, also in situastions where the data provided has high complexity. Throughout the study of PLS-VS we have compared our method with familiar PLS methodology, and other established methods that are considered relatively suitable for analysis of complex dataset. We have also tried to provide insight in similarities and differences between the models the different methods produces on a collection of real datasets. PLS-VS turns out to possess a predictionability at the same level as the known methods we have compared it with. Therefore there is on a reasonable basis we claim that PLS-VS doesn't represents an uninterested contribution to the development of regression methodology adapted to multivariat datasets. Not least will PLS-VS be a relevant tool within the fields of chemometrics, spectroscopy, bio-informatics and genomics.