Estimation of noise variance with dimension-reducing regression methods

Abstract

The focus of this thesis has been on investigating the performance of some estimators of the noise variance using the dimension-reducing methods PCR, PLSR and a recently developed Bayesian method, Bayes PLS, through a simulation study. In all data modeling, there is a certain consumption of degrees of freedom due to the estimation of unknown parameters. It can be important to determine the degrees of freedom in order to assess the level of the noise variance (dependent of the choice of estimator). In this thesis, a definition of the degrees of freedom as the expected value of the trace of the first derivative of the fitted values (suggested by Krämer and Sugiyama [2011]) has been applied. For PCR this leads to the simplified or 'naive' definition that the degrees of freedom equals the number of components included in the fitted model (regression coefficients) + 1 (the intercept). In PLSR, the relationship between the response and the fitted values is non-linear, so finding an analytic expression of the derivative is quite complicated, maybe even impossible. Therefore, two alternative PLSR estimators of the noise variance has been investigated; one that uses the naive estimate of the degrees of freedom, and one that is based on a numerical approximation of the derivative of the fitted values. Bayes PLS uses a numerical approach (MCMC) to estimate all the unknown parameters, so the noise variance estimate can be obtained without having to consider the degrees of freedom. The results of the simulations show that the best estimators, in terms of smaller estimation error, fewer number of components included in the fitted model, and overall more stabile results, are the PLSR estimator with the naive estimate of the degrees of freedom and the Bayes PLS estimator. The simulations also show that the true value of the degrees of freedom of PLSR is probably larger than the naive estimate in some situations.

I denne oppgaven har en simuleringsstudie blitt gjennomført, der de dimensjonsreduserende metodene PCR, PLSR og Bayes PLS har blitt brukt til å tilpasse lineære modeller, og til å estimere den vanligvis ukjente støyvariansen. Deretter har de forskjellige støyvarians-estimatorene blitt vurdert og sammenlignet med hverandre. I all statistisk modellering må ukjente parametre estimeres, og til denne estimeringen brukes det et visst antall frihetsgrader. Det kan være viktig å anslå dette antallet frihetsgrader, for å kunne estimere nivået av tilfeldig støy i modellen (avhengig av valg av estimator). Frihetsgradene kan matematisk defineres som forventningen til trasen til den partiellderiverte av de tilpassede verdiene (foreslått av Krämer and Sugiyama [2011]). For PCR fører denne definisjonen til den relativt enkle eller ”naive” definisjonen av frihetsgradene som antall komponenter som inkluderes i den tilpassede modellen (regresjonskoeffisienter) + 1 (konstantleddet). I en modell tilpasset ved PLSR er det et ikke-lineært forhold mellom responsen og de tilpassede verdiene, så å finne et analytisk uttrykk for den deriverte er komplisert, om ikke umulig. Derfor har to forskjellige forslag til frihetsgrader for modellen tilpasset ved PLSR blitt brukt; det naive estimatet, og en numerisk tilnærming til den deriverte av de tilpassede verdiene. Bayes PLS bruker en numerisk metode (MCMC) til å estimere de ukjente parametrene, så støyvarians-estimatet gis uten at det er nødvendig å anslå frihetsgradene. Resultatene av simuleringsstudien viser at de beste estimatorene, med hensyn på lavest estimeringsfeil, færrest komponenter inkludert i den tilpassede modellen, og gjennomgående mest stabile resultater, er PLSR-estimatoren med det naive estimatet av frihetsgrader, og Bayes PLS-estimatoren. Simuleringene viser også at den sanne verdien av frihetsgradene i PLSR i noen situasjoner trolig er høyere enn det naive estimatet.