Preprocessing strategies for infrared spectral data with limited numbers of spectral channels

Abstract

Joint health is vital for mobility and well being of all people. In an EU project called Miracle, a mid-infrared arthroscopic probe for diagnosis of joint diseases during surgery is being developed. The focus is mid infrared measurements of cartilage tissue. To deal with instrumental spatial issues, the probe will emit only a few single wavenumbers, thus presenting a challenge for data preprocessing. The state of the art preprocessing technique Extended Multiplicative Signal Correction (EMSC) is a well established technique which corrects for physical effects such as scaling and different types of baseline variations in the data. The method is built on broad-band spectra, and for data with few wavenumber channels the stability of the EMSC can not be guaranteed. In thesis, this issue was investigated further. As the Miracle project is an ongoing project, and the final probe was not ready for operation during this master thesis, measurements employing the probe were not available. Therefore, we simulated a data set in order to develop a preprocessing strategy. The simulation was based on applying PCA on a data set of existing broad-band spectra measurements that were obtained from healthy and diseased samples by various project groups and on different conventional lab instruments. We identified several interference and measurement variations from the experimental broad-band data, including variations in water vapor, carbon dioxide, noise and cartilage signal strength. Spectra completely without cartilage signal was also found, which were linked with high degradation cartilage samples. However, it was shown that the high-degradation class membership for such spectra is not guaranteed in practice, and therefore it is concluded that such spectra will not give any meaningful value to classification tasks of healthy and diseased cartilage. This demonstrates the importance of the development of an automatic detection algorithm for measurements which deviates highly from the expected cartilage signal. Further, it was suggested that physical effect can carry discriminative information about healthy and diseased cartilage for broad-band spectra. It was however shown, that for the seven wavenumber channel data, corresponding EMSC type correction methods was not as accurate for seven wavenumber channels data as for broad-band spectra, and that the difference increased with the complexity of the EMSC model. Therefore, it is concluded that the estimated physical effects baseline parameters from the EMSC correction of seven wavenumber channels data most likely does not correctly describe physical phenomena in the sample, but may in stead express a trend in the relationship between absorbance levels for the seven wavenumbers. In total 11 EMSC type preprocessing strategies for seven wavenumber channels data were suggested, and validated using the simulated data set. The best performance across four tested classifiers was obtained by using the conventional MSC. The inclusion of the estimated MSC parameters as extra input variables to the classifier led to further increase in accuracy, though marginal. In combination with the Random Forests classifier, the maximum accuracy of 81,2 % was achieved, which represented an increase of 6,2 % with respect to classification based on raw data. Lastly, we demonstrated that water vapor is disturbing for classification based on seven wavenumber channels data. By including water vapor in simulation, we found that the classification accuracy (Random Forest) decreased by 5 %. Based on this, it is recommended that instrumental precautions are made to try and minimize presence of water vapor.

Leddhelse er viktig for alle menneskers mobilitet og velvære. I et EU-prosjekt kalt Miracle, utvikles et midt-infrarødt kikkertinstrument for diagnostisering av leddsykdommer under operasjoner. Fokuset er IR målinger på bruskvev. For å håndtere instrumentale utfordringer vil kun noen få utvalgte bølgelengder utstråles, og dermed føre til en utfordring for preprosessering av data. Den moderne forbehandlingsteknikken Utvidet Multiplikativ Signalkorreksjon (EMSC) er en veletablert teknikk som korrigerer for fysiske effekter som skalering og forskjellige typer baseline-variasjoner i spektre. Metoden er bygget på kontinuerlige spektre med bredt spektralomr˚ade, og for data med få bølgetallkanaler kan ikke stabiliteten til EMSC garanteres. Denne problemstillingen ble undersøkt nærmere i masteroppgaven. Ettersom Miracle-prosjektet er et pågående prosjekt, og det endelige kikkertinstrumentet er ferdigstilt, var ikke målinger fra instrumentet tilgjengelige. Derfor simulerte vi et datasett for å utvikle en forbehandlingsstrategi. Simuleringen var basert på anvendelse av PCA på et datasett med eksisterende bred-område spektre som ble oppnådd fra friske og skadede bruskprøver av forskjellige prosjektgrupper og med forskjellige konvensjonelle laboratorieinstrumenter. Vi identifiserte flere interferens- og målevariasjoner fra eksperimentelle bred-område data, inkludert variasjoner i vanndamp, karbondioksid, støy og signalstyrke fra brusk. Spektra helt uten brusksignal ble også funnet, og ble koblet til bruskprøver med skade. Det ble imidlertid vist at ikke alle spektre uten brusksignal stammet fra prøver med stort skadeomfang, og derfor konkluderes det med at slike spektra ikke vil gi noen meningsfull verdi i klassifiseringsoppgaver av friskt og skadet brusk. Dette demonstrerer også viktigheten av utviklingen av en automatisk deteksjonsalgoritme for målinger som avviker sterkt fra forventede brusk-signal. Videre ble det foreslått at fysiske effekter kan gi diskriminerende informasjon om friskt og skadet brusk. Det ble imidlertid demonstrert at for data med kun syv bølgetallkanaler, var korresponderende EMSC-type korreksjonsmetode ikke like nøyaktig som bred-område spektre, og at forskjellen økte med inkludering av bølgetall-avhengige beselines til EMSC-modellen. Derfor konkluderes det med at estimerte fysiske effekter fra EMSC-korreksjon av syv bølgetallkanaldata mest sannsynlig ikke beskriver fysiske fenomener i prøven korrekt, men likevel uttrykker en trend i forholdet mellom absorbansnivåer for de syv bølgetallene. Totalt 11 EMSC-type forbehandlingsstrategier for syv bølgetallkanaldata ble foreslått og validert ved bruk av det simulerte datasettet. Den beste ytelsen over fire testede klassifiseringsalgoritmer ble oppnådd ved bruk av MSC. Inkluderingen av de estimerte MSC-parameterne som ekstra variabler for klassifikatoren førte til ytterligere økning i suksessrate, men marginal. I kombinasjon med klassifiseringsalgoritmen Random Forest oppn˚adde vi en maksimal nøyaktighet på 81,2 %, noe som representerte en økning på 6,2 % med hensyn til klassifisering basert på rådata. Til slutt demonstrerte vi at vanndamp er forstyrrende for klassifisering basert på syv bølgetallkanaldata. Ved å inkludere vanndamp i simuleringen gikk suksessraten til klassifikatoren (Random Forest) ned med 5 % i sammenlikning med simulering som ikke inkluderte vanndamp. Basert på dette anbefales det at det tas instrumentelle forholdsregler for å prøve å minimere tilstedeværelsen av vanndamp.