Application of Bayesian calibration for propagation of uncertainty in dynamic models

Abstract

The thesis is about quantification of uncertainties in complex models. Models are built to describe, explain or predict a real world outcome. It is well known that models are related with uncertainty, and that uncertainties are related to how close the simulation is to the real world outcome. Still, uncertainties are rarely quantified in dynamic models. We have focused on parameter uncertainty and output uncertainty derived from the parameters. Uncertainty originated from the empirical data is integrated into the posterior parameter distributions through the likelihood functions. Additionally, uncertainty related to the representativeness of the collected data to the population has been focused. The Bayesian statistical framework, with the Markov chain Monte Carlo algorithm random walk Metropolis was used for model calibration in the four papers. The algorithm was found simple in idea and implementation into the computer program Matlab, but challenges emerged when the method was used at complex models. In this work these challenges have been pursued together with searching for efficiency improvements in order to make as few model evaluations as possible. Paper I: explores the challenges emerging when applying Bayesian calibration to a complex deterministic dynamic model of snow depth. How prior information and new data affect the calibration process, the parameter estimates and model outputs were demonstrated. Parameter uncertainty and model uncertainty derived from the parameters were quantified, visualized and assessed. The random walk Metropolis algorithm was used and in order to reach convergence more effectively, informative priors, Sivias’ likelihood, reflection at the prior boundaries and updating the proposal distribution with parts of the data gave successful results. Methods for objective and correct determination of Markov chain convergence were studied, and the use of multiple chains and the Gelman-Rubin method was found useful. Paper II: presents a dynamic model for snow cover, soil frost and surface ice. The Bayesian approach was used for model calibration and sensitivity analysis identified the non-important parameters. Paper III: shows the importance of splitting the data several times in two for model development and assessment/selection, for the model to fit well to novel data from the system and not only to the specific data at hand. Different models of ascospore maturity of Venturia inaequalis were further developed and compared by the deviance information criterion and root mean square error of prediction to show model improvements, and the analysis of variance was used to show significance of the improvements. Paper IV: examines the potential effects of selection of likelihood function when calibration a model. Since the likelihood function is rarely known for certain, but gives a reasonable quantification of how probable the data are given model outcome, it is of great importance to quantify the effect of using different likelihood functions on parameter uncertainty and on model output uncertainty derived from the parameters.

Denne avhandlingen omhandler kvantifisering av usikkerhet i komplekse modeller. Modeller bygges for å beskrive, forklare og predikere virkelige systemer. Selv om det er kjent at usikkerhet er knyttet til modeller og dermed er relatert til hvor lik den simulerte og den virkelige verdien er, blir usikkerhet sjeldent kvantifisert i dynamiske modeller. Det har i denne avhandlingen blitt lagt vekt på parameterusikkerhet og usikkerhet i utgangsdata fra modeller med opprinnelse i parametrene og empiriske data. I tillegg har det blitt fokusert på usikkerhet i forhold til hvor godt de innsamlede observasjonene representerer populasjonen. Bayesiansk statistikk har blitt anvendt til å kalibrere modellene i de fire påfølgende artiklene ved hjelp av Markov chain Monte Carlo algoritmen random walk Metropolis. Algoritmen er enkel å forstå og å implementere i dataprogrammet Matlab, men utfordringer oppstod ved anvendelse på komplekse modeller. Disse utfordringene og effektivitetsforbedringer ved å minimere antall modellevalueringer har blitt vektlagt. Artikkel I: utforsker utfordringer ved bruk av Bayesiansk kalibrering på en kompleks deterministisk dynamisk modell for snødybde. Fokus er lagt på hvordan den opprinnelige usikkerheten, a’priori usikkerheten, sammen med nye innsamlede data gjennom rimelighetsfunksjonen påvirker kalibreringsprosessen, parameter estimatene og modellens utgangsdata. Parameterusikkerhet og modellusikkerhet grunnet parametrene ble kvantifisert, vist og vurdert. Random walk Metropolis algoritmen ble anvendt, og for å oppnå konvergens raskere ble informative fordelinger på parametrene, Sivias’ rimelighetsfunksjon, refleksjon og å oppdatere forslagsfordelingen med deler av dataene testet med gode resultater. Det ble dessuten lagt vekt på viktigheten av en metode for å avgjøre både objektivt og korrekt når kjedene konvergerte, hvor parallelle kjeder og Gelman-Rubins metode ble funnet nyttig. Artikkel II: presenterer en dynamisk modell for snødybde, frostdybde og overflate-is. Bayesiansk rammeverk ble anvendt for å kalibrere modellen og sensitivitetsanalyse identifiserte de mindre viktige parametrene. Artikkel III: viser hvor viktig det er å dele data flere ganger i to for modell utvikling og modell validering for at modellen ikke kun skal passe de spesifikke dataene, men også nye data fra det samme systemet. Ulike modeller for sporemodning av Venturia inaequalus ble videreutviklet og sammenlignet ved bruk av kriteriene devianse informasjons kriteri (DIC) og prediksjonsfeil (RMSEP) for å vise modellforbedringer. Variansanalyse ble anvendt for å angi statistisk signifikans til forbedringene. Artikkel IV: undersøker effekten av rimelighetsfunksjonen på en snødybdemodell. Siden rimelighetsfunksjonen sjelden er kjent, men kun gir en fornuftig kvantifisering av hvor sannsynlig data er gitt modellens utdata, er det viktig å kvantifisere effekten av å anvende ulike rimelighetsfunksjoner på parameterusikkerhet og på usikkerheten relatert til modellens utgangsdata med opprinnelse i apriori parameterusikkerhet og empiriske data.