A thorough and honest evaluation provides the foundation for all results obtained with a model. It is the key to increase trust in models, novel and established alike. Evaluation fosters model understanding and directly triggers improvements. Additionally, it allows to quantify the uncertainties of the results. However, there is no evaluation approach that suits all potential models and their applications. Therefore, this thesis develops sophisticated evaluation strategies for two comparatively novel downscaling models and identifies potential pitfalls in model evaluation. The Intermediate Complexity Atmospheric Research model (ICAR) is a physics-based atmospheric model. It advects atmospheric quantities such as temperature and moisture in a wind field calculated with linear mountain wave theory. Cloud and precipitation processes are represented with a sophisticated microphysics scheme. An evaluation with multi-year precipitation time series reveals a strong dependence of model performance on the chosen model top height. A process-based evaluation traces this effect to influences of the comparatively low model top on atmospheric processes within the domain. Only a model top set high enough is shown as effective in allowing these processes to unfold without disturbances. A procedure for the determination of the minimum possible model top height is presented. For ICAR, potentially distinctly different distributions of the microphysics species and precipitation are found in comparison to a full physics model due to the simplified wind field calculation of ICAR. This work furthermore develops recommendations and improvements to maximize the probability that ICAR results are right for the right reasons. The second evaluated model provides statistical downscaling for glacierized mountain environments (sDoG). Its evaluation for an alpine site shows clear improvements over other available data sets. The results indicate that cross-validation based uncertainty estimates are likely to underestimate the true error of the model, partly due to training periods of limited extent. Furthermore, the impact of the stationarity assumption, violated by changes in the local microclimate, was found to be large enough to affect trend analysis. Altogether, the results of this work underline the importance of in-depth evaluation and demonstrate potential pitfalls encountered when evaluating models.
Titelaufnahme
- TitelDevelopment and application of evaluation strategies for downscaling models / by Johannes Horak
- verfasst von
- begutachtet von
- betreut von
- Erschienen
- Umfangx, 159 Seiten : Diagramme, Karten
- AnmerkungKumulative Dissertation aus drei ArtikelnZusammenfassung in deutscher Sprache
- Datum der AbgabeJuni 2021
- SpracheEnglisch
- DokumenttypDissertation
- Schlagwörter (DE)
- Schlagwörter (EN)
- URN
- Das Dokument ist online verfügbar
- Nachweis
Eine gründliche und ehrliche Evaluierung bildet das Fundament für alle mit einem Modell generierten Resultate. Sie ist der Schlüssel, um Vertrauen sowohl in neue als auch etablierte Modelle herzustellen, fördert das Modellverständnis und führt direkt zu Verbesserungen. Zusätzlich ermöglicht sie eine Abschätzung der Unsicherheiten. Es gibt aber keine auf alle Modelle und Anwendungen übertragbare Evaluierungsmethode. Daher befasst sich diese Arbeit mit der Entwicklung von Evaluierungsstrategien für zwei neue Downscalingmodelle und zeigt mögliche Fallstricke auf. Das Intermediate Complexity Atmospheric Research Modell (ICAR) ist ein physikbasiertes Atmosphärenmodell. Es advehiert atmosphärische Größen in einem Windfeld, das mit linearer Gebirgswellentheorie berechnet wurde. Wolken- und Niederschlagsprozesse werden durch ein Mikrophysikschema dargestellt. Eine Evaluierung mit mehrjährigen Niederschlagszeitreihen zeigt eine starke Abhängigkeit der Modellperformanz von der Höhe des oberen Modellrandes. Eine prozessbasierte Evaluierung führt dies auf die Beeinflussung der atmosphärischen Prozesse durch den oberen Modellrand zurück. Störungen werden nur vermieden, wenn dieser hoch genug angesetzt wird. Eine Prozedur, um die notwendige Mindesthöhe zu ermitteln wird präsentiert. Deutlich unterschiedliche Verteilungen der Mikrophysikspezies sowie des Niederschlags werden beim Vergleich von ICAR zu einem voll physikbasierten Modell festgestellt und auf die vereinfachte Berechnung des Windfelds in ICAR zurückgeführt. Um die Wahrscheinlichkeit zu maximieren, dass die Resultate von ICAR aus den richtigen Gründen richtig sind, werden Empfehlungen und Verbesserungen abgeleitet. Das zweite Modell (sDoG) ermöglicht statistisches Downscaling für vergletscherte Gebirgsräume. Dessen Evaluierung für ein alpines Untersuchungsgebiet zeigt klare Verbesserungen im Vergleich zu anderen verfügbaren Datensätzen. Die Resultate zeigen weiters, dass Unsicherheitsabschätzungen mittels Kreuzvalidierungsverfahren den wahren Fehler des Modells unterschätzen, was teilweise auf die eingeschränkte Länge des Trainingsdatensatzes zurückgeführt werden kann. Zusätzlich wird der Einfluss der Stationaritätsannahme, welche durch eine Änderung des lokalen Mikroklimas verletzt wird, untersucht. Dieser bewegt sich in einer Größenordnung, die Trendanalysen beeinflusst. Insgesamt unterstreicht diese Arbeit die Wichtigkeit von tiefgreifender Evaluierung und zeigt Fallstricke im Zuge dieser auf.
- Das PDF-Dokument wurde 69 mal heruntergeladen.