Original paper
Verification of quantitative precipitation forecasts on short time-scales: A fuzzy approach to handle timing errors with SAL
Zimmer, Matthias; Wernli, Heini
Meteorologische Zeitschrift Vol. 20 No. 2 (2011), p. 95 - 105
published: Apr 1, 2011
DOI: 10.1127/0941-2948/2011/0224
Open Access (paper may be downloaded free of charge)
Abstract
Verification of quantitative precipitation forecasts (QPFs) accumulated over short time periods (hours or less) becomes particularly challenging due to the high temporal variability of surface precipitation. Present-day numerical weather prediction models are, in principle, capable of realistically simulating intense precipitation events, but - also due to the stochastic nature of the triggering of convection - they sometimes fail in predicting the events at the right time. Such temporal prediction errors can have a strong impact on the results of QPF verification and they potentially lead to a misleading interpretation of the verification results. In this study, a fuzzy approach is introduced to handle and quantify timing errors when verifying QPFs accumulated over short time periods, and the approach is illustrated with the feature-based quality measure SAL. Instead of comparing an observed precipitation field only with the simultaneous QPF (the standard approach), it is proposed to compare the observations with a set of QPFs with a time shift of [3. . . + 3] hours and to determine the time shift Δt associated with the smallest QPF location error (the fuzzy approach). Both approaches have been applied to a set of QPFs from the operational weather prediction models COSMO-DE and COSMO-EU in the German part of the Elbe catchment in summer 2007. It is shown that the fuzzy and standard approaches can lead to fairly different verification results, confirming the hypothesis that timing errors significantly impact upon the results from the standard approach. In addition, the interquartile range of the structure and amplitude components of SAL are substantially reduced with the fuzzy approach, indicating that when using the standard approach timing errors in cases are manifested as particularly large errors of the amplitude and/or structure component of SAL. It follows that application of the fuzzy approach is a meaningful way of better identifying key forecast qualities and deficits when considering QPFs with short accumulation times.
Kurzfassung
Die Verifikation quantitativer Niederschlagsvorhersagen (QNV) akkumuliert ¨uber kurze Zeitperioden (einige Stunden oder weniger) stellt wegen der hohen zeitlichen Variabilität des Niederschlags eine große Herausforderung dar. Numerische Vorhersagemodelle sind im Prinzip in der Lage, intensive Niederschlagsereignisse realistisch zu simulieren, diese treten (auch wegen der stochastischen Natur der Konvektionsauslösung) in den Vorhersagen aber manchmal ein paar Stunden zu früh oder zu spät auf. Solche zeitlichen Vorhersagefehler können die Verifikationsergebnisse von QNV beeinflussen und ihre Interpretation erschweren. In dieser Arbeit wird ein sogenannter “Fuzzy-Ansatz” zur Behandlung und Quantifizierung von zeitlichen Vorhersagefehlern, unter Verwendung der objektorientierten Verifikationsmethode SAL, eingeführt. Anstatt ein beobachtetes Niederschlagsfeld nur mit der zeitgleichen QNV zu vergleichen (Standardansatz), wird vorgeschlagen, die Beobachtungen mit einem Satz von QNV mit einer zeitlichen Verschiebung von [3. . . + 3] Stunden zu vergleichen und die zeitliche Verschiebung δ t zu bestimmen, für welche der Ortsfehler (repräsentiert durch die LKomponente von SAL) minimal wird (Fuzzy-Ansatz). Beide Ansätze wurden zur Verifikation von QNV der operationellen Vorhersagemodelle COSMO-DE und COSMO-EU im deutschen Teil des Elbeeinzugsgebiets im Sommer 2007 verwendet. Zum einen konnte gezeigt werden, dass die beiden Ansätze zu unterschiedlichen Resultaten führen, wodurch die Hypothese bestätigt wird, dass beim Standardansatz zeitliche Vorhersage- fehler die Resultate der Verifikation beeinflussen. Weiter konnte gezeigt werden, dass der Interquartilsabstand der Struktur- und Amplitudenkomponenten von SAL bei Verwendung des Fuzzy-Ansatzes stark reduziert wird, was zeigt, dass beim Standardansatz zeitliche Fehler in einigen Fällen als große Fehler in der Struktur und/oder Amplitude zum Ausdruck kommen. Der Fuzzy-Ansatz stellt damit einen sinnvollen Weg dar, um bei QNV mit kurzen Akkumulationszeiten die entscheidenden Qualitäten und Defizite besser identifizieren zu können.