Weersverwachtingen

INTRODUCTIE
Seijo Kruizinga

Dagelijks wordt de Nederlandse bevolking voorzien van meerdere weersverwachtingen door diverse weerbureaus. Zowel via de krant als via radio/tv en internet worden regelmatig weerberichten verspreid. Over de betrouwbaarheid/kwaliteit en de bruikbaarheid van deze verwachtingen is echter weinig bekend. Wat is het algemene niveau van de kwaliteit? Is er verschil in kwaliteit tussen de weerbureaus? Om deze vragen te beantwoorden heb ik sinds december 2006 de internet-verwachtingen van diverse bureaus, voor enkele locaties, opgeslagen (zie ook gebruikte verwachtingen). Vervolgens zijn enkele grootheden in deze verwachtingen vergeleken met de opgetreden waarden en op basis van deze vergelijkingen zijn scores (zie hieronder) berekend die een maat zijn voor de kwaliteit. De openingspagina's van deze site geven voor De Bilt voor een aantal grootheden een eerste indruk. Onder het menu-item 'Verificatie studies' vindt u meerdere rapporten en bijbehorende achtergrondinformatie. In eerste instantie was de opzet gericht op het volgen van een beperkt aantal weerbureaus voor een geselecteerd aantal parameters. Later zijn daar deelstudies voor een korte periode van andere weerbureaus of parameters aan toegevoegd.
Helaas is een groot deel van de verwachting zodanig geformuleerd dat een vergelijking met opgetreden waarden vrijwel onmogelijk is. Van een wolkje met daaronder enkele druppels is moeilijk vast te stellen of en in welke mate het is opgetreden. Ook is niet van iedere term in de verwachting duidelijk omschreven waar die betrekking op heeft. Alleen de Meerdaagse van het KNMI is voorzien van duidelijke definities over de grootheden die in de verwachting staan.
De grootheden die wel konden worden geverifieerd zijn de verwachte maximum- en minimum-temperatuur en van een beperkt aantal weerbureaus de neerslagkans. Alhoewel dus maar een beperkt aantal grootheden konden worden geverifieerd kunnen de resultaten wel een indruk geven over de mate van zorgvuldigheid die de weerbureaus betrachten bij het opstellen van de weersverwachting. Van deze grootheden wordt vaak een vergelijkende verificatie, tussen de weerbureaus, gegeven.
Bij andere grootheden is een onderlinge vergelijking vaak onmogelijk omdat de grootheden wel op elkaar lijken maar te veel in definitie verschillen. Voor neerslaghoeveelheden geeft bijvoorbeeld het KNMI in de meerdaagse verwachting een interval voor het landelijk gemiddelde terwijl andere bureaus een locatie specifieke waarde in de verwachting geven. Voor deze grootheden worden dan wel, per weerbureau, verificaties uitgevoerd om de gebruikers een indruk te geven van de bruikbaarheid.

We kunnen in de rapporten drie groepen onderscheiden:

Jaarlijkse verificatie resultaten voor enkele parameters en eenvoudige verificatie maatstaven, zoals op de beginpagina. Deze worden jaarlijks bijgewerkt en zijn ook terug te vinden bij Resultaten per parameter
Detail onderzoek over een vaste periode van 7 jaar, december 2010 tot en met november 2017. Deze studies zijn eveneens te vinden onder Resultaten per parameter
Verificatie resultaten voor andere weerbureaus en of numerieke modellen. De verificatieperiode is daarbij variabel en afhankelijk van welke data zijn verzameld. Deze sudies staan onder Resultaten per model of weerbureau

Het is van belang om op te merken dat de hier gepresenteerde verificaties niet identiek is aan de kwaliteitscontrole die de weerbureaus intern uitvoeren. Immers bij de weerbureaus wordt de verificatie uitgevoerd op het moment dat een verwachting klaar is. Echter omdat we bij onze verificatie de gegevens op een min of meer vaste tijd ophalen prikken we mogelijk middenin het productieproces. Verder verifieert men intern tegen de opgetreden waarden waarop de verwachting is gedefinieerd. Bij de verwachting van het KNMI gebruiken wij de maximumtemperatuur die boven het centrum van Nederland wordt geplaatst als verwachting voor De Bilt maar de door het KNMI gegeven verwachting is meer bedoeld voor de regio. De verificatie zoals we die hier presenteren moet dan ook meer gezien worden als een bruikbaarheidstoetsing voor de externe gebruiker dan als een kwaliteitstoetsing van het productieproces.

Definities en begripsomschrijvingen. In de rapportages worden veel afkortingen en bijzondere begrippen gebruikt. Hieronder vindt u een lijst, in willekeurige volgorde, met omschrijvingen van de meest voorkomende begrippen:

Maximumtemperatuur of TX: De hoogste temperatuur (overdag) tussen 06 UTC en 18 UTC. In de winter is dat tussen 7 uur en 19 uur lokale tijd en de zomer tussen 8 uur en 20 uur lokale tijd. Deze definitie komt overeen met de extremen die op de Extremen-pagina van het KNMI in de tabellen wordt vermeld. Als we in deze rapportages over maximumtemperatuur spreken bedoelen we meestal de hier gedefinieerde temperatuur. Sommige weerbureaus en bijvoorbeeld ook de Klimatologishe Dienst van het KNMI, hanteren andere definities. De maximumtemperatuur over het hele etmaal (00 UTC tot 24 UTC) wordt ook vaak gebruikt. Als we een afwijkende definitie gebruiken zullen we dat in de tekst aangeven.
Minimumtemperatuur of TN: De laagste temperatuur ('s nachts) tussen 18 UTC en 06 UTC de volgende dag. De TN wordt genoteerd op de datum behorend bij 06 UTC. Ook hier zijn andere definities in gebruik, bijvoorbeeld het minimum over het hele etmaal.
Neerslagkans per etmaal of PE: De kans in procenten dat er op een gegeven locatie neerslag wordt gemeten in het tijdvak 00 UTC t/t 24 UTC. In de KNMI meerdaagse en in de weerPlaza meerdaagse wordt een landelijke neerslagkans gegeven die op iedere willekeurige plaats in Nederland mag worden gebruikt.
Neerslagkans overdag of PD: De kans in procenten dat er op een geven locatie neerslag wordt gemeten in het tijdvak 06 UTC tot 18 UTC.
Meteorologisch jaar: van 1 december tot en met 30 november daaraan volgend. Het toegekende jaartal is het jaartal van 30 november, aangeduid met Mjjjj
Meteorologische seizoenen: Periodes van 3 maanden beginnend op respectievelijk 1 december (winter), 1 maart (lente), 1 juni (zomer) en 1 september (herfst). In tekst en figuren worden ze veelal aangeduid als Wjj, Ljj, Zjj en Hjj waarin jj het jaartal minus 2000. Aan de winter wordt het jaartal van januari toegekend.
Warme seizoen (WS of Warm): 15 april t/m 14 oktober.
Koude seizoen (KS of Koud): 15 oktober t/m 14 april. Het toegekende jaartal is het jaartal van 14 april.
Score of Verificatiescore: Een getal dat berekend wordt door, over een (lange) periode, verwachte waarden te vergelijken met opgetreden waarden. De score is dan een maat voor de mate waarin verwachte waarden overeenstemmen met opgetreden waarden. In veel gevallen, maar zeker niet alle, wordt de score nul als de verwachte waarde gelijk is aan de opgetreden waarde. Scores worden altijd berekend over een (groot) aantal verwachtingen.
Skill: In veel gevallen zullen we de score omrekenen naar een Skill. In die gevallen vergelijken we de behaalde score met twee andere scores, de score van de perfecte verwachting en de score van een heel eenvoudige verwachting die iedereen kan maken. De Skill drukt dan uit (meestal in procenten) hoever we gevorderd zijn van eenvoudig naar perfect. Een voorbeeld van een zeer eenvoudige verwachting, voor de maximumtemperatuur, is: 'De maximumtemperatuur van morgen is gelijk aan die van vandaag'. Normaal gesproken zal de score van een verwachting van een weerbureau ergens tussen die twee uitersten inliggen. De term skill is ontleend aan het Engels en wordt hier gebruikt omdat hij veelvuldig wordt gebruikt zowel in engelse als nederlandse artikelen over weersverwachtingen.
Verwachtingstermijn: De tijdsduur in dagen of uren tussen het opstellen van de verwachting en het moment (periode) waarvoor de verwachting geldt. We zullen dit meestel afkorten tot Termijn en in dit rapport werken alleen met termijnen in dagen.

Inzameling van de gegevens.

Bij de aanvang van het project werden internetpaginas van de betrokken weerbureaus, KNMI, Meteo Consult, Weer Online en WeerPlaza, via een screendump als plaatje opgeslagen en in een later stadium werden handmatig de verwachtingen voor morgen van de maximum-temperatuur, de minimum-temperatuur en de neerslagkans hieruit geëxtraheerd. De screendump's werden iedere morgen omstreeks 08:45 uur uitgevoerd. Deze bewerkelijke procedure maakte het vrijwel onmogelijk om nog meer grootheden in het project mee te nemen. Omstreeks juli 2010 werd ook handmatig op hetzelfde tijdstip met behulp van een programma de pure HTML-code van deze webpaginas gedownload en opgeslagen. Doordat we de verwachte waarden nu via een programma uit kunnen lezen uit de HTML-code werd het mogelijk om ook nog andere grootheden (en voor meerdere verwachtingstermijnen) in het verificatie project op te nemen. Vanaf april 2012 werd deze extractie van de HTML-code geautomatiseerd op een server bij STRATO. Daarnaast worden ook nog steeds screendump's gemaakt om de geautomatiseerde procedures te kunnen controleren.

Helaas worden de webpaginas van weerproviders steeds complexer van opzet. Ze zijn dan niet meer op deze manier te behandelen.