Een belangrijke eigenschap van kansverwachtingen is de betrouwbaarheid. Onder betrouwbaarheid verstaan we de eigenschap dat na bijvoorbeeld een verwachting van 70% kans op neerslag, er ook
in 70% van de gevallen neerslag wordt waargenomen. Je test dit gewoonlijk door alle gevallen met een kansverwachting van 70% bij elkaar te nemen en te tellen in hoeveel gevallen er neerslag is opgetreden. Dit aantal reken je dan om naar de fractie in procenten dat neerslag is waargenomen.Deze berekening voer je uit voor meerdere niveaux van de kansverwachting. Vervolgens maak je hiervan een grafiek waarin je de opgetreden fractie uitzet tegen de verwachte kans. Voor perfect betrouwbare kansverwachtingen verwacht je dan dat de punten in de grafiek op diagonaal van
0,0 naar 100,100 liggen. In de praktijk zullen de punten, als gevolg van het toeval, enigzins toevallig zijn verspreid rond die diagonaal. Belangrijk is daarbij dat er bij ieder kansviveau
een redelijk aantal verwachtingen beschikbaar is.
De verwachtingen van het KNMI worden in veelvouden van 10% worden gegeven. De verwachtingen worden dus verdeeld over 11 niveaux van 0 % tot en met 100%. Bij WeerOnline worden de verwachtingen fijnmaziger worden uitgegeven, namelijk in veelvouden van 5%. De verwachtingen worden dus verdeeld over 21 kansniveaux dus zijn er gemiddeld minder verwachtingen per kansniveau.
Een andere belangrijke aanvullende eigenschap is de Resolutie van de kansverwachtingen oftewel de mate waarin de verwachtingen spreiden over het interval 0% tot 100%. Als je bijvoorbeeld altijd de klimatologische kans verwacht krijg een perfect Betrouwbare verwachting maar de Resolutie is nihil. De Resolutie kun je beoordelen door de frequentieverdeling van de verwachtingen over de kansniveaux te presenteren. In de figuren hieronder worden de resultaten gepresenteerd van de kansverwachtingen voor de neerslag per etmaal. In totaal omvat de dataset ongeveer 2280 verwachtingen uit de periode december 2010 t/m november 2017. Op deze dagen waren alle verwachtingen van zowel het KNMI van dag 1 t/m 6 als alle verwachtingen van WeerOnline voor dag 0 t/m dag 4, beschikbaar.
In de eerste vier grafieken hieronder presenteren we de resultaten van de neerslagkansverwachtingen voor dag 1, van respectievelijk de Meerdaagse en WeerOnline, voor de neerslag te De Bilt gemeten over het etmaal van 00UTC tot 24UTC. Bij de Meerdaagse wordt 0,3 mm gehanteerd als grens voor wel of geen neerslag bij WeerOnline is dat 0,1 mm.
Betrouwbaarheid, De Bilt, dag 1 van de Meerdaagse
Betrouwbaarheid, De Bilt, dag 1 van WeerOnline
Verdeling kansverwachtingen, De Bilt, dag 1 van de Meerdaagse
Verdeling kansverwachtingen, De Bilt, dag 1 van de WeerOnline
Bij de Meerdaagse zien we dat de kans op neerslag bij hoge kansen systematisch wordt onderschat en een verwachting van 10% geeft juist een overschatting van de kans. Bij Weeronline is veel minder het geval. Verder zien we bij de verdelingen van de verwachtingen over de kansniveaus dat Weeronine veel vaker hoge (>=95%) en lage (<=5%) kansverwachtingen geeft dan de Meerdaagse. De Resolutie van Weeronline is dus veel hoger.
In de volgende vier figuren worden overeenkomstige resultaten voor dag 4 gepresenteerd.
Betrouwbaarheid, De Bilt, dag 4 van de Meerdaagse
Betrouwbaarheid, De Bilt, dag 4 van WeerOnline
Verdeling kansverwachtingen, De Bilt, dag 4 van de Meerdaagse
Verdeling kansverwachtingen, De Bilt, dag 4 van de WeerOnline
Opvallend is nu dat de betrouwbaarheid van dag 4 van de Meerdaagse van het KNMI veel beter is. Verder zijn de verwachtingen meer geconcentreerd naar het midden. We kunnen deze eigenschappen van de kansverwachting ook getalsmatig vastleggen. We maken daarvoor gebruik van de zogenoemde decompositie van de Brierscore
De Totale onzekerheid bepaald wordt door de gemiddelde kans over de hele periode. De verwachting heeft hier geen invloed op.
De Betrouwbaarheid een maatstaf is voor de mate waarin de punten in de betrouwbaarheidsplot spreiden rond de ideale lijn. De betrouwbaarheid is altijd groter dan nul en dient dus zo klein mogelijk te zijn.
De Resolutie is een maatstaf voor de mate waarin de verwachtingen spreiden over het interval 0% tot 100% en dient dus zo groot mogelijkte zijn.
In de figuren hieronder zijn de vier maatstaven die van belang zijn bij de kansverwachtingen (de Brierscore, de Bias, de Betrouwbaarheid en de Resolutie) geplot als funcntie van de
Zichttijd in dagen de Meerdaagse van het KNMI en de verwachtingen van Weeronline. De overeenkomstige resultaten voor De Bilt en Eindhoven staan naast elkaar. NB: De Brierscore en overige grootheden worden meestal berekend op basis van kansen uitgedrukt in fracties op de schaal (0,1).
