Terug naar TX-menu
Dag 1 in detail

De resultaten die in deze paragraaf worden getoond zijn gebaseerd op de data uit de periode 15 oktober 2016 tot en met 14 oktober 2020. We splitsen deze dataset in data uit het koude halfjaar (KS=15 oktober t/m 14 april) en het warme halfjaar(WS). We verifiëren de verwachtingen van het weerbureau Weeronline(WOL) en van het KNMI voor de locatie Utrecht tegen de waarnemingen uit De Bilt. Overeenkomstige verwachtingen voor Eindhoven worden geverifieerd tegen waarnemingen uit Eindhoven. We gebruiken bij deze verificatie alleen die dagen waarvoor de beide verwachtingen beschikbaar zijn.
We zullen eerst enkele diagnostische grafieken tonen die de gebruiker gevoel kunnen geven voor de karakteristieken van de verwachtingen. We zullen daarbij zowel voor de verwachtingen als de waarnemingen uitgaan van de afwijking van de dagnormaal (zie elders op deze site) We duiden daarbij de waarneming aan met dWng en de verwachtingen met dWOL respectievelijk dKNMI. We doen dat om de jaarlijkse gang die bij die grootheden (waarneming en verwachting) aanwezig is eruit te halen. We kunnen dan beter beoordelen of het om extreme waarnemingen en/of verwachtingen en de verificatie heeft dan alleen betrekking op de 'weer' component en niet op de jaarlijkse gang.

SCATTERPLOTS van OPGETREDEN versus VERWACHT

Een heel bekende methode om een eerste indruk te krijgen van de kwaliteit van een verwachting is gebaseerd op het scatterdiagram. In zo'n diagram zetten we op de x-as de verwachting uit, dWOL of dKNMI, en op de y-as wordt de waarneming dWng uitgezet. Op het kruispunt zetten we een marker (bijvoorbeeld een + of *). We krijgen dan een wolk van punten die als de verwachting zeer goed is bijna een rechte lijn volgen. Als de verwachting minder goed is krijg je een wolk van punten. In de diagrammen hieronder zijn zowel de verwachtingen van Weeronline als van het KNMI uitgezet op de x-as. Op de y-as staat de waarneming uitgezet. We krijgen dan twee puntenwolken omdat bij iedere waarneming twee verwachtingen beschikbaar zijn.

SCAT-De Bilt-KS (EH)
SCAT-De Bilt-WS (EH)



Klikken op het onderschrift toont de figuur in een nieuw groter venster.
Klikken op EH, toont de overeenkomstige figuur voor Eindhoven.
Zoals we zien clusteren de verwachtingen van beide providers rond de diagonaal die de perfecte verwachting representeerd. Wel zien we dat het KNMI vaak wat verder van de diagonaal ligt. De verwachtingen van het KNMI zijn dus vaker iets slechter dan die van Weeronline. Daarnaast zien we in het koude seizoen dat de plots, bovenaan, iets links van de diagonaal komen te liggen,dat zou er op duiden dat de hoogste dTX in de winter iets worden onderschat.


KANSVERDELINGEN van VERWACHTINGEN en WAARNEMINGEN

Een belangrijk aspect voor de kwaliteit van de verwachtingen is de klimatologische verdeling van verwachtingen. Bij voorkeur moet de kansverdeling van de verwachtingen lijken op de kansverdeling van de waarnemingen. Met behulp van de 'Density tool' uit het statistisch pakket R hebben we kansdichtheidsfunties gemaakt voor zowel de waarnemingen (dWng) als de verwachtingen dWOL en dKNMI. Deze kansfuncties zijn weergeven in onderstaande figuren.
Density, DB, KS (EH)
Density, DB, WS (EH)

Een andere manier om verdelingen te vergelijken maakt gebruik van de quantile-quantile plot. Voor deze plot ordenen zowel dWng als dWOL en dKNMI onafhankelijk van elkaar naar grootte. Vervolgens worden de dWOL, dKNMI geplot tegen de dWng van dezelfde rang. Idealiter liggen, bij gelijke kansverdelingen, alle plots op een rechte lijn van rechtsonder naar linksboven.

Normaal is een QQ-plot opgebouwd met markers. Omdat we hier twee plots door elkaar hebben is gekozen voor lijnstukjes tussen opeenvolgende plots.

QQ-TX-DB-KS (EH)
QQ-TX-DB-WS (EH)


In ieder geval liggen de plots in bovenstaande figuren niet op de mooie rechte lijn die we zouden willen hebben. De afwijkingen van de rechte lijn zijn echter moeilijk te zien. Ook de verschillen tussen de verwachtingen onderling zijn moeilijk detecteerbaar.In de figuren hieronder zijn de plots gekanteld door van de verwachtingen de ,in rang, overeenkomstige waarneming af te trekken.
dQQ-TX-DB-KS (EH)
dQQ-TX-DB-WS (EH)



In bovenstaande figuren zien we duidelijk dat in het koude seizoen bij het KNMI en bij Weeronline de verwachtingen onder normaal bij gegeven onderschrijdingskans iets te hoog zijn. Verwachtingen boven de normaal zijn bij gegeven onderschrijdingskans juist iets lager. De overgang bij de normaal is vrij abrupt.

KANSVERDELING van de FOUTEN

In de volgende figuren tonen we Qnorm-plots van de fouten in de verwachtingen. In dergelijke plots worden de geordende berekende fouten in de verwachting geplot tegen de bij die rang horende kwantielwaarde uit de normale (Gauss) verdeling. Als de verdeling van de fouten lijkt op de normale verdeling dan liggen de plots op een rechte lijn waarvan de helling wordt bepaald door de spreiding van de fouten. De bias maakt dan dat de rechte lijn niet door de oorsprong gaat.
Qnorm-TX-DB-KS (EH)
Qnorm-TX-DB-WS (EH)

We zien in deze figuren dat met name in de range van de kleine fouten de verdeling van de fouten aardig past bij de normale verdeling.


FOUT versus VERWACHTING
In deze paragraaf willen nagaan of er een relatie is tussen dWOL(dKNMI) en de BIAS en de SPREIDING van de fout in de verwachtingen. We presenteren daarvoor een scatterdiagram van eWOL versus dWOL en van eKNMI versus dKNMI.
TREND-TX-DB-KS (EH)
TREND-TX-DB-WS (EH)
Zoals we in deze plaatjes zien is er lichte samenhang tussen dWOL(dKNMI) en eWOL(eKNMI). De regressielijnen geven aan dat er een lichte trend is in de Bias maar de verschillen zijn te klein om van praktisch nut te zijn. Of de spreiding van de fouten eventueel afhangt valt uit deze figuren niet op te maken. Wel zou je eventueel kunnen concluderen dat dicht bij de normaal de hoogste spreiding optreedt. Dat kan echter het gevolg zijn van het feit dat de meeste verwachtingen in de buurt van de normaal liggen. We hebben daarom op basis van deze gegevens een soort van samenvatting gemaakt. We hebben daartoe de range van verwachtingen, naar grote, opgedeeld in 7 vakken die ieder ongeveer 100 verwachtingen bevatten. Binnen die vakken hebben we de spreiding en bias van de bijbehorende fouuten berekend. De resultaten hebben we vastgelegd onderstaande figuren. De spreiding (en bias) behorend bij een vak is in die figuren geplot tegen de gemiddelde verwachting in zo'n vak.
SUMMARY-TX-DB-KS (EH)
SUMMARY-TX-DB-WS (EH)
Het kijkt er op dat in het koude seizoen de spreiding van de fout licht toeneemt naarmate de verwachting verder onder de normaal is. In het warme seizoen neemt de bias bij lage verwachtingen toe.

VERIFICATIE RESULTATEN
Tot slot worden in onderstaande tabellen de gebruikelijke cijfermatige verificatie resultaten gepresenteerd voor zowel De Bilt als Eindhoven en gesplitst naar data uit het koude seizoen en uit het warme seizoen. De meeste omschrijvingen in die tabellen zijn bekend. Bij de omschrijvingen 'Te laag' respectievelijk 'Te hoog' wordt het relatieve aantal verwachtingen die meer dan 3,5 graden fout zijn, gegeven.

Verificatie cijfers voor De Bilt.
Koude seizoen (725 dagen) Warme Seizoen (728 dagen
WOL KNMI WOL KNMI
Bias 0,111 -0,479 -0,114 -0,233
Spreiding 1,21 1,24 1,16 1,31
MAE 0,92 1,04 0,87 1,02
TRF(%) 91,6% 90,1% 94,1% 90,1%
Te laag 0,28% 1,10% 0,27% 0,41%
Te hoog 0,97% 0,69% 0,55% 0,96%

Verificatie cijfers voor Eindhoven.
Koude seizoen (721 dagen) Warme Seizoen (728 dagen)
WOL KNMI WOL KNMI
Bias 0,079 -0,562 -0,098 -0,278
Spreiding 1,29 1,40 1,31 1,51
MAE 0,96 1,16 0,97 1,17
TRF(%) 90,2% 86,5% 89,8% 87,4%
Te laag 0,55% 1,39% 0,27% 1,10%
Te hoog 1,11% 1,25% 1,65% 2,47%