Obiektywna weryfikacja prognoz...

Tytuł akcji „Ogólnopolska weryfikacja ...” jest trochę mylący. Obiektywna weryfikacja prognoz IMGW PIB w formie zaproponowanej przez redakcję portalu dlapilota.pl jest niemożliwa. Jest to raczej wyrażenie subiektywnej opinii użytkowników w oparciu o takie a nie inne doświadczenia związane z korzystaniem z usług tego dostawcy.

Jeśli chodzi o weryfikację prognoz to trudniejsze od prognozowania pogody jest jedynie ich weryfikowanie. Wynika to z wielu czynników. Subiektywnego doboru metody, braku obiektywizmu (kiedy np. weryfikuje się swoją pracę), czasem braku wiedzy, nakładania się błędów itd.

Nie ma prognoz prawdziwych tzn. takich, które sprawdzają się zawsze i w całości. Prognoza z góry zawiera w sobie element prawdopodobieństwa. Sam termin „prognoza” wywodzi się od greckiego słowa „prognosis” i oznacza przewidywanie na podstawie wiedzy czyli wydawania sądu na temat możliwości zajścia określonego zdarzenia w danym miejscu i w danej chwili. Sądu precyzyjnego i niepewnego zarazem.

Zgodnie z teorią prognoz jakość prognoz jest związana z pojęciem wartości prognostycznej, na którą składają się stosowany do prognozowania model oraz zasady prognozowania. Ocenę wartości prognostycznej dokonuje się przez analizę jakości prognoz. Z kolei jakość prognoz oceniana jest na podstawie analizy błędów prognoz. Błędy prognozy będące różnicą pomiędzy wartością prognozowaną a rzeczywistą stanowią o wartości miary trafności prognoz. (są to błędy o charakterze ex post: bezwzględne, względne, średni względny, średni kwadratowy).

Miarą dopuszczalności prognoz są z kolei błędy o charakterze ex ante. Prognoza jest dopuszczalna (czyli taka, której stopień niepewności jest akceptowalny), gdy pilot obdarza ją wystarczającym zaufaniem, aby na jej podstawie podjąć decyzję lecę/nie lecę. Błędy te są wartościami przybliżonymi, oszacowaniami. Służą do oceny dokładności prognoz.

Dość łatwo z pozoru jest opisać prostą weryfikację prognozy jednego, konkretnego zjawiska, które wystąpi lub nie. Może to być na przykład prognoza burzy, która ma wystąpić w określonym miejscu i czasie. W celu weryfikacji najprościej jest posłużyć się tabelą sprawdzalności przypisującej poszczególnym scenariuszom konkretne wartości liczbowe.

Zgodnie z tabelą są możliwe cztery sytuacje:
a) zjawisko jest prognozowane i występuje zgodnie z prognozą;
b) zjawisko jest prognozowane i nie występuje;
c) zjawisko nie jest prognozowane i występuje;
d) zjawisko nie jest prognozowane i nie występuje.

Każdemu scenariuszowi przypisujemy określoną wartość i na tej podstawie możemy obliczyć kilka parametrów (PC, H, FAR, TS, B) pozwalających na ocenę prognozy.

Parametr PC (Percent Correct) opisuje w procentach ile prognoz jest trafnych.

PC = (a+d)/n

Wartość PC zmienia się od zera - dla błędnej prognozy, do jednego - dla prognozy, która się sprawdziła. PC nie jest użyteczny dla zjawisk występujących stosunkowo rzadko, np. ostrzeżeń o niebezpiecznych zjawiskach pogody. Występuje dla nich wysoka częstotliwość przypadku d) czyli nie prognozowane/nie występuje. Daje to wysoką wartość PC, która wprowadza w błąd.

Parametr H (Hit Rate) odnosi się do tej części obserwowanych zjawisk, które zostały zaprognozowane prawidłowo.

H = a/(a+c)

Czasem jest opisywany jako POD (Probability of Detection). Jego wartość waha się od 0 – dobry wynik, do 1 – zły wynik.

Parametr FAR (False Alarm Ratio) opisuje tą część prognoz o wystąpieniu zjawiska która się nie sprawdza czyli tzw. fałszywe alarmy. Jest obliczany ze wzoru:

FAR = b/(a+b)

Jego wartość zmienia się od zero – dobry wynik do – słaby wynik.

Parametr TS (Threat Score) lub CSI (Critical Success Index) łączy dwa wcześniejsze H i FAR w jeden dla zjawisk rzadko występujących. Jest obliczany ze wzoru:

TS = CSI = a/(a+b+c)

Jego wartość zmienia się od zero – słaby wynik do jeden – dobry wynik.

Opisane wyżej parametry CSI, POD i FAR są rekomendowane do weryfikacji np. intensywnych burz.

Parametr B (Bias) porównuje liczbę prognoz zjawiska z liczbą jego obserwacji.

B = (a+b)/(a+c)

Jeśli B=1 zjawisko było prognozowane tyle samo razy co obserwowane.
Jeśli B>1 zjawisko było prognozowane częściej niż obserwowane.
Jeśli B<1 zjawisko było prognozowane mniej razy niż obserwowane.

Sytuacja się komplikuje jeśli przychodzi ocenić coś bardziej skomplikowanego - np. prognozę obszarową albo prognozę TAF z wskaźnikiem PROB. Dwuwymiarowa tabela sprawdzalności już wtedy nie wystarcza.

Metody statystyczne są niebezpiecznym narzędziem. Wybór konkretnej metody weryfikacji czy nawet wskaźnika, za pomocą którego staramy się dokonać oceny, powinien być dostosowany do prognoz, które zamierza się weryfikować. Dobrym, podręcznikowym wręcz, przykładem jak można poprawić rzeczywistość są tzw. Prognozy tornad Finleya. John Finley był sierżantem w U.S. Army Signal Service w latach 80 XIX wieku. Opracował on 2803 prognozy tornad dla 18 regionów na wschód od Gór Skalistych. Tabela sprawdzalności dla jego prognoz wygląda następująco:

Na podstawie tych danych, wyliczone wskaźniki to: PC = 0.966; H = POD = 0.549; FAR = 0.720; TS = CSI = 0.228; B = 1.96 .

Widać wyraźnie, że PC nie jest dobrym wskaźnikiem do weryfikacji prognoz tornad. Z wyliczeń wynika, że prognoza była dobra dla 96,6 procent przypadków. Aczkolwiek 95,6% z nich było możliwe dzięki nie prognozowaniu ich wystąpienia. Wskaźnik POD w wysokości 54,9% odzwierciedla raczej stan wiedzy meteorologicznej pod koniec XIX wieku, ale FAR o wartości 72,0% jest stanowczo za wysoki. Wskaźnik B mówi o „przeładowaniu” przypadków prognozowania wystąpienia tornad.

Można dla celów poglądowych zmodyfikować dane tak, aby wynikało z nich, że Finley ani razu nie prognozował wystąpienia tornad.

W tym przypadku wskaźniki mają wartość: PC = 0.982, H = POD = 0, FAR = 0, TS = CSI = 0.018, B = 0. Czyli: gdyby Finley ani razu nie zaprognozował tornad, to miałby dużo mniej pracy i dużo lepszą statystykę, bo PC wzrośnie w takim przypadku aż do 98,2%.

Można samemu pokusić się o weryfikację prognoz. Można też skorzystać z gotowych opracowań wykonanych przez IMGW PIB. Jest tylko jedno „ale”. Trudno znaleźć oficjalną informację o tym w jaki sposób otrzymano wyniki weryfikacji prognoz przedstawione w sprawozdaniu rocznym za rok 2010 opublikowanym w Dzienniku Urzędowym ULC nr 21 i co tak naprawdę oznacza w tym przypadku sprawdzalność.

Niestety wynika z niego też, że sprawdzalność jest oceniana wyłącznie dla prognoz TAF i TREND. Nie ma żadnej informacji o ocenie sprawdzalności innych produktów IMGW PIB (AIRMET, SIGMET, GAMET, SWC itd.). Zwraca uwagę również fakt, że sprawdzalność prognoz warunków trudnych, czyli widzialności poniżej 800 m, wielkości zachmurzenia oraz wysokości podstawy chmur do 300 m, nie spełnia wymagań określonych przez ICAO w Załączniku 3 „Służba meteorologiczna dla międzynarodowej żeglugi powietrznej”.

Bogdan Bartosik