Materiały doradcze ULC ws. wskaźników bezpieczeństwa - niezależna ocena

MATERIAŁY DORADCZE ULC WS. WSKAŹNIKÓW BEZPIECZEŃSTWA SPIS - CZĘŚĆ I – COŚ MI TU NIE GRA?

Od dawna nosiłem się z zamiarem przeprowadzenia analizy merytorycznej wydanego przez Biuro Zarządzania Bezpieczeństwem w Lotnictwie Cywilnym (LOB) w ULC dokumentu pt. „Materiał doradczy, Wskaźniki Poziomu Bezpieczeństwa (SPIs). Ostatnia publikacja na stronie ULC (LINK) (aktualizacja strony z 23.06.2022 r.). Wcześniejsza wersja tego Materiału była opublikowana w 2021 r. a jeszcze wcześniej, bo w 2018 r. ULC „powiesił” na swojej stronie prezentację z warsztatów SMS pt. „Określanie i monitorowanie wskaźników bezpieczeństwa SPI w małych podmiotach”.

W 2017 r. ULC opracował i opublikował na swoich stronach internetowych „Podręcznik klasyfikacji kategorii zdarzeń lotniczych (tzw. „Occurrence Category”) wg systematyki ICAO ADREP oraz ECCAIRS 5 dla organizacji lotniczych, zgodny z wymogami Rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 376/2014”, gdzie zdefiniowano 38 rodzajów zdarzeń wraz ze szczegółowymi opisami warunków zakwalifikowania danego zdarzenia do określonej kategorii i przypisanymi im akronimami.

ULC opracował też szablony i wymaga od podmiotów lotniczych składania kwartalnych sprawozdań z uzyskanych wskaźników SPIs adresowanych do 5 obszarów (ADR, ATO, OPS, AHAC i ATM), a każdy z podmiotów składających sprawozdanie z danego obszaru ma wyznaczony w tych szablonach zestaw wskaźników SPIs, (OPS np. 28, ADR 24, a dla ATM/ANS tylko 8), przy czym w pewnej ich części wyznaczone tym podmiotom zestawy SPIs powtarzają się, różniąc się tylko miejscem ich wykrycia, czyli składającym sprawozdanie.

Obszary SPIs zdefiniowane w szablonach kwartalnych sprawozdań SPIs dla ULC (okresowo aktualizowane) odnoszą się do 5 grup (obszarów operacyjnych), (ADR, ATO, OPS, AHAC i ATM), a w Materiałach ULC i w „Podręczniku klasyfikacji kategorii zdarzeń lotniczych” oraz w Krajowym Planie Bezpieczeństwa (2022 – 2025) mamy tych grup 7 (SMS, OPS, ADR, AHAC, CAMO, ATM/ANS i ATO). Wobec lawinowo rosnącej liczby operacji sugeruje wprowadzić tu nowa grupę UAS (dla i SPEC i LUC). W ULC powołano do tego specjalny departament więc będą mieli się czym zająć.

Na podstawie tych sprawozdań SPIs, ULC okresowo publikuje Załącznik B do Krajowego Planu Bezpieczeństwa (KPB) (ostatni za okres od stycznia 2020 do końca czerwca 2022 r.), gdzie prezentuje i analizuje wskaźniki nie tylko te zdefiniowane w „Podręczniku klasyfikacji kategorii zdarzeń lotniczych”, ale też i wiele innych, których tam nie ma, odnosząc je przy tym do 5 grup, a nie do 7, jak w KPB i w Materiale ULC (brak SMS i OPS). Dodatkowo struktura zagrożeń podzielona jest na obszary: systemowy (globalny GASP), obszar zagrożeń europejskich (EPAS) oraz obszar krajowy (KPB).

Chcąc upewnić się, czy czegoś nie poplątałem wszcząłem poszukiwania „Sprawozdania Prezesa ULC o stanie bezpieczeństwa lotnictwa cywilnego za rok 2021”, którego sporządzenie jest jego obowiązkiem ustawowym (art. 135b, ust 5 ustawy Prawo lotnicze). Za lata 2017 – 2020 sprawdzania są, a za rok 2021 ciągle nie ma, choć zaraz będzie rok 2023. Na szczęście, przepisy Działu XI i XII ustawy nie przewidują za to zaniechanie dla Prezesa ULC żadnych sankcji. Szkoda, bo jak widać, bezkarność szkodzi systemowi.

Zajrzałem więc do Sprawozdania Prezesa za rok 2020, a tam podział na rodzaje operacji lotniczych jest jeszcze trochę inny niż w Załączniku B do KPB. Uwzględniono w nim między innymi kluczowe obszary ryzyk z rozporządzenia nr 2020/2034 ws ERCS oraz podział na operacje NCC, NCO, SPO(HR), szybowce i balony, a także UAS oraz wpływ czynnika ludzkiego (HF) na bezpieczeństwo operacji lotniczych, a wszystko to jest opatrzone bardzo rzeczowymi komentarzami i objaśnieniami. Porównano też wybrane wskaźniki bezpieczeństwa w Polsce z uzyskanymi w państwach EASA. Świetnie zrobiony, profesjonalny i kompletny materiał poznawczy dla podmiotów SMS. Widać ogrom pracy włożonej w te sprawdzania roczne Prezesa ULC. Gorąco polecam, szkoda tylko że to dobre właśnie się skończyło. No i że nie jest dostępne w j. angielskim, bo naprawdę jest się czym pochwalić.

Z czystej ciekawości znalezienia jeszcze więcej danych o stanie bezpieczeństwa polskiego lotnictwa cywilnego zajrzałem do „Rocznego sprawozdania z działalności Polskiej Agencji Żeglugi Powietrznej za 2020 rok” (opublikowane w grudniu 2021 r.), ale tam takich danych nie znalazłem.

Materiały ULC skupiają się na pokazaniu sposobu obliczania wartości wskaźnika SPI i progów alarmowych przy pomocy arkusza Excel, co dziś jest umiejętnością dość powszechną, a nie na metodologii projektowania spójnego systemu zarządzania (SMS) opartego o wskaźniki.

Zwięzłe opisy procesu definiowania i kategoryzowania wskaźników, aczkolwiek systemowo poprawne, nie wystarczają dla poprawnego zaprojektowania oraz wykorzystania kompletu wskaźników bezpieczeństwa (SPTs, SPIs i ALoSP), które są kluczowe dla skuteczności działania całego systemu w kontekście podejmowanych działań redukujących przyczyny i skutki ryzyka.

Jak widać problem konstruowania wskaźników SPIs, a także nierozerwalnie z nimi związanych wskaźników SPTs i ALoSP dla kolejnych poziomów (Tier) jest dużo bardziej złożony niż ULC nam to przedstawia w tych Materiałach.

Biorąc pod uwagę, że w AMC & GM do rozporządzeń unijnych (1178/201 i 965/2012, Części ORA/ORO.GEN.200, 139/2014 Część ADR.OR.D.005 i 2016/1377 Część ATM/ANS.OR.B.005) nie ma żadnych wytycznych dot. zasad projektowania wskaźników bezpieczeństwa, sugerowałbym ULCowi, aby śmielej skorzystał z ICAO Doc 9859 (wydanie III i IV) i w tych Materiałach napisał wprost, że: „Szczegółowe wytyczne ws. zarządzania bezpieczeństwem w organizacjach lotniczych, w tym zasady projektowania, zarządzania i wykorzystywania wskaźników bezpieczeństwa (SPTs, SPIs i ALoSP) podane są w Wytycznych Prezesa ULC w sprawie wprowadzenia do stosowania wymagań ustanowionych przez Organizację Międzynarodowego Lotnictwa Cywilnego (ICAO) – Doc 9859 (Dz. Urz. ULC 2015, poz. 66, oraz Dz. Urz. ULC 2020, poz. 48)”.

A teraz pytanie za 100 punktów, czy podmiot SMS może sobie sam wybrać dowolną, ale osadzoną w statystyce metodę projektowania i monitorowania wskaźników SPIs, SPTs i ALoSPs, czy też musi stosować metodologię podaną w Materiale ULC? Pytam o to w kontekście korzystania przez podmiot SMS z platform informatycznych, gdzie algorytmy obliczeń z reguły nie są znane użytkownikowi ? Różne mogą też być i zazwyczaj są, definicje, kategorie i modele rejestrowania, segregacji i agregowania zdarzeń, zagrożeń i ryzyk, choć niektóre platformy dają użytkownikowi pewną możliwość definiowania własnych katalogów.

To byłoby tyle moich uwag o charakterze ogólnym i zajmijmy się teraz bardziej szczegółową analizą „Materiałów doradczych ULC, Wskaźniki poziomu bezpieczeństwa SPIs (wydanie 2021)”.

Krok 1 – Wyliczenie wartości wskaźnika SPI na 1000 operacji dla każdego miesiąca (na przykładzie wskaźnika SPI dla zdarzeń oznaczonych akronimem SCF-NP – Awaria lub niewłaściwe funkcjonowanie systemu/podzespołu (nie napędowego). Współczynnik wagowy dla tego wskaźnika ustawiono na 1000 (tysiąc) operacji. Wartość wskaźnika dla poszczególnych miesięcy wyliczana jest wg. wzoru podanego na str. 4 i w rzędzie 18 tabeli dla kroku 1 (SPI = liczba zdarzeń / liczbę operacji * 1000).

Na podstawie tego wzoru i danych wprowadzonych do tabeli w kroku 1 (str. 5, kolumny B i C) ULC obliczył wartości wskaźnika SPI (przykładowo SCF-NP) osobno dla każdego miesiąca, ale wyniki tych obliczeń wpisał w tabeli tylko od stycznia do miesiąca czerwca, a dalej jest pustka.

Krok 2 – Wyliczenie średniej wartości wskaźnika SPI dla 12 miesięcy (dla tego samego wskaźnika SCF-NP).

W tabeli dla tego kroku ULC uzupełnił brakujące wartości miesięcznych wskaźników SPI na 1000 operacji do końca rocznego cyklu monitorowania. Wprowadził też nową kolumnę (E) opisaną jako „średnia”, a w rzędzie 19 zdefiniowano, że ta średnia obliczana jest z liczb podanych w kolumnie D 4 do D15, czyli jest to średnia całoroczna, obliczana z comiesięcznych wartości wskaźnika SPI dla SCF-NP na 1000 operacji. Z tych obliczeń ULCowi wyszła średnia całoroczna 9,16 i taką wartość wpisał do tej tabeli w kolumnie E16. Chciałbym jednak zauważyć, że wpisana przez ULC średnia roczna wskaźnika SPI = 9,16 jest chyba błędna, bo moje przeliczenie tej średniej dla tych samych liczb których użył ULC (kolumna D 4 do D15) dało wynik 9,61 i nie wiem czym tę różnicę można wytłumaczyć ? Nie byłoby w tym jeszcze niczego złego dla objaśnienia samej metody, gdyby ta średnioroczna wartość wskaźnika SPI została wpisana tylko w rzędzie 16 kolumny D, skoro dotyczy ona liczb właśnie z tej kolumny, ale wpisanie całorocznej średniej SPI osobno w rzędach dla kolejnych miesięcy jest już moim zdaniem błędem, tym bardziej, że chyba nie da się obliczyć średniej z jednej liczby ?

Monitorowanie stanu systemu zarządzania bezpieczeństwem oparte o średnią całoroczną danego wskaźnika SPI jest dla podmiotów prowadzących operacje lotnicze zbyt ryzykowne, gdyż w ich własnym interesie muszą podejmować decyzje ws. bezpieczeństwa niemal w czasie rzeczywistym, a nie dopiero po uzyskaniu średniej SPI z całego roku. A ponadto, przecież dane zbieramy za każdym razem, kiedy monitorowane zdarzenie zostanie ponownie zgłoszone w systemie obowiązkowym lub dobrowolnym albo wykryte podczas audytów lub inspekcji, więc co stoi na przeszkodzie, aby śledzić i reagować decyzyjnie po każdym przeliczeniu każdej nowej wartości monitorowanego wskaźnika SPI, szczególnie, że każdy nowy wpis w tabeli kroku 1 (kolumny B i C), czy to liczby operacji czy też zgłoszonych zdarzeń w danym miesiącu automatycznie skutkuje zmianą wartości wskaźnika SPI, a to z kolei wpływa na każdą obliczoną z tych danych średnią.

Myślę, że ULC powinien zaproponować podmiotom SMS zasady wprowadzania i usuwania wskaźnika SPI z zakładowej listy monitorowania (aspekt standaryzacji), którą te podmioty powinny okresowo weryfikować, nie tracąc z pola obserwacji wyników historycznych.

Krok 3 – Odchylenie standardowe – pozwala policzyć jak szeroko wartości miesięczne naszego SPI są rozrzucone wokół średniej rocznej.

Wpisane tu wartości wskaźników SPI na 1000 operacji dla kolejnych miesięcy (kolumna D4 do D15) są obliczone zgodnie wzorem dla wartości odchylenia standardowego dla populacji oznaczonego symbolem [σ] (sigma) (tabela dla Kroku 3, rząd 21). Wartość odchylenia standardowego [σ] (sigma) dla danych ULC wpisana w tej tabeli (E17) wyniosła 2,78. Mylącym jest to, że wartość odchylenia [σ] została wpisana w kolumnie E „średnia”, a nie w kolumnie D, z której pobrano dane do jej obliczenia.

Moją uwagę zwróciło tu wyraźne adresowanie tych Materiałów ULC do podmiotów SMS prowadzących operacje lotnicze (CAT) o dużej skali intensywności. Świadczą o tym przyjęte w przykładzie liczby operacji i zdarzeń z których wyliczono wartość wskaźnika SPI. Operacje NCC, NCO czy też ATO mają zdecydowanie niższą intensywność. Podobne dysproporcje występują pomiędzy np. Okęciem czy Balicami, a małymi lotniskami regionalnymi z zaledwie kilkudziesięcioma operacjami w tygodniu.

Nie twierdzę, że ULC usiłuje nas przekonać, że liczba operacji i zdarzeń (próbek) nie czyni żadnej różnicy dla obliczeń SPI z 10 czy 100 krotnie mniejszej próbki pozyskanej od podmiotów operujących na 2 – 3 statkach w operacjach o niskiej intensywności lub silnymi wpływami sezonowości, tylko że w tym Materiale ULC nie zwraca naszej uwagi na ten czynnik, który może znacząco wpłynąć na wynik i wnioskowanie. Literatura przedmiotu wyraźnie ostrzega, że w przypadku małych próbek, zwłaszcza dość mocno zróżnicowanych, a z tym mamy do czynienia w małych organizacjach, zmiana wielkości populacji może znacząco zmienić wynik tego równania. Z ciekawości przeprowadziłem dwie symulacje obliczeń wartości wskaźnika SPI dla mniejszej liczby operacji i zgłoszonych zdarzeń i otrzymałem wyniki, które tę tezę zdecydowanie potwierdzają, bo w jednej z nich otrzymałem średnią SPI = 60,5 a odchylenie standardowe [σ] (sigma) wyszło mi 139,05.

A teraz przejdźmy do nieco bardziej skomplikowanych problemów (tabele na str. 7).

Krok 4 – Pierwszy poziom alarmowy – koncepcja zakłada, że sytuacja wymaga naszej uwagi, kiedy odchylenia od średniej przekraczają wartości standardowe. I poziom alarmowy to nic innego jak suma średniej i odchylenia standardowego.

Krok 5 – pierwszy i drugi poziom alarmowy – każdy z nich to suma kolejnego odchylenia standardowego, zatem II poziom alarmowy to suma średniej i dwukrotności odchylenia standardowego, a III poziom alarmowy to suma średniej i trzykrotności odchylenia standardowego.

Zacznę od drobiazgów – po pierwsze, nie rozumiem dlaczego metodę obliczania „poziomów alarmowych” rozbito na dwie osobne tabele (krok 4 i krok 5), skoro w tej drugiej (krok 5) powtórzono te same dane i obliczenia dodając dwie nowe kolumny (G i H) ?

Po drugie sugeruję, aby wieloznaczne pojęcie „poziomy alarmowe” rozróżniane rzymskimi liczbami porządkowymi (I, II i III) zastąpić pojęciem „progi decyzyjne” i odpowiednio nazywać je progami: „OSTRZEGANIA”, „INTERWENCJI” oraz „ALARMOWYM”, bo takie właśnie są cele i skutki decyzyjne przekroczeń kolejnych poziomów (progów) monitorowanego wskaźnika SPI powiązanego ze wskaźnikiem ALoSP. I zupełnie mi przy tym nie przeszkadza, że w podręczniku ICAO 9859 (III) użyto pojęcia „alert level”, które ULC słusznie przetłumaczył jako „poziom alarmowy”, ale w wydaniu IV nazwano je „safety triggers”, które ULC przetłumaczył dość oryginalnie jako „czynniki uruchamiające bezpieczeństwo”, cokolwiek by to miało znaczyć.

Mogę zaproponować tu patent, w którym kolejne progi decyzyjne zostaną powiązane z liczbą i ciężkością zdarzeń i tak np. dla progu OSTRZEGANIA byłoby to 3-krotne powtórzenie zdarzenia o niskiej dotkliwości, a dla uruchomienia progu INTERWENCJI wystarczy 2-krotne powtórzenie się zdarzenia, np. dwu o małej, albo jednego o małej a drugiego o dużej dotkliwości. Próg ALARMOWY startowałby już po pierwszym zdarzeniu o dużej dotkliwości. Teraz trzeba już tylko określić liczbowo lub jakościowo parametry (wartości) dotkliwości i algorytm gotowy.

Wzory do obliczania „poziomów alarmowych” (I, II i III) ULC podał w tabelach kroków 4 i 5 (średnia roczna (9,16) + wielokrotność (1, 2 lub 3) odchylenia standardowego [σ] (sigma) = 2,78, otrzymując odpowiednio wartości poziomów alarmowych (I = 11,93, II = 14,71 i III = 17,49. Wzory te są tożsame z wzorami podanymi w ICAO Doc 9859 (III), Tabela 5-A6-5. Co jednak zwróciło moją uwagę, to że dla I progu alarmowego ULC wpisał w tabelach (na str. 5, kolumna F), sumę 11,93, a zazwyczaj dwie liczby parzyste dają sumę parzystą, więc sobie to sam policzyłem i wyszło mi (9,16 + 2,78 = 11,94). Biorąc pod uwagę, że rzeczywista (obliczona) wartość średniej rocznej dla monitorowanego wskaźnika SPI była 9,61 to otrzymamy 9,61 + 2,78 = 12,39. No i tradycyjnie wartości kolejnych poziomów alarmowych wpisano osobno dla każdego miesiąca, nie zważając na to, że są to liczby odnoszące się do średniej całorocznej, a nie do wyników miesięcznych. Konsekwentnie taka metoda zapisu jest powtórzona w następnej tabeli, a ja konsekwentnie będę twierdził, że taka forma zapisu wprowadza czytelnika w błąd.

A z tak zwanych drobiazgów redakcyjnych, to chciałbym tylko zapytać, że jeśli na str. 3 Materiałów ULC zdefiniował 3 poziomy wskaźników SPI, to dlaczego w szablonach tabel (str. 10 do 32) nie ma kolumny dot. wskaźników SPIs Poziomu 3, które zdaniem ULC „mogą odzwierciedlać informację o czynnikach wpływających na obszary systemu lotniczego mierzonego w SPIs rzędów 1 i 2 (Tier 1 SPIs i Tier 2 SPIs)” ?

Krok 6 – przygotowanie wykresu. Zaznaczamy dane od SPI do III poziomu alarmowego w tabeli i klikamy wykres liniowy.

Nie będę tu zabierał czasu na komentowanie tzw. technikali, ale sugerowałbym aby w Materiale ULC co najmniej zalecić skorzystanie normy międzynarodowej ISO 7870 – Karty kontrolne Shewharta, a sięgnięcie do zasad rządzących rozkładem normalnym Gausa też nie byłoby błędem.

No to – ekonometrysta potrzebny od zaraz. Koniec części pierwszej.

Waldemar Królikowski

Objaśnienia użytych w tekście akronimów:

W większość akronimy użyte w tym artykule są objaśnione w recenzowanym Materiale doradczym ULC ws. wskaźników Bezpieczeństwa SPIs, niemniej jednak dla wygody czytelników zostały one powtórzone poniżej.

ADR – Lotnisko (Aerodrome)
AHAC – Certyfikat Agenta Obsługi Naziemnej (Aircraft Handling Agent Certificate)
ALoSP – Akceptowalny poziom stanu bezpieczeństwa (Acceptable Level of Safety Performance)
ANS – Służba ruchu lotnczego) (Air Navigation Service)
ATM –Zarządzanie ruchem lotniczym (Air Traffic Management)
ATO – Organizacja szkolenia lotniczego (Aviation Training Organization)
CAMO – Organizacja zarządzania ciągłą zdatnością do lotu (Continuing Airworthiness Management Organization)
CAT – Zarobkowy transport lotniczy (Commercial Air Transport)
ERCS – Europejski System Klasyfikacji Ryzyk (European Risk Classification System)
KPB – Krajowy Plan Bezpieczeństwa (State Safety Plan – SSP)
NCC – Niezarobkowe operacje przy użyciu skomplikowanych statków powietrznych z napędem silnikowym (Non-Commercial Air Operations With Complex Motor-Powered Aircraft)
NCO – Operacje niezarobkowe wykonywane przy użyciu statków powietrznych innych niż skomplikowane statki powietrzne z napędem silnikowym (Non-Commercial Air Operations With Other-Than Complex Motor-Powered Aircraft)
SMS – System zarządzania bezpieczeństwem (Safety Management System)
SPO – Niezarobkowe operacje specjalistyczne przy użyciu skomplikowanych statków powietrznych z napędem silnikowym (Specialised Operations)
SPO(HR) – Operacje SPO wysokiego ryzyka (High Risk Operations)
SPT – Wskaźnik celu (zadania) bezpieczeństwa (Safety Performance Target)
SPI – Wskaźnik stanu (wyniku) bezpieczeństwa (Safety Performance Indicator)
OPS – Operacje lotnicze (Operations)
UAS – Bezzałogowy system powietrzny (Unmaned Aircraft System)

Czytaj również:
Materiały doradcze ULC ws. wskaźników bezpieczeństwa SPIs. Część II – dla kogo są te materiały ULC?