Jak dziwna jest grupa wypadków lotniczych?

15

Oryginalne pytanie (7/25/14): Czy ten cytat z mediów informacyjnych ma sens, czy jest lepszy statystyczny sposób patrzenia na tempo ostatnich wypadków lotniczych?

Jednak Barnett zwraca również uwagę na teorię rozkładu Poissona, co oznacza, że krótkie przerwy między wypadkami są w rzeczywistości bardziej prawdopodobne niż długie.

„Załóżmy, że zdarza się średnio jeden śmiertelny wypadek rocznie, co oznacza, że prawdopodobieństwo wypadku w danym dniu wynosi jeden na 365”, mówi Barnett. „Jeśli nastąpi awaria w dniu 1 sierpnia, szansa, że następna awaria nastąpi następnego dnia 2 sierpnia, wynosi 1/365. Ale szansa, że następna awaria nastąpi 3 sierpnia, to (364/365) x (1/365) , ponieważ następna awaria nastąpi 3 sierpnia tylko wtedy, gdy nie nastąpi awaria 2 sierpnia. ”

„Wydaje się to sprzeczne z intuicją, ale wniosek bezwzględnie wynika z praw prawdopodobieństwa” - mówi Barnett.

Źródło: http://www.bbc.com/news/magazine-28481060

Wyjaśnienie (27.07.14): To, co jest sprzeczne z intuicją (dla mnie), mówi, że rzadkie zdarzenia zwykle zdarzają się w krótkim czasie. Intuicyjnie pomyślałbym, że rzadkie zdarzenia nie pojawią się w krótkim czasie. Czy ktoś może wskazać mi teoretyczny lub empiryczny oczekiwany rozkład czasu między zdarzeniami przy założeniu rozkładu Poissona? (To znaczy histogram, w którym oś y oznacza częstotliwość lub prawdopodobieństwo, a oś x to czas między 2 kolejnymi wystąpieniami pogrupowanymi w dni, tygodnie, miesiące lub lata lub podobne.) Dzięki.

Wyjaśnienie (7/28/14): Nagłówek sugeruje, że istnieje większe prawdopodobieństwo wystąpienia skupisk wypadków niż wypadków o dużej rozpiętości. Zoperacjonalizujmy to. Powiedzmy, że klaster to 3 wypadki lotnicze, a krótki okres to 3 miesiące, a długi to 3 lata. Nielogiczne wydaje się sądzenie, że istnieje większe prawdopodobieństwo, że 3 wypadki wystąpią w ciągu 3 miesięcy niż w ciągu 3 lat. Nawet jeśli weźmiemy pod uwagę pierwszy wypadek, nielogiczne jest przypuszczać, że kolejne 2 wypadki nastąpią w ciągu najbliższych 3 miesięcy, w porównaniu do następnych 3 lat. Jeśli to prawda, nagłówek mediów informacyjnych wprowadza w błąd i jest niepoprawny. Czy coś brakuje?

probability poisson-distribution

— Joel W.
źródło

1

Wyjaśnienie: pomocne może być rozróżnienie między prawdopodobieństwem , prawdopodobieństwem na jednostkę czasu i oczekiwaniami . Chociaż procesy opisujące rzadkie zdarzenia będą - praktycznie w znaczeniu „rzadkich” - długo oczekiwane odstępy między zdarzeniami, co nie jest niezgodne z prawdopodobieństwem na jednostkę czasu na początku. Niemniej jednak prawdopodobieństwo wystąpienia zdarzenia w krótkim czasie będzie bardzo małe.

— whuber

2

Właśnie zauważyłem ten artykuł w Wikipedii - może ci się spodobać. Aha, właśnie natknąłem się na ten plik pdf - konkretnie wspomina o „grupowaniu” wypadków lotniczych (i opisuje ten problem znacznie lepiej niż dotychczas ...).

— Steve S

1

@Glen_b: Wada w artykule prasowym (sugerowana w tytule artykułu, który jest tytułem mojego postu) polega na tym, że artykuł sugeruje, że istnieje większe prawdopodobieństwo wystąpienia określonej liczby (tj. Grupy) wypadków w krótki okres czasu niż dłuższy okres czasu. To jest po prostu złe.

— Joel W.,

1

@JoelW .: Jeśli to cokolwiek, to dziennikarz spieprzyłby ... W każdym razie, czy wszystko zostało wyjaśnione, czy nadal masz jakieś zastrzeżenia?

— Steve S

1

Domyślam się, że to statystycy wprowadzili dziennikarza w błąd. Wątpię, żeby dziennikarz popełnił sam błąd (ponieważ jest tak sprzeczny z intuicją).

— Joel W.,

3

Podsumowanie: Pierwsze zdanie w cytowanym akapicie BBC jest niechlujne i mylące.

Mimo że poprzednie odpowiedzi i komentarze stanowiły już doskonałą dyskusję, uważam, że odpowiedź na główne pytanie nie została zadowalająca.

Więc załóżmy, że prawdopodobieństwo katastrofy lotniczej w danym dniu jest i że wypadki są niezależne od siebie. Załóżmy dalej, że jeden samolot rozbił się 1 stycznia. Kiedy miałby nastąpić następny samolot? $p=1/365$

Cóż, wykonajmy prostą symulację: każdego dnia przez następne trzy lata losowo zdecyduję, czy inny samolot rozbił się z prawdopodobieństwem i zanotuję dzień następnej katastrofy; Powtórzę tę procedurę $p$ razy. Oto wynikowy histogram: $100\,000$

Rozkład zmiażdżenia samolotu, model

$\mathrm{Pr}(t) = (1-p)^t p$ $t$

$0.27\%$ $0.10\%$

$0.8\%$ $94\%$ Dlatego nawet przy monotonicznie malejącym rozkładzie prawdopodobieństwa z pewnością możliwe jest, że „klastry” (np. Dwie katastrofy lotnicze w ciągu trzech dni) są bardzo mało prawdopodobne.

Oto kolejny histogram, który naprawdę pokazuje ten punkt. Jest to po prostu suma poprzedniego histogramu dla kilku nieprzecinających się okresów:

Histogram częstotliwości zgniatania samolotu

— ameba mówi Przywróć Monikę
źródło

Czy mówisz, że profesor MIT się myli?

— Steve S,

1

Nie, cytat Barnetta w artykule BBC jest całkowicie poprawny. Ale jego interpretacja przez reportera BBC jest w najlepszym razie niechlujna: „Barnett zwraca również uwagę na teorię rozkładu Poissona, która implikuje, że krótkie przerwy między wypadkami są w rzeczywistości bardziej prawdopodobne niż długie” . Najbardziej naturalna interpretacja tego zdania jest całkowicie błędna (i przypuszczam, że Barnett nie chciał tego sugerować). Może powinienem wyrazić się bardziej precyzyjnie w mojej odpowiedzi. Czy jest jakaś istotna część mojej odpowiedzi, z którą się nie zgadzasz? Mam nadzieję, że nie, ponieważ całkowicie zgadzam się z twoją

— ameba mówi Przywróć Monikę

13

Reporter mówi, że przypadkowe wystąpienie katastrofy lotniczej można modelować jako proces Poissona - sytuacja, w której prawdopodobieństwo wystąpienia zdarzenia w pewnym (małym) przedziale jest proporcjonalne do długości tego przedziału i gdzie każde wystąpienie w Niezależny od wszystkich innych.

Czy to rozsądny model dla opisanego scenariusza?

Prawdopodobnie.

Jasne, te zdarzenia mogą nie być w 100% niezależne, ponieważ inni piloci prawdopodobnie zmienią swoje zachowanie (choćby nieznacznie) po wypadku. [Nie wiem - może kilku pilotów ćwiczy dodatkowe szkolenie na symulatorze lub coś w tym rodzaju]. Niemniej jednak założenie o niepodległości jest nadal całkowicie uzasadnione.

A co z grupami katastrof lotniczych?

Tak. Biorąc pod uwagę proces Poissona (lub nawet jakiś inny proces losowy), to byłoby oczekiwać, aby zobaczyć skupiska zjawisk.

W rzeczywistości, jak opisano w Oxford Dictionary of Statistics w swoim wpisie dla Poissona Process (który jest „matematycznym opisem losowości”):

[R]andomness usually gives rise to apparent clustering, despite the natural
expectation that randomness would lead to regularity.

Na przykład sprawdź ten prosty fragment kodu R :

set.seed(123)
x <- runif(500)
y <- runif(500)

plot(x, y, pch=20, col='blue', main="A Random Distribution of Points")

który produkuje:
Zwróć uwagę na zbicie?

Chociaż wiem że jest to działka losowych punktów, to coś w rodzaju wygląd jak istnieją pewne non bity -Random do niego - szczególnie w niektórych częściach wykresu istnieją skupiska punktów, podczas gdy inne części są szeroko otwarte. Jest to ten sam rodzaj zachowania, który artykuł próbuje opisać (tylko w przypadku danych szeregów czasowych, a nie przestrzenny) danych ).

AKTUALIZACJA:

@JoelW .: Powiedzmy na przykład, że prawdopodobieństwo katastrofy samolotu jutro (lub dowolnego dnia w tej sprawie) wynosi „ p ” (i, powiedzmy, „ p ” to mniej więcej 1 na sto).

Powodem, dla którego następna katastrofa samolotowa jest bardziej prawdopodobna jutro, niż częściej niż dokładnie za rok (tj. 26 lipca 2015 r. ), Jest to, że prawdopodobieństwo, że następna katastrofa nastąpi dokładnie za rok, wynosi:

= Prob(crash tomorrow) * Prob(365 days with *no* crashes)

Ma sens?

Ostatecznie, myślę, że powodem te rzeczy są sprzeczne z intuicją, ponieważ jest zazwyczaj, gdy myślimy o wyrażenie jak: "The odds of a plane crash in one month compared with the odds of one happening tomorrow". Oczywiście nie bierzemy pod uwagę 24-godzinnego okresu, który rozpoczyna się dokładnie za miesiąc. Zamiast tego my (lub przynajmniej ja) myślimy o tym bardziej, cóż, elastycznie . Więc więcej tak: a month ± a week. To i fakt, że zapominamy o uwzględnieniu prawdopodobieństwa awarii, która nie zdarza się w międzyczasie ... (Ale znowu, może to tylko ja ...).

Uff!

Dodatkowe zasoby:

Artykuł Wikipedii na temat iluzji klastrowej
Plik pdf, który konkretnie wspomina o „grupowaniu” katastrof lotniczych (na stronie 8) i krótko opisuje matematykę procesu Poissona .

— Steve S.
źródło

1

@Jel W .: Właściwie powinienem dodać więcej do tej odpowiedzi - daj mi kilka minut na edycję ...

— Steve S

7

Argument za opóźnieniem podróży jest taki sam, jak w starym żartie o tym, jak TSA znalazła statystykę z bombą na pokładzie samolotu. Pytany, aby wyjaśnić sobie, Statystyk, powiedział: „Dobrze, kursy jednej osoby posiadające bombę są małe, ale nie na tyle mała, dla wygody, ale szanse na dwóch ludzi o bombę są nieskończenie małe. Dlatego kiedy ja wnieść bombę, nie ma prawie nie ma szans, że będą dwie bomby i będziemy całkowicie bezpieczni. ”

— whuber

1

Twój żart ma rację, @whuber, ale wydaje się, że istnieje pewien logiczny rozdźwięk między stwierdzeniem, że „krótkie przerwy między awariami są bardziej prawdopodobne niż długie” a stwierdzeniem, że prawdopodobieństwo jutrzejszej awarii jest niezależne od tego, czy katastrofa wystąpił dzisiaj. Myślę, że prawdopodobieństwo może być sprzeczne z intuicją.

— Joel W.,

1

To, co jest sprzeczne z intuicją (dla mnie), mówi, że rzadkie zdarzenia zwykle zdarzają się w krótkim czasie. Intuicyjnie pomyślałbym, że rzadkie zdarzenia nie pojawią się w krótkim czasie. Czy jestem jedyny z tym intuicyjnym widokiem?

— Joel W.,

1

@ Steve S: Dziękuję za link. Jak wyglądałby rozkład wykładniczy dla przyjętej wartości w artykule prasowym (1/365)? W każdym razie być może rozkład wykładniczy nie odnosi się do nagłówka artykułu, co sugeruje porównanie prawdopodobieństwa wystąpienia określonej liczby zdarzeń w krótkim okresie czasu z prawdopodobieństwem wystąpienia takiej liczby zdarzeń w długim okresie .

— Joel W.

4

Jeśli liczba wypadków samolotu jest rozkładem Poissona (jak wydaje się on twierdzić), czas między wypadkami ma rozkład wykładniczy. Pdf rozkładu wykładniczego jest monotoniczną funkcją malejącą czasu. Dlatego wcześniejsze awarie są bardziej prawdopodobne niż późniejsze.

— Sid
źródło

„krótkie przerwy między wypadkami są bardziej prawdopodobne niż długie”. Czym różni się to od stwierdzenia, że jeśli właśnie doszło do katastrofy lotniczej, wszyscy powinniśmy opóźnić naszą nadchodzącą podróż (ze względów statystycznych)?

— Joel W.,

2

Joel, cytat ten jest bez znaczenia, dopóki jego autor nie określi ilościowo tego, co należy rozumieć przez „krótki” i „długi”. W jego przykładzie zdarzenia o oczekiwanym współczynniku wynoszącym jeden rocznie, prawdopodobieństwo ponownego wystąpienia w ciągu następnego miesiąca będzie nadal znacznie mniejsze niż prawdopodobieństwo, że następna katastrofa nastąpi więcej niż rok później. Mógł mieć na myśli, że prawdopodobieństwo na jednostkę czasu jest większe w najbliższym okresie niż w dłuższym okresie. Aby porównać rzeczywiste prawdopodobieństwa, należy pomnożyć prawdopodobieństwo przez jednostkę czasu przez czas trwania (technicznie rzecz biorąc, należy je zintegrować przez czas trwania).

— whuber

@whuber: Nagłówek mówi o prawdopodobieństwie wystąpienia wypadków lotniczych. Do tej pory nic nie powiedziane na temat wymiany stosów nie przekonało mnie, że grupa wypadków lotniczych jest bardziej powszechna lub prawdopodobna niż wypadki samolotów o dużej odległości. Wydaje mi się więc, że cytat z mediów jest wręcz mylący (być może dlatego, że, jak napisałeś, przedziały czasowe nie są określone). Co myślisz?

— Joel W.,

Nie wiem, co rozumiesz przez „wypadki samolotów w dużej odległości”, ani, co do tego, nie jestem całkowicie pewien, co rozumiesz jako „klaster”. Załóżmy, że aby konkretna sytuacja była konkretna, seria rzadkich zdarzeń ma miejsce w latach 0, 10, 11, 12 i 22 (licząc od pewnej daty początkowej). Dokładnie ile zdarzyło się „szeroko rozstawionych” zdarzeń? Ile wystąpiło „klastrów”? Potrafię znaleźć uzasadnione odpowiedzi na pierwsze pytanie od zera do dziesięciu, a odpowiedzi na drugie pytanie mogą wynosić zero lub jeden.

— whuber

1

@whuber: Nagłówek sugeruje, że prawdopodobieństwo wystąpienia skupisk wypadków jest większe niż wypadków o dużej rozpiętości. Zoperacjonalizujmy to. Powiedzmy, że klaster to 3 wypadki lotnicze, a krótki okres to 3 miesiące, a długi to 3 lata. Nielogiczne wydaje się sądzenie, że istnieje większe prawdopodobieństwo, że 3 wypadki wystąpią w ciągu 3 miesięcy niż w ciągu 3 lat. Nawet jeśli weźmiemy pod uwagę pierwszy wypadek, nielogiczne jest sądzić, że kolejne 2 wypadki nastąpią w ciągu najbliższych 3 miesięcy w porównaniu do następnych 3 lat.

— Joel W.,

0

Inne odpowiedzi dotyczyły już niezależności zdarzenia łączą się w klaster. (Czytanie chaosu Gleicka, wszystkie lata temu otworzyło mi oczy na ten pomysł).

Ale w rzeczywistości istnieją mocne dowody, że katastrofy lotnicze nie są niezależnymi zdarzeniami. Wpływ Cialdiniego ma bardzo dobry rozdział na ten temat (wspomniany tutaj również , który zawiera kilka linków do danych; znalazłem fragment tej części książki ). Oczywiście jest to bardzo kontrowersyjne: w gruncie rzeczy mówi się, że im bardziej nagłośniona jest katastrofa lotnicza, tym bardziej prawdopodobne jest, że wpłynie ona na pilota (świadomie lub nieświadomie), aby rozbił swój samolot. Ale psychologiczne wyjaśnienia leżące u podstaw tej hipotezy wydają się wiarygodne, a dane zdają się to potwierdzać.

(W komentarzach mile widziane są linki do statystycznych badań obalających.)

— Darren Cook
źródło

Nie mówi tak: mówi „natychmiast po opublikowaniu pewnego rodzaju głośnych opowieści o samobójstwie, liczba osób, które giną w wypadkach komercyjnych linii lotniczych, wzrasta”.

— Scortchi - Przywróć Monikę

Odniesieniem do roszczenia jest, jak sądzę, Phillips (1978): „Liczba ofiar śmiertelnych wypadków lotniczych wzrasta tuż po historiach gazet o morderstwie i samobójstwie”, Science , 201 , s. 748–750. Streszczenie odnosi się do „samolotów prywatnych, biznesowych i korporacyjnych”.

— Scortchi - Przywróć Monikę

A może ten: Phillips (1980), „Wypadki samolotów, morderstwa i środki masowego przekazu: ku teorii imitacji i sugestii”, Social Forces , 58 , 4, gdzie w streszczeniu wymieniono „linie lotnicze”.

— Scortchi - Przywróć Monikę

2

Altheide (1981), Social Forces , 60 , 2 sugeruje, że „pewien rodzaj bardzo głośnej opowieści o samobójstwie” mógł nie zostać zdefiniowany całkowicie niezależnie od kolejnych „katastrof lotniczych” - brzmi raczej jak definicja „słynnego rabina” .

— Scortchi - Przywróć Monikę