Najciekawsze paradoksy statystyczne

112

Ponieważ uważam je za fascynujące, chciałbym usłyszeć, co ludzie w tej społeczności uważają za najciekawszy statystyczny paradoks i dlaczego.

paradox

— Nick
źródło

1

Kilka małych przykładów, szczególnie w kontekście ankiety, tutaj: filipspagnoli.wordpress.com/category/statistics/…

— Charlie

100

Nie jest to paradoks sam w sobie , ale jest to zagadkowy komentarz, przynajmniej na początku.

Podczas II wojny światowej Abraham Wald był statystyką dla rządu USA. Spojrzał na bombowce powracające z misji i przeanalizował wzór „ran” pocisków na samolotach. Zalecił, aby Marynarka Wojenna wzmocniła obszary, w których samoloty nie zostały uszkodzone.

Dlaczego? Mamy efekty selekcji w pracy. Ta próbka sugeruje, że szkody wyrządzone w obserwowanych obszarach mogą zostać wytrzymane. Oba samoloty nigdy nie zostały trafione w nietknięte obszary, nieprawdopodobna propozycja lub uderzenia w te części były śmiertelne. Dbamy o samoloty, które upadły, a nie tylko o te, które powróciły. Ci, którzy polegli, prawdopodobnie zostali zaatakowani w miejscu nietkniętym na tych, którzy przeżyli.

Kopie jego oryginalnych memorandów można znaleźć tutaj . Bardziej nowoczesną aplikację można znaleźć w blogu Scientific American .

Zgodnie z tym postem na blogu podczas I wojny światowej wprowadzenie cynowego hełmu spowodowało więcej ran głowy niż standardowy kapelusz z tkaniny. Czy nowy hełm był gorszy dla żołnierzy? Nie; chociaż obrażenia były wyższe, liczba ofiar śmiertelnych była niższa.

— Charlie
źródło

3

Pamiętam, że przeczytałem to wcześniej w kilku miejscach, ale nie mam pod ręką referencji. Czy możesz to dodać?

— kardynał

1

@cardinal, znalazłem dla ciebie kilka notatek. Wygląda na to, że badania były w rzeczywistości dla USA

— Charlie

Gdzieś tam jest wykres rozrzutu hipotetycznego samolotu dla tego przykładu, ale nie mogę go znaleźć.

— Fomite,

+1. Jest to przykład nastawienia na przetrwanie , być może najbardziej szkodliwego z uprzedzeń. Rozszerzyłem go w odpowiedzi.

— Cliff AB

47

Innym przykładem jest błąd ekologiczny .

Przykład
Załóżmy, że szukamy związku między głosowaniem a dochodami poprzez regresję udziału w głosowaniu dla ówczesnego senatora Obamy w stosunku do mediany dochodu państwa (w tysiącach). Otrzymujemy przecięcie około 20 i współczynnik nachylenia 0,61.

Wielu interpretuje ten wynik jako powiedzenie, że ludzie o wyższych dochodach częściej głosują na Demokratów; w rzeczy samej popularne książki prasowe przedstawiły ten argument.

Ale czekaj, myślałem, że bogaci ludzie są bardziej republikanami? Oni są.

Ta regresja naprawdę mówi nam, że bogate państwa częściej głosują na Demokratę, a biedne państwa częściej głosują na republikana. W danym państwie bogaci ludzie częściej głosują na republikanów, a biedni częściej głosują na Demokratów. Zobacz prace Andrew Gelmana i jego współautorów .

Bez dalszych założeń nie możemy wykorzystywać danych na poziomie grupy (agregować) do wyciągania wniosków na temat zachowań na poziomie poszczególnych osób. To błąd ekologiczny. Dane na poziomie grupy mogą nam powiedzieć tylko o zachowaniu na poziomie grupy.

Aby przejść do wnioskowania na poziomie indywidualnym, potrzebujemy założenia stałości . Tutaj głosowanie osób w większości nie zmienia się systematycznie w zależności od mediany dochodu państwa; osoba, która zarabia X USD w stanie bogatym, musi równie dobrze głosować na Demokratę, jak ktoś, kto zarabia X USD w stanie złym. Ale ludzie w Connecticut, na wszystkich poziomach dochodu, częściej głosują na Demokratę niż ludzie w Mississippi o tym samym poziomie dochodów . W związku z tym naruszono założenie dotyczące spójności i doprowadzono nas do błędnego wniosku (oszukanego przez uprzedzenie agregacyjne ).

Temat ten był częstym koniem hobby zmarłego Davida Freedmana ; zobacz na przykład ten artykuł . W tym artykule Freedman zapewnia sposób ograniczania prawdopodobieństwa na poziomie indywidualnym przy użyciu danych grupowych.

Porównanie do paradoksu Simpsona
Gdzie indziej w tym CW, @Michelle proponuje paradoks Simpsona jako dobry przykład, taki jaki jest. Paradoks Simpsona i błąd ekologiczny są ściśle powiązane, ale wyraźne. Te dwa przykłady różnią się naturą danych i zastosowanej analizy.

Standardowym sformułowaniem paradoksu Simpsona jest dwustronny stół. W naszym przykładzie załóżmy, że mamy indywidualne dane i klasyfikujemy każdą osobę jako o wysokim lub niskim dochodzie. Otrzymalibyśmy tabelę zdarzeń awaryjnych 2x2 sum całkowitych. Przekonalibyśmy się, że wyższy odsetek osób o wysokich dochodach głosował na Demokratę w porównaniu z udziałem osób o niskich dochodach. Gdybyśmy jednak stworzyli tabelę awaryjną dla każdego stanu, zobaczylibyśmy odwrotny wzór.

W błędach ekologicznych nie dzielimy dochodu na zmienną dychotomiczną (a może wielokhotomową). Aby uzyskać poziom państwowy, otrzymujemy średni (lub medianę) dochód państwowy i udział w głosowaniu stanowym, przeprowadzamy regres i stwierdzamy, że państwa o wyższych dochodach częściej głosują na Demokratę. Gdybyśmy zachowali dane na poziomie indywidualnym i przeprowadzili regresję osobno według stanu, znaleźlibyśmy efekt odwrotny.

Podsumowując, różnice są następujące:

Tryb analizy : Zgodnie z naszymi umiejętnościami przygotowawczymi SAT możemy powiedzieć, że paradoks Simpsona dotyczy tabel awaryjnych, ponieważ błędem ekologicznym jest współczynnik korelacji i regresja.
Stopień agregacji / charakter danych : Podczas gdy w paradoksie Simpsona porównano dwie liczby (udział w głosowaniu Demokratów wśród osób o wysokich dochodach w porównaniu do tego samego dla osób o niskich dochodach), błąd ekologiczny wykorzystuje 50 punktów danych ( tj. Każdego stanu) do obliczenia współczynnika korelacji . Aby uzyskać pełną historię z paradoksalnego przykładu Simpsona, potrzebowalibyśmy tylko dwóch liczb z każdego z pięćdziesięciu stanów (100 liczb), podczas gdy w przypadku błędu ekologicznego potrzebujemy danych na poziomie indywidualnym (lub inaczej korelacje na poziomie stanu / nachylenia regresji).

Ogólna obserwacja
@NeilG komentuje, że wydaje się, że to po prostu mówi, że nie możesz mieć wyboru w kwestii regresji nieobserwowalnych / pominiętych zmiennych. Zgadza się! Przynajmniej w kontekście regresji myślę, że prawie jakikolwiek „paradoks” jest tylko szczególnym przypadkiem odchylenia pominiętych zmiennych.

Odchylenie wyboru (patrz moja inna odpowiedź na ten CW) można kontrolować, włączając zmienne, które sterują wyborem. Oczywiście te zmienne są zwykle nieobserwowane, co powoduje problem / paradoks. Regresję fałszywą (moją drugą odpowiedź) można pokonać, dodając trend czasowy. Przypadki te mówią zasadniczo, że masz wystarczającą ilość danych, ale potrzebujesz więcej predyktorów.

W przypadku błędu ekologicznego prawdą jest, że potrzebujesz więcej predyktorów (tutaj, specyficzne dla danego stoku zbocza i przechwyty). Ale potrzebujesz więcej obserwacji, zarówno indywidualnych, jak i grupowych, aby oszacować te relacje.

(Nawiasem mówiąc, jeśli masz ekstremalną selekcję, w której zmienna selekcji doskonale dzieli leczenie i kontrolę, tak jak w podanym przeze mnie przykładzie z II wojny światowej, możesz potrzebować więcej danych, aby oszacować regresję; tam, powalone płaszczyzny.)

— Charlie
źródło

Jak można sformalizować założenie dotyczące spójności ? To brzmi jak założenie, że w swoim modelu nie brakuje (przyczynowych) czynników zakłócających.

— Neil G

2

Podany przykład jest również przykładem paradoksu Simpsona, ponieważ uwarunkowanie stanu odwraca korelację między dochodem a partią. Kiedy błąd ekologiczny różni się od paradoksu Simpsona?

— Neil G

Chciałbym również zauważyć, że wnioskowanie na temat powiązań na poziomie grupy lub związku przyczynowego na podstawie skojarzeń na poziomie indywidualnym lub związków przyczynowych jest również po prostu złe: atomistyczny błąd, dobrze wyartykułowany tutaj: [Diez-Roux, 1998] Diez-Roux, AV (1998). Przywracanie kontekstu epidemiologii: zmienne i błędy w analizie wielopoziomowej. American Journal of Public Health , 88 (2): 216–222.

— Alexis,

43

Mój wkład jest paradoksem Simpsona, ponieważ:

przyczyny paradoksu nie są intuicyjne dla wielu osób, więc
naprawdę trudno jest wyjaśnić, dlaczego wyniki są sposobem, w jaki ludzie mają mówić po angielsku.

wersja paradoksu tl; dr: istotność statystyczna wyniku wydaje się być różna w zależności od sposobu podziału danych. Przyczyną często wydaje się być zmienna myląca.

Kolejny dobry zarys paradoksu jest tutaj .

— Michelle
źródło

4

+1, pomyślałem o tym, żeby to sam umieścić. Dla tych, którzy są zainteresowani, paradoks Simpsona jest także omawiane na CV tutaj: stats.stackexchange.com/questions/21896

— Gung

3

Istnieje kilka przykładów paradoksu Simpsona wspomnianego w tym pytaniu matematycznym .

— Mike Spivey

32

W statystykach nie ma paradoksów, tylko zagadki czekające na rozwiązanie.

Niemniej jednak moim ulubionym jest „paradoks” dwóch kopert . Załóżmy, że położyłem przed tobą dwie koperty i powiem, że jedna zawiera dwa razy więcej pieniędzy niż druga (ale która nie jest która). Rozumujesz w następujący sposób. Załóżmy, że lewa koperta zawiera , a następnie z 50% prawdopodobieństwem prawa koperta zawiera a przy 50% prawdopodobieństwie zawiera , dla oczekiwanej wartości . Ale oczywiście możesz po prostu odwrócić koperty i stwierdzić, że lewa koperta zawiera wartości prawej koperty. Co się stało? $x$ $2x$ $0.5x$ $1.25x$ $1.25$

— Alex Flint
źródło

genialny paradoks - co ciekawe, jeśli przejdziemy do „drugiej” interpretacji na wikipedii i spróbujemy obliczyć , stwierdzimy, że aby uniknąć preferencji przełączania, potrzebujemy gdzie . Rozwiązanie dla oznacza, że otrzymujemy . Podobnie możemy obliczyć gdzie i otrzymać .... Bizzare!

E [B | A = a]

$E[B|A=a]$

E [B | A = a] = a = 2 a p + \frac{a}{2} (1 - p)

$E[B|A=a]=a=2ap+\frac{a}{2}(1-p)$

p = P r (A < B | A = a)

$p=Pr(A<B|A=a)$

p

$p$

p = \frac{1}{3}

$p=\frac{1}{3}$

E [A | B = b] = b = 2 b q + \frac{b}{2} (1 - q)

$E[A|B=b]=b=2bq+\frac{b}{2}(1-q)$

q = P r (B < A | B = b)

$q=Pr(B<A|B=b)$

q = \frac{1}{3}

$q=\frac{1}{3}$

— probabilislogiczny

6

Przedstawiłem prezentacje na temat tego paradoksu, w którym gra jest rozgrywana z publicznością, z prawdziwymi pieniędzmi (zwykle czekiem dla instytucji przyjmującej). Przyciąga ich uwagę ...

— whuber

Myślę, że rozwiązałem ten ... Paradoks zostaje rozwiązany, gdy rozpoznamy paradoks dwóch kopert nieprawidłowo 1) istnieją trzy możliwe wielkości: 0,5x, x i 2x, gdy w kopertach są tylko dwie wielkości (powiedzmy x i 2x) i 2) że z góry wiemy, że lewa koperta zawiera x (w takim przypadku prawa koperta zawiera 2x ze 100% pewnością!). Biorąc pod uwagę możliwe wartości x i 2x losowo przypisane do dwóch kopert, poprawną odpowiedzią jest oczekiwana wartość 1,5x niezależnie od tego, czy wybiorę lewą czy prawą kopertę.

— RobertF

3

@RobertF Sytuacja jest bardziej skomplikowana. Załóżmy, że wiadomo, że pieniądze są rozdzielane na dwie koperty w następujący sposób. Rzuć uczciwą monetą, aż wyląduje ona na główce i policz liczbę razy, kiedy moneta została rzucona. Umieść 2 ^ n dolarów w jednej kopercie i 2 ^ (n + 1) w drugiej. Możesz teraz wykonywać bardzo dokładne obliczenia oczekiwań i nadal zachowywać paradoks.

— Ittay Weiss,

31

Problem Śpiącej Królewny .

To najnowszy wynalazek; było szeroko dyskutowane w niewielkim zestawie czasopism filozoficznych w ciągu ostatniej dekady. Istnieją zagorzali zwolennicy dwóch bardzo różnych odpowiedzi („Halfers” i „Thirders”). Stawia pytania o naturę wiary, prawdopodobieństwa i uwarunkowania, i zmusił ludzi do inwokowania kwantowo-mechanicznej interpretacji „wielu światów” (między innymi dziwacznych rzeczy).

Oto oświadczenie z Wikipedii:

Sleeping Beauty zgłosi się na ochotnika do poddania się następującemu eksperymentowi i otrzyma wszystkie następujące informacje. W niedzielę zostaje uśpiona. Następnie rzuca się uczciwą monetą, aby ustalić, która procedura eksperymentalna zostanie podjęta. Jeśli moneta podniesie głowę, Piękno obudzi się i przeprowadzi wywiad w poniedziałek, a następnie eksperyment się zakończy. Jeśli moneta wypłynie z reszki, budzi się i przeprowadza wywiad w poniedziałek i wtorek. Ale kiedy w poniedziałek zostaje ponownie uśpiona, otrzymuje dawkę leku wywołującego amnezję, który gwarantuje, że nie pamięta poprzedniego przebudzenia. W takim przypadku eksperyment kończy się po przesłuchaniu we wtorek.

Za każdym razem, gdy Śpiąca królewna jest budzona i przesłuchiwana, zostaje zapytana: „Jaka jest teraz twoja wiarygodność dla twierdzenia, że moneta wylądowała?”

Pozycja Pragnienia polega na tym, że SB powinna odpowiedzieć „1/3” (jest to proste obliczenie Twierdzenia Bayesa), a pozycja Halfera powinna powiedzieć „1/2” (ponieważ to jest prawidłowe prawdopodobieństwo dla uczciwej monety, oczywiście! ). IMHO, cała debata opiera się na ograniczonym zrozumieniu prawdopodobieństwa, ale czy nie o to chodzi w badaniu pozornych paradoksów?

Książę Florimond znajduje śpiącą piękność

(Ilustracja z projektu Gutenberg .)

Chociaż nie jest to miejsce do rozwiązywania paradoksów - tylko do ich stwierdzenia - nie chcę pozostawiać ludzi wiszących i jestem pewien, że większość czytelników tej strony nie chce przedzierać się przez wyjaśnienia filozoficzne. Możemy wyciągnąć wskazówkę od ET Jaynesa , który zastępuje pytanie „jak zbudować matematyczny model ludzkiego zdrowego rozsądku” - czego potrzebujemy, aby przemyśleć problem Śpiącej Królewny - „Jak moglibyśmy zbudować maszynę który przeprowadziłby użyteczne, wiarygodne rozumowanie, zgodnie z jasno określonymi zasadami wyrażającymi wyidealizowany zdrowy rozsądek? ”. Zatem, jeśli chcesz, zastąp SB myślącym robotem Jaynesa. Możesz sklonowaćten robot (zamiast podawania fantazyjnego leku na amnezję) we wtorkową część eksperymentu, tworząc w ten sposób przejrzysty model konfiguracji SB, który można jednoznacznie przeanalizować. Modelowanie to w sposób standardowy z zastosowaniem teorii decyzji statystycznych następnie ujawnia Tak naprawdę są dwa pytania zadawane są tutaj ( co jest szansa uzasadniona moneta wyląduje głowy? I jaka jest szansa, że moneta wylądował głowy, uzależnione od faktu, że byłeś klon, który został obudzony? ). Odpowiedź brzmi: 1/2 (w pierwszym przypadku) lub 1/3 (w drugim przypadku, używając twierdzenia Bayesa). W tym rozwiązaniu nie zastosowano zasad mechaniki kwantowej :-).

Bibliografia

Arntzenius, Frank (2002). Refleksje na temat Śpiącej Królewny . Analiza 62,1 str. 53–62. Elga, Adam (2000). Samookreślająca się wiara i problem Śpiącej Królewny. Analiza 60 s. 143–7.

Franceschi, Paul (2005). Śpiąca królewna a problem redukcji świata . Przedruk

Groisman, Berry (2007). Koniec koszmaru Śpiącej Królewny .

Lewis, D (2001). Śpiąca królewna: odpowiedz Eldze . Analiza 61,3 s. 171–6.

Papineau, David and Victor Dura-Vila (2008). Pragnienie i Everettian: odpowiedź na „Quantum Sleeping Beauty” Lewisa .

Pust, Joel (2008). Horgan on Sleeping Beauty . Synthese 160 str. 97-101.

Vineberg, Susan (bez daty, być może 2003). Beauty's Cautionary Tale .

Wszystkie można znaleźć (lub przynajmniej kilka lat temu) w Internecie.

— whuber
źródło

1

Czy uważasz, że równie skuteczne jest sformułowanie rozwiązania w kategoriach „jednostek podstawowych”? Rozumiem przez to, że musisz rozważyć, czy jednostką podstawową jest osoba, czy wywiad. 1/2 osoby będzie miała głowę, ale 1/3 wywiadów. Następnie, aby wybrać naszą jednostkę podstawową, możemy ponownie odpowiedzieć na pytanie i frazę jako „Jaka jest szansa, że ten wywiad ma związek z wynikiem„ głów ”?

— Jonathan

1

SB nie wie, ile wywiadów miało miejsce, a pytanie dotyczy jej oceny prawdopodobieństwa, a nie oceny eksperymentatorów. Z jej punktu widzenia nie można ustalić liczby wywiadów.

— whuber

2

Myślę, że powinieneś najpierw przeczytać argumenty w literaturze, Aaron. (Przyznaję, że jestem spragniony, ale myślę, że halfersi nie przekonają twojego rozumowania. Przynajmniej musisz im pokazać, dlaczego ich argument jest wadliwy.)

— whuber

1

Trzeba przyznać, @whuber, teraz przyjrzałem się literaturze. Czytam Śpiącą królewnę Ellis : odpowiedz Eldze . Martwi mnie to zdanie na początku części „4. Mój argument ”. „Tylko nowe istotne dowody, wyśrodkowane lub niecentrowane, powodują zmianę wiarygodności”. Zastanowię się i może znowu o tym piszę. Rozmawiałem o tym z siedmioma doktorantami!

— Aaron McDaid,

1

Czy Śpiąca Królewna może patrzeć na kalendarz po przebudzeniu? W poniedziałek powinna odpowiedzieć P (X = głowa) = 0,5. Jeśli we wtorek, to P (X = głowa) = 0.

— RobertF

25

St.Petersburg paradoks , który sprawia, że można myśleć inaczej na koncepcji i znaczenia wartości oczekiwanej . Intuicja (głównie dla osób posiadających doświadczenie w statystyce) i obliczenia dają różne wyniki.

— Guy
źródło

5

Oto inne, co mi się podoba, wydaje się tak mało znane, że nie ma do niego żadnej nazwy, ale ma podobny smak i ciekawą lekcję statystyczną: Istnieje ciąg niezależnych zmiennych losowych ze średnią zero i równomiernie ograniczona wariancja taka, że zbiega się w rozkładzie do standardowej normalnej (podobnie jak CLT). Jednak (lub twoja ulubiona liczba dodatnia).

X_{1}, X_{2}, \dots

$X_1,X_2,\ldots$

\sqrt{n} {\bar{X}}_{n}

$\sqrt{n} \bar X_n$

N (0, 1)

$\mathcal N(0,1)$

V a r (\sqrt{n} {\bar{X}}_{n}) \to 17

$\mathrm{Var}(\sqrt{n} \bar X_n) \to 17$

— kardynał

@cardinal Czy jest szansa, że możesz zamieścić szczegółowe informacje na ten temat jako osobną odpowiedź?

— Silverfish,

@Silver Niech każdy ma rozkład normalny ze średnią zero i wariancją . Co by mają wyglądać asymptotycznie do zbiegają?

X_{i}

$X_i$

f (n)

$f(n)$

f

$f$

Var (\sqrt{n} {\bar{X}}_{n})

$\text{Var}(\sqrt{n}\bar X_n)$

— whuber

@ whuber Przypuszczalnie powinienem przeczytać, że ma wariancję ; w takim przypadku (używając niezależności ) mamy więc potrzebujesz sekwencji aby była sumowalna przez Cesàro, jeśli ma się zbiegać?

X_{i}

$X_i$

f (i)

$f(i)$

X_{i}

$X_i$

V a r (\sqrt{n} {\bar{X}}_{n}) = \frac{1}{n} \sum_{i = 1}^{n} f (i)

$\mathrm{Var}(\sqrt{n}\bar X_n) = \frac{1}{n}\sum_{i=1}^n f(i)$

f (i)

$f(i)$

V a r (\sqrt{n} {\bar{X}}_{n})

$\mathrm{Var}(\sqrt{n}\bar X_n)$

— Silverfish,

22

Jeffreys-Lindley paradoks , który pokazuje, że w pewnych okolicznościach i Bayesa częstościowym domyślnych metod testowania hipotez może dać całkowicie sprzeczne odpowiedzi. Naprawdę zmusza użytkowników do myślenia o tym, co dokładnie oznaczają te formy testowania i do rozważenia, czy tego właśnie chcą. Ostatni przykład znajduje się w tej dyskusji .

— Gość
źródło

20

Istnieje słynny błąd dwóch dziewczyn:

W rodzinie z dwójką dzieci, jakie są szanse, że jedno z dzieci jest dziewczynką , że oboje są dziewczynkami?

Większość ludzi intuicyjnie mówi 1/2, ale odpowiedź brzmi 1/3. Problem polega zasadniczo na tym, że równomierne wybranie „jednej dziewczynki ze wszystkich dziewcząt z jednym rodzeństwem” przypadkowo nie jest tym samym, co jednolite wybranie „jednej rodziny ze wszystkich rodzin z dwójką dzieci i co najmniej jednej dziewczynki”.

Ten jest wystarczająco prosty, aby połączyć go z intuicją, gdy go zrozumiesz, ale istnieją bardziej skomplikowane wersje, które są trudniejsze do zrozumienia:

Jakie są szanse, że w rodzinie z dwójką dzieci, jeśli jedno z dzieci jest chłopcem urodzonym we wtorek , oboje są chłopcami? (Odpowiedź: 13/27)

W rodzinie z dwójką dzieci, jakie są szanse, jeśli jedno z dzieci to dziewczynka o imieniu Floryda , że oba dzieci są dziewczynkami? (Odpowiedź: bardzo blisko 1/2, zakładając, że „Floryda” jest niezwykle rzadką nazwą)

Więcej informacji na temat wszystkich tych zagadek można znaleźć w tej odpowiedzi .
(Również: Więcej informacji o chłopcu urodzonym we wtorek , więcej informacji o dziewczynie o imieniu Floryda )

— BlueRaja - Danny Pflughoeft
źródło

3

Odpowiedź na pewno 1/3nie jest 2/3? Tylko jeden zGB, BG, GG

— Martin Smith

3

Artykuł „chłopiec urodzony we wtorek” jest dobry. Jego najważniejszym punktem, który jest bardzo jasno określony („problem jest niedefiniowany”), jest to, że odpowiedź zależy od przyjętego modelu prawdopodobieństwa. Mówienie, że „odpowiedź” to 13/27, wprowadza w błąd (co najwyżej).

— whuber

@Martin: hehe whoops :)

— BlueRaja - Danny Pflughoeft

2

Przyczyną tych problemów jest to, że pytanie jest sformułowane w taki sposób, że bardzo trudno jest ustalić, czym jest przestrzeń hipotez. To z kolei powoduje, że dezorientuje to, czym są „równie prawdopodobne” przypadki (i co należy liczyć).

— probabilislogiczny

1

p (B_{1} G_{2}) = p (G_{1} B_{2})

$p(B_1G_2)=p(G_1B_2)$

\frac{p (G_{1} G_{2})}{2 p (B_{1} G_{2}) + p (G_{1} G_{2})}

$\frac{p(G_1G_2)}{2p(B_1G_2)+p(G_1G_2)}$

12

Przepraszam, ale nie mogę się powstrzymać (ja też uwielbiam paradoksy statystyczne!).

Ponownie, być może nie jest to paradoks per se i kolejny przykład odchylenia pominiętych zmiennych.

Fałszywa przyczyna / regresja
Każda zmienna z trendem czasowym będzie skorelowana z inną zmienną, która również ma trend czasowy. Na przykład moja waga od urodzenia do 27 roku życia będzie silnie skorelowana z twoją wagą od urodzenia do 27 roku życia. Oczywiście, moja waga nie jest spowodowana twoją wagą. Jeśli tak, proszę o częstsze chodzenie na siłownię.

$x_t$ $y_t$

\begin{aligned} x_{t} & = α_{0} + α_{1} t + ϵ_{t} and \\ y_{t} & = β_{0} + β_{1} t + η_{t} . \end{aligned}

$\begin{align*}x_t &= \alpha_0 + \alpha_1 t + \epsilon_t \text{ and} \\ y_t &= \beta_0 + \beta_1 t + \eta_t.\end{align*}$

y_{t} = γ_{0} + γ_{1} x_{t} + ν_{t}

$\begin{equation*}y_t = \gamma_0 + \gamma_1 x_t + \nu_t\end{equation*}$

x_{t}

$x_t$

γ_{1}

$\gamma_1$

Kiedy przeprowadzasz analizę szeregów czasowych, musisz mieć pewność, że twoje zmienne są nieruchome, w przeciwnym razie otrzymasz te fałszywe wyniki przyczynowe.

(W pełni przyznaję, że podrobiłem własną odpowiedź podaną tutaj ).

— Charlie
źródło

11

Jednym z moich ulubionych jest problem Monty Hall. Pamiętam, jak dowiadywałem się o tym na lekcji statystyk podstawowych, mówiąc ojcu, ponieważ oboje z niedowierzaniem symulowałem liczby losowe i próbowaliśmy rozwiązać problem. Ku naszemu zdziwieniu była to prawda.

Zasadniczo problem polega na tym, że jeśli miałeś troje drzwi w teleturnieju, za którym jedna jest nagrodą, a pozostałe dwie nic, jeśli wybrałeś drzwi, a następnie powiedziano ci o pozostałych dwóch drzwiach, jedno z dwóch nie było drzwiami z nagrodami i możesz zmienić swój wybór, jeśli tak wybierzesz, powinieneś zmienić obecne drzwi na pozostałe.

Oto również link do symulacji R: LINK

— Tyler Rinker
źródło

7

Paradoks Parrondo:

Z wikipdedii : „Paradoks Parrondo, paradoks w teorii gier, został opisany jako: Kombinacja strategii przegranych staje się strategią wygrywającą. Jej nazwa pochodzi od twórcy, Juana Parrondo, który odkrył paradoks w 1996 r. Bardziej objaśniający opis to :

Istnieją pary gier, każda z większym prawdopodobieństwem przegranej niż wygranej, dla których można zbudować strategię wygrywającą, grając na przemian.

Parrondo opracował paradoks w związku z analizą zapadki Browna, eksperymentu myślowego na temat maszyny, która rzekomo może pobierać energię z przypadkowych ruchów ciepła spopularyzowanych przez fizyka Richarda Feynmana. Paradoks znika jednak po dokładnej analizie ”.

Choć paradoks może wydawać się kuszący dla finansowych tłumów, ma pewne wymagania, które nie są łatwo dostępne w finansowych szeregach czasowych. Mimo że kilka strategii składowych może przegrywać, strategie kompensacji wymagają nierównych i stabilnych prawdopodobieństw znacznie większych lub mniejszych niż 50%, aby uruchomić efekt zapadkowy. Trudno byłoby znaleźć strategie finansowe, w których i inne, , przez długi czas. $P_B(W)=3/4+\epsilon$ $P_A(W)=1/10 + \epsilon$

Istnieje również nowszy powiązany paradoks zwany „ mieszaniną Allison ”, który pokazuje, że możemy wziąć dwie serie IID i nieskorelowane serie i losowo je szyfrować, tak aby niektóre mieszaniny mogły stworzyć wynikową serię z niezerową autokorelacją.

— pat
źródło

6

Interesujące jest to, że problem dwojga dzieci i problem Monty Hall tak często wspominane są w kontekście paradoksu. Oba ilustrują pozorny paradoks zilustrowany po raz pierwszy w 1889 r., Zwany Paradoksem Boxa Bertranda, który można uogólnić, by reprezentować oba. Uważam to za najbardziej interesujący „paradoks”, ponieważ ci sami bardzo wykształceni, bardzo inteligentni ludzie odpowiadają na te dwa problemy w odwrotny sposób w odniesieniu do tego paradoksu. Porównuje się również do zasady stosowanej w grach karcianych, takich jak brydż, znanej jako Zasada Ograniczonego Wyboru, w której rozdzielczość jest sprawdzana w czasie.

Powiedz, że masz losowo wybrany element, który nazywam „pudełkiem”. Każde możliwe pudełko ma co najmniej jedną z dwóch właściwości symetrycznych, ale niektóre mają oba. Nazwę właściwości „złotem” i „srebrem”. Prawdopodobieństwo, że pudełko jest tylko złotem, wynosi P; a ponieważ właściwości są symetryczne, P jest również prawdopodobieństwem, że pudełko jest po prostu srebrne. To sprawia, że prawdopodobieństwo, że pudełko ma tylko jedną właściwość 2P, oraz prawdopodobieństwo, że ma ono zarówno 1-2P.

Jeśli powiedziano ci, że pudełko jest złote, ale nie ma znaczenia, czy jest to srebro, możesz pokusić się o stwierdzenie, że szanse, że to tylko złoto, to P / (P + (1-2P)) = P / (1-P). Ale wtedy musisz podać to samo prawdopodobieństwo dla jednokolorowego pudełka, jeśli powiedziano ci, że jest srebrne. A jeśli prawdopodobieństwo to wynosi P / (1-P) za każdym razem, gdy powiedziano ci tylko jeden kolor, musi to być P / (1-P), nawet jeśli nie powiedziano ci koloru. Wiemy jednak, że jest to 2P z ostatniego akapitu.

Ten pozorny paradoks rozwiązuje się, zauważając, że jeśli pudełko ma tylko jeden kolor, nie ma dwuznaczności co do tego, jaki kolor zostaniesz poinformowany. Ale jeśli ma dwa, istnieje domyślny wybór. Musisz wiedzieć, jak dokonano tego wyboru, aby odpowiedzieć na pytanie, i to jest podstawa pozornego paradoksu. Jeśli nie zostaniesz o tym poinformowany, możesz założyć, że kolor został wybrany losowo, co daje odpowiedź P / (P + (1-2P) / 2) = 2P. Jeśli upierasz się, że P / (1-P) jest odpowiedzią, domyślnie zakładasz, że nie było możliwości, aby inny kolor mógł zostać wymieniony, chyba że byłby to jedyny kolor.

W Monty Hall Problem analogia kolorów nie jest bardzo intuicyjna, ale P = 1/3. Odpowiedzi oparte na dwóch nieotwartych drzwiach, które pierwotnie miałyby równie tę samą nagrodę, zakładają, że Monty Hall musiał otworzyć drzwi, które zrobił, nawet jeśli miał wybór. Ta odpowiedź to P / (1-P) = 1/2. Odpowiedź pozwalająca mu wybierać losowo to 2P = 2/3 dla prawdopodobieństwa wygranej zamiany.

W Problemie dwojga dzieci kolory w mojej analogii całkiem ładnie porównują się do płci. W czterech przypadkach P = 1/4. Aby odpowiedzieć na pytanie, musimy wiedzieć, w jaki sposób ustalono, że w rodzinie była dziewczyna. Jeśli tą metodą można było dowiedzieć się o chłopcu w rodzinie, odpowiedź brzmi 2P = 1/2, a nie P / (1-P) = 1/3. To trochę bardziej skomplikowane, jeśli weźmiesz pod uwagę nazwę Floryda lub „urodzony we wtorek”, ale wyniki są takie same. Odpowiedź jest dokładnie 1/2, jeśli był wybór, a większość stwierdzeń dotyczących problemu sugeruje taki wybór. Powód „zmiany” z 1/3 na 13/27 lub z 1/3 na „prawie 1/2” wydaje się paradoksalny i nieintuicyjny, ponieważ założenie braku wyboru jest nieintuicyjne.

W Zasadzie ograniczonego wyboru powiedz, że brakuje jakiegoś zestawu równoważnych kart - takich jak walet, królowa i król tego samego koloru. Szanse zaczynają się od tego, że jakaś konkretna karta należy do konkretnego przeciwnika. Ale po tym, jak przeciwnik zagra jedną, jego szanse na posiadanie jednego z pozostałych są zmniejszone, ponieważ mógłby zagrać tę kartę, gdyby ją miał.

— JeffJo
źródło

Nie śledzę twoich prawdopodobieństw. Jeśli przez „symetryczny” masz na myśli (co myślę, że masz na myśli), to czy nie powinno być prawdopodobieństwa, że oba będą , a nie ? (Zakłada to niezależność, co myślę, że masz na myśli, chociaż pomogłoby to jednoznacznie stwierdzić.) Ponadto uważam, że prawdopodobieństwo, że skrzynka nie będzie równa , a nie , nie to? Można to łatwo zobaczyć, jeśli weźmiemy pod uwagę przypadek, w którym następnie i , chyba że przez „symetryczny” rozumiesz, że & właściwości są całkowicie zależne. Przepraszam za nitpick.

P_{G} = P_{S}

$P_G=P_S$

P^{2}

$P^2$

2 P

$2P$

(1 - P)^{2}

$(1-P)^2$

1 - 2 P

$1-2P$

P_{G} = P_{S} = .8

$P_G=P_S=.8$

P_{G S} = 1.6

$P_{GS}=1.6$

P_{- G - S} = - .6

$P_{-G-S}=-.6$

P = .5

$P=.5$

— gung

Przepraszam, może nie wyjaśniłem tego dobrze, starając się być jak najkrótszym. Moje P nie było prawdopodobieństwem, że pudełko ma kolor złoty, było to prawdopodobieństwo, że było tylko złoto. Prawdopodobieństwo, że ma kolor złoty, to 1-P. I chociaż dwie właściwości są symmertyczne, nie muszą być niezależne, więc nie można po prostu pomnożyć prawdopodobieństw. Ponadto żadne pole nie jest „ani”. Bertrand użył trzech pudeł z dwiema monetami w każdym: złotym + złotym, złotym + srebrnym i srebrnym + srebrnym. Pudełko z dowolną liczbą złotych monet w moim uogólnieniu jest „złote”.

— JeffJo

+1, to pomaga. Widzę teraz wyrażenie „co najmniej jeden z dwóch” i słowo „tylko”, które musiałem przejrzeć.

— gung

6

Lubię następujące: Host używa nieznanego rozkładu na aby wybrać niezależnie dwie liczby . Jedyną rzeczą znaną graczowi na temat rozkładu jest to, że . Następnie gracz pokazuje liczbę i jest proszony o zgadnięcie, czy czy . Oczywiście, jeśli gracz zawsze zgaduje wówczas gracz ma rację z prawdopodobieństwem . Jednak, co najmniej zaskakujące, jeśli nie paradoksalne, gracz może ulepszyć tę strategię. Obawiam się, że nie mam linku do problemu (słyszałem to wiele lat temu podczas warsztatów). $[0,1]$ $x,y\in [0,1]$ $P(x=y)=0$ $x$ $y>x$ $y<x$ $y>x$ $0.5$

— Ittay Weiss
źródło

2

Drogi Ittay, uważam, że Tom Cover jest oryginalnym źródłem tego problemu. Myślę, że jest on również wymieniony w jego Otwartych problemach w komunikacji i obliczeniach , ale nie mam go pod ręką, aby to sprawdzić. To niezły problem. Ograniczenie do , a nawet losowego (lub , jeśli o to chodzi) jest nieistotne. Twoje zdrowie.

[0, 1]

$[0,1]$

y

$y$

x

$x$

— kardynał

2

Znajduję uproszczoną graficzną ilustrację błędu ekologicznego (tutaj paradoks głosowania w stanie bogatym / biednym) pomaga mi zrozumieć na poziomie intuicyjnym, dlaczego widzimy odwrócenie wzorców głosowania, gdy agregujemy populacje państwowe:

wprowadź opis zdjęcia tutaj

— RobertF
źródło

3

To dobry przykład, ale myślę, że to Paradoks Simpsona: en.wikipedia.org/wiki/Simpson%27s_paradox

— Nick

1

@Nick: ten konkretny przykład faktycznie różni się od paradoksu Simpsona, ale może być trudno ustalić, który błąd / paradoks ma zastosowanie w konkretnej sytuacji, ponieważ wyglądają tak samo statystycznie. Różnica polega na tym, że SP jest „efektem fałszywym”, który pojawia się tylko podczas analizy podgrup. Pokazany trend jest jednak „prawdziwym efektem”, który pojawia się tylko podczas analizy podgrup. W tym przypadku sugeruje to, że chociaż dochód jako liczba surowa nie wpływa na łączne wzorce głosowania, dochód związany z sąsiadami (stanem) ma wpływ na wzorce głosowania.

— Jonathan

To błąd ekologiczny, omówiony poniżej.

— Charlie

3

@Charlie „poniżej” i „powyżej” są funkcjami niezależnie od sposobu sortowania przez czytelnika strony (aktywne / najstarsze / głosy), aw każdym razie kolejność według niektórych kryteriów sortowania może się zmieniać w czasie (w tym domyślnym) . W związku z tym prawdopodobnie lepiej wspomnieć o osobie, która opublikowała dyskusję, do której się odwołujesz, a nawet link do niej.

— Glen_b

2

Załóżmy, że uzyskałeś dane dotyczące urodzeń w rodzinie królewskiej jakiegoś królestwa. W drzewie genealogicznym odnotowano każde narodziny. Osobliwą cechą tej rodziny było to, że rodzice próbowali mieć dziecko, gdy tylko urodził się pierwszy chłopiec, a potem nie mieli już dzieci.

Twoje dane potencjalnie wyglądają podobnie do tego:

G G B
B
G G B
G B
G G G G G G G G G B
etc.

Czy odsetek chłopców i dziewcząt w tej próbie odzwierciedla ogólne prawdopodobieństwo porodu chłopca (powiedzmy 0,5)? Odpowiedź i wyjaśnienie można znaleźć w tym wątku .

— Tim
źródło

2

Ta odpowiedź brzmi jak układanka, a nie jak paradoks. Mogę sobie wyobrazić, dlaczego chciałeś to tak opublikować, ale myślę, że ta odpowiedź kwalifikuje się jako paradoks i pasuje do tego wątku, musisz być bardziej wyraźny.

— ameba

2

To pytanie (z chłopcami i dziewczętami zamienionymi) zostało zadane na stronie stats.stackexchange.com/questions/93830 , na które otrzymano dużą liczbę odpowiedzi - nie do końca zgodnych ! (Nauczyłem się czegoś, biorąc poważnie problem i myśląc o nim w coraz bardziej realistyczny sposób, badając założenia potrzebne do tego.)

— whuber

@ Whuber dzięki za link! Dodałem to do opisu.

— Tim

2

To znowu Paradoks Simpsona, ale „zarówno wstecz, jak i do przodu”, pochodzi z nowej książki Judei Pearl „ Causal Inference in Statistics: A primer” [^ 1]

Klasyczny paradoks Simpona działa w następujący sposób: rozważ próbę wyboru między dwoma lekarzami. Automatycznie wybierasz ten z najlepszymi wynikami. Ale przypuśćmy, że ten z najlepszymi wynikami wybiera najprostsze przypadki. Niższy rekord tego drugiego jest konsekwencją trudniejszej pracy.

Teraz kogo wybierasz? Lepiej spojrzeć na wyniki stratyfikowane według trudności, a następnie zdecydować.

Istnieje druga strona medalu (inny paradoks), która mówi, że stratyfikowane wyniki mogą również prowadzić do złego wyboru.

Tym razem zastanów się nad wyborem leku, czy nie. Lek ma toksyczne działanie niepożądane, ale jego terapeutyczny mechanizm działania polega na obniżeniu ciśnienia krwi. Ogólnie rzecz biorąc, lek poprawia wyniki w populacji, ale w przypadku stratyfikacji ciśnienia krwi po leczeniu wyniki są gorsze zarówno w grupach niskiego, jak i wysokiego ciśnienia krwi. Jak to może być prawda? Ponieważ mimowolnie rozwarstwiamy się na wyniku i w każdym wyniku pozostaje tylko toksyczny efekt uboczny.

Aby to wyjaśnić, wyobraź sobie, że lek jest przeznaczony do naprawy złamanych serc, i robi to poprzez obniżenie ciśnienia krwi, a zamiast stratyfikacji ciśnienia krwi rozwarstwiamy się na nieruchomych sercach. Kiedy lek działa, serce jest ustalone (a ciśnienie krwi będzie niższe), ale niektórzy pacjenci również dostaną toksyczny efekt uboczny. Ponieważ lek działa, grupa „utrwalonego serca” będzie miała więcej pacjentów, którzy wzięli lek, niż grupa pacjentów przyjmujących lek w grupie „złamanego serca”. Więcej pacjentów przyjmujących lek oznacza, że więcej pacjentów otrzymuje działania niepożądane i najwyraźniej (ale fałszywie) lepsze wyniki u pacjentów, którzy nie brali leku.

Pacjenci, którzy wracają do zdrowia bez przyjmowania leku, mają po prostu szczęście. Pacjenci, którzy wzięli lek i polepszyli się, to mieszanka tych, którzy potrzebowali go, aby polepszyć, i tych, którzy i tak mieliby szczęście. Badanie tylko pacjentów z „utrwalonymi sercami” oznacza wykluczanie pacjentów, którzy byliby naprawieni, gdyby zażyli lek. Wykluczenie takich pacjentów oznacza wykluczenie krzywdy z nieprzyjmowania leku, co z kolei oznacza, że widzimy szkodę tylko z powodu przyjmowania leku.

Paradoks Simpsona powstaje, gdy istnieje inny powód niż leczenie, na przykład fakt, że lekarz robi tylko trudne przypadki. Kontrolowanie wspólnej przyczyny (trudne i łatwe przypadki) pozwala nam zobaczyć prawdziwy efekt. W tym ostatnim przykładzie przypadkowo stratyfikowaliśmy wynik, a nie przyczynę, co oznacza, że prawdziwą odpowiedzią są dane zbiorcze, a nie stratyfikowane.

[^ 1]: Pearl J. Causal Wnioskowanie w statystyce. John Wiley & Sons; 2016 r

— drstevok
źródło

2

Jednym z moich „ulubionych”, co oznacza, że doprowadza mnie do szału interpretacja wielu badań (i często przez samych autorów, nie tylko media), to uprzedzenie przetrwania .

Można sobie wyobrazić, że istnieje pewien efekt, który jest bardzo szkodliwy dla badanych, tak bardzo, że ma bardzo duże szanse na ich zabicie. Jeśli osobnicy zostaną narażeni na ten efekt przed badaniem , to do czasu rozpoczęcia badania narażeni osobnicy, którzy wciąż żyją, mają bardzo duże prawdopodobieństwo, że będą niezwykle odporni. Dosłownie dobór naturalny w pracy. Gdy tak się dzieje, że badanie będzie obserwować eksponowane przedmioty są niezwykle zdrowe (ponieważ wszystkie te niezdrowe już zmarło lub zadbał, aby przestać być narażony na działanie) .To jest często błędnie interpretowane jako przyznanie, że ekspozycja jest faktycznie dobre dla badanych. Jest to wynikiem ignorowania obcięcia (tj. ignorowanie osób, które zmarły i nie dotarły do badania).

Podobnie, osoby, które przestają być narażone na działanie podczas badania, są często niezwykle niezdrowe: dzieje się tak, ponieważ zdają sobie sprawę, że ciągłe narażenie prawdopodobnie ich zabije. Ale w badaniu zauważono jedynie, że ci, którzy odeszli, są bardzo niezdrowi!

Odpowiedź @ Charliego na temat bombowców z II wojny światowej można traktować jako przykład tego, ale jest też wiele nowoczesnych przykładów. Niedawnym przykładem są badania, według których picie ponad 8 filiżanek kawy dziennie(!!) wiąże się ze znacznie wyższym zdrowiem serca u osób powyżej 55 roku życia. Wiele osób z doktoratem zinterpretowało to jako „picie kawy jest dobre dla twojego serca!”, W tym autorzy badania. Przeczytałem to, ponieważ musisz mieć niewiarygodnie zdrowe serce, aby nadal pić 8 filiżanek kawy dziennie po 55 roku życia i nie mieć zawału serca. Nawet jeśli cię to nie zabije, w momencie, gdy coś będzie niepokojące o twoje zdrowie, każdy, kto cię kocha (plus twój lekarz) natychmiast zachęci cię do zaprzestania picia kawy. Dalsze badania wykazały, że picie tak dużej ilości kawy nie miało korzystnego wpływu na młodsze grupy, co, jak sądzę, jest bardziej dowodem na to, że widzimy efekt przeżycia, niż pozytywny efekt przyczynowy. Mimo to wielu doktorów kręci się wokół i mówi „

— Cliff AB
źródło

Nie jestem pewien swojej interpretacji. W Norwegii picie 8 filiżanek kawy dziennie wcale nie jest niezwykłe, a średnia wartość (w tym dzieci i inne napoje bezalkoholowe) wynosi około dwóch filiżanek dziennie. W Finlandii średnia wynosi około 2,5 filiżanki dziennie. Zwykłem pić więcej niż dziesięć filiżanek dziennie, ale już nie.

— kjetil b halvorsen

1

Dziwię się, że nikt jeszcze nie wspominał o paradoksie Newcombe , chociaż jest on bardziej dyskutowany w teorii decyzji. To zdecydowanie jeden z moich ulubionych.

— Ely
źródło

-2

Niech x, y i z będą wektorami nieskorelowanymi. Jednak x / z oraz y / z będą skorelowane.

— zbicyclist
źródło

2

Dlaczego to paradoks? wydaje się intuicyjne.

— lcrmorin

2

Byłbym zaskoczony, gdyby tak zwykle nie było.

— Glen_b

1

Nie jest jasne, co mają oznaczać i „skorelowane”. (Przypuszczalnie „ ” jest podziałem składowym - przy założeniu, że żadne składniki są równe zeru!) Jest „skorelowany”, aby być interpretowany w sensie współczynnika korelacji (zasadniczo znormalizowanych iloczynów punktowych), czy też mamy traktować i jako zmienne losowe i rozważają w tym sensie ich współczynniki korelacji?

x / z

$x/z$

x / z

$x/z$

z

$z$

X, Y,

$X,Y,$

Z

$Z$

— whuber