Dlaczego statystyki są przydatne, gdy wiele rzeczy, które mają znaczenie, to rzeczy w jednym ujęciu?

Nie wiem, czy to tylko ja, ale ogólnie jestem bardzo sceptyczny wobec statystyk. Rozumiem to w grach w kości, pokerze itp. Bardzo małe, proste, głównie samodzielne powtarzane gry są w porządku. Na przykład moneta lądująca na krawędzi jest wystarczająco mała, aby zaakceptować prawdopodobieństwo, że lądujące główki lub reszki wynoszą ~ 50%.

Granie w pokera za 10 $, którego celem jest wygrana w 95%, jest w porządku. Ale co, jeśli całe oszczędności życia + więcej zależą od tego, czy osiągniesz wygraną, czy nie? W jaki sposób wiedza, że ​​wygrasz w 95% przypadków w tej sytuacji, w ogóle mi pomoże? Oczekiwana wartość niewiele tam pomaga.

Inne przykłady obejmują zagrażającą życiu operację. W jaki sposób pomaga to wiedzieć, że jest to 51% wskaźnik przeżycia w porównaniu z 99% współczynnikiem przeżycia, biorąc pod uwagę istniejące dane? W obu przypadkach nie sądzę, że będzie miało dla mnie znaczenie to, co powie mi lekarz, i wybrałbym to. Jeśli rzeczywiste dane wynoszą 75%, równie dobrze mógłby mi powiedzieć (z wyjątkiem etyki i prawa), że istnieje 99,99999% szans na przeżycie, więc poczułbym się lepiej. Innymi słowy, istniejące dane nie mają znaczenia, z wyjątkiem sytuacji dwumianowych. Nawet wtedy nie ma znaczenia, czy współczynnik przeżycia wynosi 99,99999%, czy w końcu umrę z tego powodu.

Również prawdopodobieństwo trzęsienia ziemi. Nie ma znaczenia, czy silne trzęsienie ziemi zdarza się średnio co x (gdzie x> 100) lat. Nie mam pojęcia, czy w moim życiu kiedykolwiek nastąpi trzęsienie ziemi. Dlaczego więc jest to nawet przydatna informacja?

Mniej poważny przykład, powiedzmy, 100% miejsc, w których byłem, które kocham, znajdują się w obu Amerykach, obojętny na 100% miejsc, w których byłem w Europie i nienawidzę 100% miejsc, które mam byłam w Azji. To wcale nie oznacza, że ​​nie znajdę miejsca, które uwielbiam w Azji podczas mojej następnej podróży lub nienawidzę w Europie lub obojętnie w Ameryce, tylko z tego powodu, że statystyki nie obejmują wszystkich informacji, które ja potrzeba i prawdopodobnie nigdy nie uda mi się zebrać wszystkich potrzebnych informacji, nawet jeśli podróżowałem do ponad x% wszystkich tych kontynentów. Tylko dlatego, że na 1-x% kontynentów są nieznane, na których nie byłem. (Zapraszam do zastąpienia 100% dowolnym innym procentem).

Rozumiem, że nie ma sposobu na brutalną siłę i że musisz polegać na statystykach w wielu sytuacjach, ale jak możemy wierzyć, że statystyki są pomocne w naszej sytuacji jednego strzału, zwłaszcza gdy statystyki zasadniczo nie ekstrapolują się na zdarzenia odstające?

Jakieś spostrzeżenia, które mogą przełamać mój sceptycyzm dotyczący statystyki?

Po pierwsze, myślę, że możesz mylić „statystyki” oznaczające zbiór liczb lub innych faktów opisujących grupę lub sytuację, a „statystyki” oznaczają naukę wykorzystywania danych i informacji do rozumienia świata w obliczu różnorodności (inne mogą być w stanie poprawić moje definicje). Statystycy używają obu zmysłów tego słowa, więc nie jest zaskoczeniem, gdy ludzie je pomieszają.

Statystyka (nauka) polega na wybieraniu strategii i wyborze najlepszej strategii, nawet jeśli możemy ją zastosować tylko raz. Czasami, gdy ja (i inni) uczę prawdopodobieństwa, używamy klasycznego problemu Monty Hall (3 drzwi, 2 kozy, 1 samochód), aby go zmotywować i pokazujemy, jak możemy oszacować prawdopodobieństwa, grając w grę kilka razy (nie dla nagród ) i widzimy, że strategia „zamiany” wygrywa 2/3 czasu, a strategia „pozostania” wygrywa tylko 1/3 czasu. Gdybyśmy mieli okazję zagrać w tę grę raz, wiedzielibyśmy pewne rzeczy o tym, która strategia daje większą szansę na wygraną.

Przykład operacji jest podobny, będziesz miał operację tylko raz (ale nie będziesz miał operacji), ale czy nie chcesz wiedzieć, która strategia przynosi korzyść większej liczbie osób? Jeśli wybrałeś operację z szansą większą niż 0% przeżycia lub brak operacji i 0% przeżycia, to tak, istnieje niewielka różnica między operacją mającą 51% przeżycia a 99,9% przeżycia. Ale co jeśli są też inne opcje, możesz wybierać między zabiegiem chirurgicznym, nie robieniem nic (co ma 25% przeżycia) lub zmianą diety i ćwiczeń, które mają 75% przeżycia (ale wymaga wysiłku z twojej strony), nie zależy ci na tym, czy opcja operacji ma przeżycie 51% vs. 99%?

Weź również pod uwagę lekarza, on będzie robił więcej niż tylko operację. Jeśli operacja ma 99,9% przeżycia, to nie ma powodu, aby rozważać alternatywy, ale jeśli ma tylko 51% przeżycia, to chociaż może być najlepszym wyborem dzisiaj, powinien szukać innych alternatyw, które zwiększą to przeżycie. Tak, nawet przy 90% przeżyciu straci niektórych pacjentów, ale która strategia daje mu najlepszą szansę na uratowanie większości pacjentów?

Dziś rano nosiłem pas podczas jazdy (moja zwykła strategia), ale nie miałem żadnych wypadków, więc czy moja strategia była stratą czasu? Gdybym wiedział, kiedy dostanę wypadek, mógłbym zaoszczędzić czas, zapinając tylko pas bezpieczeństwa na takie okazje, a nie na inne. Ale nie wiem, kiedy będę miał wypadek, więc trzymam się strategii noszenia pasów bezpieczeństwa, ponieważ uważam, że da mi to najlepszą szansę, jeśli kiedykolwiek będę miał wypadek, nawet jeśli oznacza to stratę czasu i wysiłek w wysokim odsetku (mam nadzieję, że 100%) razy, że nie ma wypadku.

To, że nie korzystasz ze statystyk w codziennym życiu, nie oznacza, że ​​pole nie wpływa bezpośrednio na ciebie. Kiedy jesteś u lekarza i zalecają one jedno leczenie nad drugim, możesz się założyć, że za tym zaleceniem kryło się wiele badań klinicznych, w których wykorzystano statystyki do interpretacji wyników ich eksperymentów.

Okazuje się, że koncepcja wartości oczekiwanej jest również bardzo przydatna, nawet jeśli nie korzystasz z niej osobiście. Twój przykład obstawiania oszczędności życiowych nie bierze pod uwagę tego, jak ryzykowne jesteś. Inne sytuacje mogą okazać się mniej ryzykowne lub w przypadku braku katastrofalnych skutków. Przykładami tego są biznes, finanse, kontekst aktuarialny i inne. Być może wydajesz polisę ubezpieczeniową na dom - wtedy nagle wiedza o prawdopodobieństwie wystąpienia trzęsienia ziemi w określonym czasie ma ogromne znaczenie.

W końcu statystyki to świetny sposób na radzenie sobie z niepewnością. W swoim ostatnim przykładzie stworzyłeś dane o miejscach, które lubisz podróżować i twierdziłeś, że statystyki mówią, że nigdy nie znajdziesz miejsca w Azji, które ci się spodoba. To jest po prostu złe. Oczywiście te dane sprawią, że uwierzysz, że Azja ma mniejsze szanse na miejsce, które ci się podoba, ale możesz ustawić swoje wcześniejsze przekonanie na dowolne, a statystyki podpowie Ci, jak zaktualizować swoje przekonanie, biorąc pod uwagę nowe dane. Co więcej, pozwala ci zmodyfikować swoje przekonania w sposób oparty na zasadach, co pozwoli ci działać racjonalnie w obliczu niepewności.

Świat jest stochastyczny, a nie deterministyczny. Gdyby to było deterministyczne, fizycy rządziliby światem, a statystycy nie mieliby pracy. Ale w rzeczywistości statystyki są bardzo poszukiwane w prawie każdej dyscyplinie. Nie oznacza to, że nie ma miejsca dla fizyki i innych nauk, ale statystyka współdziała z nauką i jest podstawą wielu odkryć naukowych.

Dość gadania i sprowadzania się do szczegółów. Przez ostatnie 17 lat pracowałem w branży medycznej, najpierw w urządzeniach medycznych, potem w farmacji, a teraz w ogólnych badaniach medycznych. Leki i urządzenia medyczne, które poprawiają jakość życia i często ratują lub przedłużają życie, są regularnie opracowywane i zatwierdzane w tym kraju i na całym świecie. W USA zatwierdzenie wymaga dowodów bezpieczeństwa i skuteczności, zanim FDA pozwoli na wprowadzenie leku lub urządzenia medycznego do obrotu. Dowody dla FDA pochodzą z badań klinicznych etapami. Wszystkie badania kliniczne wymagają prawidłowego projektu statystycznego i metod analizy. Nic nie jest doskonałe. Narkotyki działają dobrze u niektórych osób, podczas gdy inne mogą nie reagować lub będą mieć działania niepożądane (złe reakcje, które mogą powodować choroby lub śmierć). Próby oddzielają nieskuteczne leki od skutecznych. Większość leków zawodzi i często trwa dziesięcioletni cykl od wczesnego etapu rozwoju do końca fazy III z zatwierdzeniem i wprowadzeniem do obrotu na końcu badania. Następnie stosuje się nadzór po wprowadzeniu do obrotu, który również wymaga statystyk, aby upewnić się, że lek działa wystarczająco dobrze dla całej populacji. Czasami ogólna populacja, dla której lek jest zatwierdzony, jest mniej restrykcyjną grupą niż pacjenci kwalifikujący się do badań klinicznych. Czasami narkotyki okazują się niebezpieczne i zostają wyciągnięte z rynku. Statystyki pomagają we wszystkich aspektach bezpieczeństwa narkotyków. Następnie stosuje się nadzór po wprowadzeniu do obrotu, który również wymaga statystyk, aby upewnić się, że lek działa wystarczająco dobrze dla całej populacji. Czasami ogólna populacja, dla której lek jest zatwierdzony, jest mniej restrykcyjną grupą niż pacjenci kwalifikujący się do badań klinicznych. Czasami narkotyki okazują się niebezpieczne i zostają wyciągnięte z rynku. Statystyki pomagają we wszystkich aspektach bezpieczeństwa narkotyków. Następnie stosuje się nadzór po wprowadzeniu do obrotu, który również wymaga statystyk, aby upewnić się, że lek działa wystarczająco dobrze dla całej populacji. Czasami ogólna populacja, dla której lek jest zatwierdzony, jest mniej restrykcyjną grupą niż pacjenci kwalifikujący się do badań klinicznych. Czasami narkotyki okazują się niebezpieczne i zostają wyciągnięte z rynku. Statystyki pomagają we wszystkich aspektach bezpieczeństwa narkotyków.

Statystyki nie są idealne. Żyjemy z błędami wynikającymi z przypadkowości i niepewności. Ale jest kontrolowane, a nasze życie jest lepsze, a błędy są zredukowane w porównaniu z tym, czym byłyby, gdyby nie uwzględniono nauk statystycznych.

Ja sam mam te same wątpliwości co do przydatności prawdopodobieństwa i statystyki, jeśli chodzi o podejmowanie decyzji w sprawie pojedynczego zdarzenia. Moim zdaniem znajomość prawdopodobieństwa rzeczywistego lub oszacowanego jest niezwykle ważna, gdy celem jest oszacowanie wyników próbek, niezależnie od tego, czy są to pojedyncze zdarzenia powtarzane wielokrotnie, czy próbka utopiona z określonej populacji. Krótko mówiąc, znajomość prawdopodobieństwa jest bardziej sensowna dla kasyna, który na podstawie obliczeń prawdopodobieństwa może ustanowić zasady gwarantujące, że wygra na dłuższą metę (po wielu grach), a nie dla gracza, który udaje, że gra jeden raz, więc wygrałby lub przegrał (są to wyniki, gdy eksperyment przeprowadzany jest jednorazowo). Jest to również ważne dla generałów, którzy rozważają wysłanie swoich żołnierzy do bitwy z ryzykiem (prawdopodobieństwem) utraty 10% z nich, ale nie dla pewnego lutnika (powiedzmy Jana), który umrze lub przeżyje. Jest tak wiele takich przykładów w prawdziwym życiu.

Chodzi mi o to, że prawdopodobieństwo i statystyka są nie tylko przydatne w prawdziwym życiu, ale, dokładniej, są narzędziem do wszystkich współczesnych badań naukowych i zasad podejmowania decyzji. Nie można jednak powiedzieć, że racjonalność polega na prawdopodobieństwie pojedynczego zdarzenia, bez zamiaru lub możliwości jego powtórzenia, w celu oszacowania wyniku. Tendencja prawdopodobieństwa wpływania na decyzję danej osoby, oparta na jej lub jej poziomie awersji do ryzyka, jest oczywiście subiektywna. Unikający ryzyka i miłośnik ryzyka mają różne postawy (decyzje) wobec tej samej loterii (ta sama oczekiwana wartość).

Długie i krótkie jest to, że prawdopodobieństwo jest unikalnym uogólnieniem zwykłej logiki prawda / fałsz na stopnie wiary między 0 a 1. Jest to tak zwana logiczna interpretacja prawdopodobieństwa bayesowskiego, zapoczątkowana przez RT Coxa, a później popierana przez ET Jaynes.

Ponadto przy słabych założeniach można wykazać, że właściwym sposobem uporządkowania niepewnych wyników według preferencji jest uporządkowanie według oczekiwanej użyteczności, przy założeniu oczekiwanego w odniesieniu do rozkładu prawdopodobieństwa nad wynikami.

Robert Clemen, „Dokonywanie trudnych decyzji”, zawiera wprowadzenie i ekspozycję na temat stosowanej analizy decyzji opartej na prawdopodobieństwie Bayesa i oczekiwanej użyteczności.

Masz absolutną rację sceptycznie podchodząc do konwencjonalnych statystyk częstokroć; według projektu jego wynalazców (RA Fisher, J. Neyman, E. Pearson) ogranicza się do powtarzających się zdarzeń. Ale wiele codziennych problemów nie wiąże się z powtarzającymi się wydarzeniami. Co robić? Typowym podejściem jest kombinacja wciskania kwadratowych kołków w okrągłe otwory i przesuwania słupków bramki. Naprawdę haniebne.

Sceptycznie podchodzę do statystyk z następujących powodów.

1. Jestem przekonany, że ktokolwiek bez dyplomu ukończenia statystyki nie ma pojęcia, co robi. Unf. miliony ludzi na całym świecie prowadzą badania bez dyplomu ukończenia statystyki. Byłem studentem matematyki na Uniwersytecie Maryland College w Parku. Wziąłem 4 400 lekcji matematyki na poziomie. Wszyscy nauczyciele uczyli was, jak obliczać różne rzeczy. Nikt nie nauczył mnie, jak rozumieć cokolwiek, ani przeprowadzać analiz statystycznych, z wyjątkiem testowania hipotez, co nie ma sensu z dwóch powodów.
   1. Do każdego testu hipotezy, którego mnie uczono, musiałem wcześniej przyjąć założenia. Nikt mnie nie nauczył, od którego założenia muszę zacząć. 2. Wartości P nie mają logicznego sensu. Stopień magistra statystyki może nauczyć cię, czym właściwie jest wartość ap. Jestem jednak przekonany, że żaden student nie wie, jak go używać. Definicja licencjacka zakłada prawdopodobieństwo czegoś, co zależy od poprawności hipotezy. Logicznie definicja nie ma żadnego sensu. Co gorsza, NIKT nigdy nie powiedział mi, skąd bierze się prawdopodobieństwo. Właściwie wysłałem e-mail do prawie całego mojego działu matematyki (ponad 200 osób), jeśli ktoś mógłby mi dać odpowiedź. Najbardziej popularne i jedyne odpowiedzi brzmiały: „Trzeba by ZAKŁADAĆ wskaźniki błędu dla prawdopodobieństwa” (Kiedy zapytałem ludzi, jak to zrobiono, wszyscy odpowiedzieli mi ”
   To samo zdarzyło się, gdy poszukałem w Google, jakie znaczenie ma wartość ap. Prowadzi mnie to do wniosku ...

2. Nawet sig. liczba profesorów matematyki i statystyki nie ma pojęcia, jaka jest logika statystyki. Nie oczekuję, że ludzie będą mieli dogłębną wiedzę. Mam jednak wrażenie, że nawet sig. % badaczy i profesorów nie rozumie żadnej logiki leżącej u podstaw statystyk.

3. Błąd statystyczny to nie to samo, co błąd rzeczywisty. Ponieważ ludzie lubią korzystać ze statystyk w celu uzyskania oszacowań dla rzeczy, które są ogromne, ludzie lubią używać błędu statystycznego do „maskowania” faktu, że nie mają pojęcia, jaki jest rzeczywisty błąd.

4. Ludzie używają małych próbek dla dużych populacji, ponieważ teoria statystyczna mówi im, że mogą. Na jednym z moich kursów uniwersyteckich dowiedziałem się, że ludzie lubią korzystać z danych szacunkowych z około 30 szkół w kraju, aby wykazać, że w szkołach w całym kraju jest niewiele przypadków przemocy. Istnieje około 100 000 szkół. To brzmi szalenie. Cały popularny ruch opiera się na około 30 szkołach w całym kraju.

5. Ludzie lubią, aby ciężar dowodu był statystyczny. Kwiat Higgsa nigdy nie został odkryty. Zostało odkryte statystycznie, ale to nic nie znaczy. Coś odkrytego czysto statystycznie jest bezużyteczne, ponieważ nikt nie zna dokładności statystyk.

6. Ludzie lubią korzystać ze statystyk, aby robić ważne rzeczy. Statystyki mogą być wykorzystane jako wskazówki, ale nikt nie wie, jak dokładne są naprawdę. To, że problem wydaje się niemożliwy do rozwiązania, nie oznacza, że ​​statystyki są kolejną najlepszą rzeczą. Fakt, że testowanie DNA opiera się na statystykach, wywołuje u mnie dreszcze. Czy mogę otrzymać karę śmierci wyłącznie ze względu na statystyki? Czy morderca może zostać zwolniony z więzienia wyłącznie ze względu na statystyki?

Uważam, że statystyki mogą być przydatne, ale tylko wtedy, gdy nie zostaną wykorzystane jako wniosek. Wierzę, że statystyki mogą nam powiedzieć, jakie są niektóre możliwości. Następnie należy zastosować logikę, a nie logikę statystyczną, aby udowodnić, które możliwości są prawidłowe.