Badacz 1 przeprowadza 1000 regresji, badacz 2 prowadzi tylko 1, oba osiągają takie same wyniki - czy powinny dokonywać różnych wniosków?

Wyobraź sobie, że badacz bada zbiór danych i przeprowadza 1000 różnych regresji i znajduje między nimi jedną interesującą relację.

Teraz wyobraź sobie, że inny badacz z tymi samymi danymi wykonuje tylko 1 regresję i okazuje się, że jest to ta sama, którą drugi badacz wziął 1000 regresji, aby ją znaleźć. Badacz 2 nie zna badacza 1.

Czy badacz 1 powinien dokonywać innych wniosków niż badacz 2? Dlaczego? Na przykład, czy badacz 1 powinien dokonać korekty wielokrotnych porównań, ale badacz 2 nie powinien?

Jeśli badacz 2 pokazałby ci najpierw swoją pojedynczą regresję, jakie wnioski byś wyciągnął? Jeśli po tym badaczu 1 pokazał ci swoje wyniki, czy powinieneś zmienić swoje wnioski? Jeśli tak, dlaczego miałoby to mieć znaczenie?

PS 1 : Jeśli mówienie o hipotetycznych badaczach sprawia, że ​​problem jest abstrakcyjny, pomyśl o tym: wyobraź sobie, że wykonałeś tylko jedną regresję dla swojego papieru, używając najlepszej dostępnej metody. Następnie inny badacz zbadał 1000 różnych regresji z tymi samymi danymi, dopóki nie znalazł dokładnie tej samej regresji, którą prowadziłeś . Czy powinniście robić różne wnioski? Czy dowody są takie same w obu przypadkach, czy nie? Czy powinieneś zmienić swoje wnioskowanie, jeśli znasz wyniki innych badaczy? Jak społeczeństwo powinno ocenić dowody z dwóch badań?

PS 2: staraj się być konkretny i podać matematyczne / teoretyczne uzasadnienie, jeśli to możliwe!

$1000$

$P (M_k|I_1)=\frac {1}{1000}$$P (M_1|I_2) =1$$M_1$

$M_1$$P (M_1|DI)>>P (M_1|I)$$999$$1$$M_1$$1000$$1000$$0$$p-value <10^{-8}$

$100$$10$$2,000,000$

Nie ma nic zasadniczo złego w przypadku dwóch osób, które zaczynają od różnych informacji i nadal mają różne wnioski po zobaczeniu tych samych danych. Jednak ... oglądanie tych samych danych zbliży ich do siebie, pod warunkiem, że ich „przestrzeń modelu” nakłada się, a dane obsługują ten „nakładający się region”.

Interpretacja statystyczna jest znacznie mniej jasna niż, o co prosisz, matematyczne traktowanie.

Matematyka dotyczy jasno określonych problemów. Np. Rzucanie idealną kostką lub wyciąganie piłek z urny.

Statystyka jest stosowana w matematyce, gdzie matematyka stanowi wskazówkę, ale nie jest (dokładnym) rozwiązaniem.

W tym przypadku oczywiste jest, że okoliczności odgrywają ważną rolę. Jeśli wykonamy regresję, a następnie obliczymy (matematykę) pewną wartość p, aby wyrazić siłę, to jaka jest interpretacja (statystyka) i wartość wartości p?

• W przypadku 1000 regresji wykonanych przez badacza 1 wynik jest znacznie słabszy, ponieważ tego rodzaju sytuacja ma miejsce, gdy tak naprawdę nie mamy pojęcia i po prostu badamy dane. Wartość p jest tylko wskazówką, że może być coś.

  Tak więc wartość p jest oczywiście mniej warta w regresji wykonanej przez badacza 1. A jeśli badacz 1 lub ktoś wykorzystujący wyniki badacza 1 chciałby coś zrobić z regresją, wartość p musi zostać skorygowana. (a jeśli uważasz, że różnica między badaczem 1 a badaczem 2 nie była wystarczająca, po prostu pomyśl o mnogości sposobów, w jakie badacz 1 może poprawić wartość p dla wielu porównań)

• W przypadku pojedynczej regresji przeprowadzonej przez badacza 2 wynik jest znacznie silniejszym dowodem. Ale to dlatego, że regresja sama w sobie nie stoi. Musimy podać powody, dla których badacz 2 dokonał tylko jednej regresji. Może to wynikać z tego, że miał dobre (dodatkowe) powody, by już wierzyć, że regresja pojedyncza jest dobrym modelem dla danych.

• Ustawienie regresji przeprowadzanych przez badacza 1 i 2 jest bardzo różne i nierzadko napotyka się je jednocześnie w tym samym czasie . Jeśli tak jest, to albo

  • badacz 2 miał dużo szczęścia

    Nie jest to rzadkie i powinniśmy to poprawić przy interpretacji literatury, a także powinniśmy poprawić publikowanie całościowego obrazu badań. Jeśli istnieje tysiąc badaczy, takich jak badacz 2, i zobaczymy, że tylko jeden z nich opublikuje sukces, to dlatego, że nie widzieliśmy porażek pozostałych 999 badaczy, moglibyśmy błędnie uwierzyć, że nie mieliśmy przypadku takiego jak badacz 1

  • badacz 1 nie był tak sprytny i przeprowadził niewiarygodnie zbędne poszukiwanie jakiejś regresji, podczas gdy mógł od początku wiedzieć, że powinna to być ta pojedyncza reguła, i mógł wykonać silniejszy test.

    Osoby z zewnątrz, które są mądrzejsze od badacza 1 (nie przejmują się dodatkowymi 999 regresjami od samego początku) i czytają o pracy, mogą zwiększyć siłę znaczenia wyników, jednak nadal nie tak silne, jak zrobiłby dla wynik naukowca 2.

    Chociaż badacz 1 mógł być zbyt konserwatywny przy korekcie o 999 zbędnych dodatkowych regresji, nie możemy zignorować faktu, że badania przeprowadzono w próżni wiedzy i jest znacznie bardziej prawdopodobne, że znajdzie się szczęśliwy badacz typu 1 niż typ 2)

Interesująca pokrewna historia: w astronomii, kiedy planowali lepszy instrument do pomiaru tła kosmicznego z większą precyzją, byli badacze, którzy argumentowali, że opublikują tylko połowę danych. Jest tak, ponieważ istnieje tylko jeden strzał do zebrania danych. Po wykonaniu wszystkich regresji przez dziesiątki różnych badaczy (a ze względu na niewiarygodną różnorodność i kreatywność teoretyka, z pewnością istnieje możliwość dopasowania każdej możliwej, losowej, nierówności w danych), nie ma możliwości wykonania nowy eksperyment do zweryfikowania (to znaczy, chyba że jesteś w stanie wygenerować zupełnie nowy wszechświat).

Krótka historia: nie mamy wystarczających informacji, aby odpowiedzieć na twoje pytanie, ponieważ nie wiemy nic o zastosowanych metodach ani zebranych danych.

Długa odpowiedź ... Prawdziwe pytanie brzmi, czy każdy badacz robi:

• ścisła nauka
• rygorystyczna pseudonauka
• eksploracja danych
• pogłębianie lub hakowanie danych

Ich metody określą siłę interpretacji ich wyników. Jest tak, ponieważ niektóre metody mają mniej dźwięku niż inne.

W rygorystycznej nauce opracowujemy hipotezę, identyfikujemy mylące zmienne, opracowujemy kontrole zmiennych poza naszą hipotezą, planujemy metody testowe, planujemy naszą metodologię analityczną, wykonujemy testy / zbieramy dane, a następnie analizujemy dane. (Należy pamiętać, że metody analityczne są planowane przed rozpoczęciem testu). Jest to najbardziej rygorystyczne, ponieważ musimy zaakceptować dane i analizy, które nie są zgodne z hipotezą. Niedopuszczalna jest zmiana metod po uzyskaniu czegoś interesującego. Każda nowa hipoteza z ustaleń musi ponownie przejść ten sam proces.

W pseudonauce często bierzemy dane, które już zostały zebrane. Jest to trudniejsze w użyciu etycznym, ponieważ łatwiej jest dodać uprzedzenia do wyników. Nadal jednak można stosować naukową metodę dla etycznych analityków. Ustanowienie odpowiednich kontroli może być jednak trudne i należy to zbadać i odnotować.

Eksploracja danych nie opiera się na nauce. Nie ma konkretnej hipotezy. Nie ma a priori oceny czynników zakłócających. Ponadto trudno jest cofnąć się i ponownie wykonać analizę przy użyciu tych samych danych, ponieważ wyniki mogą zostać skażone wcześniejszą wiedzą lub modelowaniem i nie ma żadnych nowych danych do wykorzystania w celu walidacji. Zaleca się rygorystyczny eksperyment naukowy w celu wyjaśnienia możliwych związków wynikających z analizy eksploracyjnej.

Pogłębianie danych lub hakowanie P to sytuacja, w której „analityk” wykonuje wiele testów w nadziei na nieoczekiwaną lub nieznaną odpowiedź lub manipuluje danymi, aby uzyskać wynik. Wyniki mogą być prostym zbiegiem okoliczności, mogą wynikać z mylących zmiennych (zmiennych) lub mogą nie mieć znaczącego wpływu na wielkość lub moc.

Istnieją pewne środki zaradcze na każdy problem, ale środki te należy dokładnie ocenić.