Strategie wprowadzania zaawansowanych statystyk do różnych odbiorców

Pracuję głównie z nie-statystykami w takich dziedzinach, jak medycyna, nauki społeczne i edukacja.

Niezależnie od tego, czy konsultuję się z doktorantami, pomagam badaczom w artykułach, czy recenzuję artykuły do ​​czasopism, często mam problem z tym, że ktoś (klient, autor, komisja doktorska, redaktor czasopisma) chce zastosować jakąś stosunkowo znaną technikę, gdy jest ona całkowicie nieodpowiednie lub gdy istnieją lepsze, ale mniej znane metody. Często wyjaśnię alternatywną technikę, ale potem powiedzą mi „wszyscy robią to inaczej”.

Byłbym zainteresowany tym, jak inni radzą sobie z tego rodzaju trudnościami.

WZBOGACENIE

@MichaelChernick zasugerował, że mogę podzielić się historiami, więc zrobię to

Obecnie pracuję z jedną osobą, która powiela poprzedni artykuł i dodaje jedną niezależną zmienną, aby sprawdzić, czy to pomaga. Poprzedni artykuł jest, szczerze mówiąc, okropny. Traktuje dane zależne tak, jakby były niezależne; jest niesamowicie wyczerpany i występują również inne problemy. Jednak on (mój klient) przedłożył wcześniejszą wersję jako rozprawę i nie tylko uzyskał stopień naukowy, ale był szeroko chwalony za badania.

Wiele razy próbowałem przekonać ludzi, aby nie dychotomizowali zmiennych. To pojawia się bardzo często w medycynie. Cierpliwie zaznaczam, że dicootomizacja (powiedzmy) masy urodzeniowej na niską i normalną (zwykle przy 2500 g) oznacza traktowanie 2499 g dziecka tak jak 1400 g; ale traktowanie dziecka o masie 2501 gramów zupełnie inaczej. Klinicysta zgadza się ze mną, że to głupie. Potem mówi, żeby zrobić to w ten sposób.

Dawno temu miałem klienta będącego absolwentem, którego komitet nalegał na analizę skupień. Uczeń nie zrozumiał metody, metoda nie odpowiedziała na przydatne pytania, ale tego właśnie chciała komisja, więc to otrzymali.

Całe pole grafiki statystycznej to takie, w którym dla wielu „wystarczyło to dziadkowi”.

Są też ludzie, którzy wydają się po prostu naciskać przyciski. Pamiętam jedną prezentację (nie przez kogoś, komu pomogłem!), Która wzięła cały kwestionariusz i przeanalizowała go. Jedną ze zmiennych, które uwzględniła, był numer identyfikacyjny!

O tak

To trudne pytanie!

Najpierw kilka przemyśleń na temat tego, dlaczego tak się dzieje. Pracuję w obszarze, który (lub przynajmniej powinien ) szeroko wykorzystywać statystyki, ale gdzie większość praktyków nie jest ekspertami statystycznymi. W związku z tym widać dużo: „Włożyłem wektor do funkcji testu t programu Excel i liczba ta wypadła. Dlatego mój artykuł jest poparty statystykami”.

Głównym powodem, dla którego to się dzieje, jest to, że brak wiedzy statystycznej zaczyna się na górze. Jeśli recenzenci i komisja nie są na bieżąco z technikami statystycznymi, musisz uzasadnić użycie czegoś, co jest „niekonwencjonalne”. Na przykład w pracy dyplomowej zdecydowałem się użyć wykresów skrzypcowych zamiast wykresów skrzynkowych, aby pokazać kształt rozkładu. Zastosowanie tej techniki wymagało obszernej dokumentacji w pracy magisterskiej, a także długiej dyskusji w mojej obronie, w której wszyscy członkowie komitetu chcieli wiedzieć, co oznacza ten dziwny spisek, pomimo zarówno opisów w tekście, jak i odniesień do materiału źródłowego . Gdybym właśnie użył fabuły pudełkowej (która pokazuje mniej informacje w tym przypadku i mogą łatwo oszukać widza o kształcie rozkładu, jeśli jest on multimodalny) nikt by nic nie powiedział, a moja obrona byłaby łatwiejsza.

Chodzi o to, że na polach niestatystycznych praktycy stają przed trudnym wyborem: możemy przeczytać, a następnie zastosować prawidłowe metody, co pociąga za sobą wiele pracy, która nie jest zainteresowana żadnym z naszych wyższych członków; lub możemy po prostu płynąć z prądem, uzyskać pieczątkę na naszych papierach i tezach i nadal stosować nieprawidłowe, ale konwencjonalne metody.

Teraz, aby odpowiedzieć na twoje pytanie:

Uważam, że dobrym podejściem jest podkreślenie konsekwencji niezastosowania właściwych technik. Może to obejmować:

• Podając prawdziwy przykład tego, jak ktoś w swojej dziedzinie doświadczył konsekwencji złego wnioskowania. W niektórych dziedzinach jest to łatwiejsze niż w innych. Przykłady, w których kariery zostały uszkodzone, są szczególnie dobre.

• Wyjaśnienie, że wykonanie nieprawidłowej analizy może pozostawić cię w sytuacji, w której twoje wyniki prawdopodobnie nie zostaną przeniesione do realnego świata, co może spowodować szkody (np. W mojej dziedzinie, jeśli prototyp systemu AI wydaje się statystycznie lepszy niż konkurencja, ale w rzeczywistości jest to samo, dlatego spędzanie kolejnych 6 miesięcy na budowaniu pełnej implementacji to naprawdę zły pomysł.

• Wybierz techniki, które zaoszczędzą użytkownikom dużo czasu. Wystarczająco dużo czasu, aby mogli poświęcić tyle, ile zaoszczędzili, tłumacząc techniki wyższym.

Mówiąc z perspektywy psychologa o niewielkim stopniu zaawansowania statystycznego: wprowadzając metodę, również narzędzia. Jeśli opowiesz większości badaczy w mojej dziedzinie długą historię o świetnej nowej metodzie, będą spędzać cały czas martwiąc się, że linia podziału jest „i wszystko, co musisz zrobić, to odświeżyć rachunek różniczkowy, a następnie wziąć dwa tygodniowy kurs szkoleniowy! ” (lub „i kup pakiet statystyk $ 2000!” lub „i dostosuj 5000 linii kodu Python i R!”). Podczas gdy istnieje implementacja metody dostępnej w pakiecie statystyk, z którego już korzystają, lub w kawałku wolnego oprogramowania ze zrozumiałym GUI, i mogą przyspieszyć ją w ciągu jednego lub dwóch dni, mogą chcieć dać to próba.

Zdaję sobie sprawę, że takie podejście może wydawać się nieprzyjazne i nienaukowe, ale ludzie łatwo wpadają, gdy martwią się dotacjami i publikacjami, i nie widzą, aby uczenie się ogromnej ilości matematyki mogło pomóc im utrzymać pracę.

Dzięki za miłe pytanie, Peter. Pracuję w medycznej instytucji badawczej i mam do czynienia z lekarzami, którzy prowadzą badania i publikują w czasopismach medycznych. Często bardziej interesuje ich publikacja niż „robienie statystyk całkowicie poprawnie”. Więc kiedy zaproponuję niepodobną technikę, wskażą na podobny artykuł i powiedzą „patrz, zrobili to w ten sposób i opublikowali swoje wyniki”.

Myślę, że istnieje problem, gdy opublikowany artykuł jest naprawdę zły i zawiera błędy. Trudno się kłócić, mimo że mam świetną reputację. Niektóre dokumenty mają duże ego i uważają, że mogą nauczyć się prawie wszystkiego. Myślą więc, że rozumieją statystyki, kiedy tego nie robią, i mogą nalegać. To może być frustrujące. Kiedy jest w trakcie testu, a Wilcoxon jest bardziej odpowiedni, zlecam im wykonanie testu Wilka Shapiro, a jeśli normalność zostanie odrzucona, uwzględniamy obie metody i wyjaśniamy, dlaczego Wilcoxon jest lepszy. Czasami mogę ich przekonać i często zależą one ode mnie w statystykach, więc mam trochę więcej siły, niż mógłby mieć ogólny konsultant.

Wpadłem również na sytuację, w której zrobiłem dla nich krzywe Kaplana-Meiera i użyliśmy testu rang logarytmicznych, ale Wilcoxon dał inny wynik. Trudno mi było zdecydować iw takich sytuacjach uważam, że najlepiej jest przedstawić obie metody i wyjaśnić, dlaczego się różnią. To samo dotyczy zastosowania przedziałów ufności Peto vs Greenwood dla krzywej przeżycia. Wyjaśnienie założenia o ryzyku dotyczącym proporcji Coxa może być trudne i często źle interpretują iloraz szans i ryzyko względne.

Nie ma prostej odpowiedzi. Miałem tutaj szefa, który był czołowym badaczem medycznym w dziedzinie kardiologii i czasami recenzuje czasopisma. Patrzył na artykuł dotyczący diagnozy i wykorzystał AUC jako miarę. Nigdy wcześniej nie widział krzywej AUC i przyszedł do mnie, aby sprawdzić, czy uważam ją za prawidłową. Miał wątpliwości. Okazało się to właściwe i wyjaśniłem mu to najlepiej, jak mogłem.

Próbowałem wykładać biostatystyce lekarzom i uczyłem biostatystyki w publicznych szkołach zdrowia. staram się robić to lepiej niż inni i w 2002 roku wydałem książkę dla wstępnych kierunków nauk o zdrowiu z epidemiologiem jako współautorem. Wiley chce, żebym teraz zrobił drugą edycję. W 2011 r. Opublikowałem bardziej zwięzłą książkę, którą starałem się opisać tylko to, co najważniejsze, aby zajęci lekarze medycyny mogli poświęcić trochę czasu na jej ponowne przeczytanie i odwołanie się do niej. Tak sobie z tym radzę. Może podzielisz się z nami swoimi historiami.

$\log(x); \ x \in (1,2)? \ $

W swojej karierze prowadzę wiele badań interdyscyplinarnych i doprowadziłem do ścisłej współpracy z badaczami uzależnień, epidemiologami, biologami, kryminologami i lekarzami w różnych momentach. Zazwyczaj dotyczyło to analizy danych, w przypadku których zwykłe podejścia „z góry” zawiodłyby z różnych powodów (np. Pewna kombinacja tendencyjnego próbkowania i grupowania, danych indeksowanych wzdłużnie i / lub przestrzennie). Kilka lat spędziłem na konsultacjach w niepełnym wymiarze godzin w szkole wyższej, gdzie pracowałem z ludźmi z wielu różnych dziedzin. Musiałem więc dużo o tym myśleć.

Z mojego doświadczenia wynika, że ​​najważniejszą rzeczą jest wyjaśnienie, dlaczego zwykłe podejścia w puszkach są nieodpowiednie i odwołać się do chęci danej osoby do „dobrej nauki”. Żaden szanowany badacz nie chce opublikować czegoś, co jest rażąco mylące we wnioskach z powodu niewłaściwej analizy statystycznej. Nigdy nie spotkałem kogoś, kto powiedziałby coś w stylu „Nie dbam o to, czy analiza jest poprawna, czy nie, chcę tylko to opublikować”, chociaż jestem pewien, że tacy ludzie istnieją - moją odpowiedzią byłoby zakończyć relację zawodową, jeśli to w ogóle możliwe. Jako statystyk, moja reputacja może ulec uszkodzeniu, jeśli ktoś, kto tak naprawdę wie, o czym mówi, czyta gazetę.

Przyznaję, że przekonanie kogoś, że dana analiza jest nieodpowiednia, może być trudne, ale uważam, że jako statystycy powinniśmy (a) posiadać niezbędną wiedzę, aby dokładnie wiedzieć, co może pójść nie tak z podejściem „konserwowanym” i (b) mieć umiejętność wyjaśnienia tego jest dość zrozumiałym sposobem. O ile nie pracujesz jako profesor statystyki lub matematyki, częścią twojego zadania będzie praca z niestatystami (a nawet czasami, jeśli jesteś profesorem statystyki / matematyki).

Odnośnie do (a) , jeśli statystyk nie ma tej wiedzy, dlaczego mieliby zniechęcać do podejścia standardowego? Jeśli statystyki mówią „używaj modeli efektów losowych”, ale nie potrafią wyjaśnić, dlaczego przyjęcie niezależności jest problemem, to czy nie są winni poddania się dogmatom w taki sam sposób, jak klient? Każdy recenzent, statystyka lub nie, może krytykować pedantycznie podejście do modelowania statystycznego, bo spójrzmy prawdzie w oczy - wszystkie modele są błędne. Ale wymaga specjalistycznej wiedzy, aby dokładnie wiedzieć, co może pójść nie tak.

Jeśli chodzi o (b) , odkryłem, że graficzne przedstawienie tego, co może pójść nie tak, zazwyczaj „uderza w dom” najbardziej. Przykłady:

• $x$

• $y = x$$x \in (0,1)$$y = 1$$x > 1$$p$$x$$y$

• Inną częstą sytuacją (wspomnianą również przez Piotra) jest wyjaśnienie, dlaczego przyjęcie niepodległości jest złym pomysłem. Na przykład, możesz na podstawie wykresu wykazać, że dodatnia autokorelacja będzie zazwyczaj generować dane, które są bardziej „skupione”, a wariancja będzie z tego powodu niedoszacowana, dając intuicję, dlaczego naiwne standardowe błędy są zwykle zbyt małe. Można również wykreślić dane z dopasowaną krzywą, która zakłada niezależność, i można wizualnie zobaczyć, w jaki sposób klastry wpływają na dopasowanie (skutecznie zmniejszając wielkość próby) w sposób, który nie występuje w niezależnych danych.

Jest jeszcze milion innych przykładów, ale pracuję tutaj z ograniczeniami przestrzennymi / czasowymi :) Gdy zdjęcia po prostu nie będą działać z jakiegokolwiek powodu (np. Pokazując, dlaczego jedno podejście jest słabe), przykłady symulacji są również opcją, którą zastosowałem od czasu do czasu.

Kilka przypadkowych myśli, ponieważ jest to złożony problem ...

Uważam, że dużym problemem jest brak edukacji matematycznej w różnych dyscyplinach zawodowych i programach dyplomowych.

Bez matematycznego zrozumienia statystyki, staje się ona zbiorem formuł, które należy zastosować odpowiednio do przypadku.

Ponadto, aby uzyskać prawdziwe zrozumienie tej kwestii, profesorowie powinni mówić o oryginalnych problemach, z którymi borykali się pierwotni autorzy w momencie publikowania swoich podejść. Można się z tego dowiedzieć więcej niż czytając tysiące książek na ten temat.

Statystyka jest zestawem narzędzi do rozwiązywania problemów, ale jest także dziełem sztuki i napotyka te same problemy, co każda inna sztuka.

Można nauczyć się robić dźwięki za pomocą instrumentu. Ale będąc w stanie„gra” na instrumencie nie staje się muzykiem.

Jednak często zdarza się, że ludzie postrzegają siebie jako muzyków bez przestudiowania jednej koncepcji rytmu, melodii i harmonii.

Z tej samej linii, aby opublikować artykuły, większość ludzi nie musi znać ani rozumieć koncepcji formuły ... w dzisiejszych czasach naukowcy muszą po prostu wiedzieć, jaki klawisz muszą nacisnąć, a kiedy trzeba nacisnąć, kropka.

Nie ma to więc nic wspólnego z „ego” MD. Jest to problem subkulturowy, bardziej związany z edukacją, obyczajami i wartościami społeczności naukowej.

Czego można się spodziewać w czasach, w których publikuje się tysiące bezużytecznych artykułów i książek w celu spełnienia niektórych wymagań / zasad akademickich? Czy w czasach, w których ilość publikowanych artykułów jest ważniejsza niż ich jakość?

Główni naukowcy nie martwią się już o dobrą naukę. Są niewolnikami liczb. Są one dotknięte (lub zainfekowane) błędem administracyjnym naszej epoki ...

Tak więc, z mojej perspektywy, dobry kurs statystyczny powinien obejmować matematyczne, historyczne i filozoficzne podstawy badanego podejścia, zawsze podkreślając kilka ścieżek, które można zrobić wziąć za rozwiązanie jednego problemu.

Wreszcie, gdybym był profesorem statystyki / prawdopodobieństwa, moje pierwsze wykłady byłyby poświęcone takim problemomtasowanie kart lub rzucanie monetą . To ustawi publiczność we właściwej pozycji do słuchania ... prawdopodobnie.