Czy powinniśmy uczyć kurtozy na kursie statystyki stosowanej? Jeśli tak to jak?

Tendencję centralną, rozprzestrzenianie się i skośność można określić stosunkowo dobrze, przynajmniej intuicyjnie; standardowe matematyczne miary tych rzeczy również stosunkowo dobrze odpowiadają naszym intuicyjnym pojęciom. Ale kurtoza wydaje się inna. Jest to bardzo mylące i nie pasuje do żadnej intuicji dotyczącej kształtu dystrybucji.

Typowym wyjaśnieniem kurtozy w zastosowanym ustawieniu byłby ten wyciąg ze Statystyk stosowanych w biznesie i zarządzaniu za pomocą Microsoft Excel [ 1 ] :$^{[1]}$

Kurtosis odnosi się do tego, jak szczytowy jest rozkład lub odwrotnie, jak jest płaski. Jeśli w ogonach jest więcej wartości danych, niż można oczekiwać od rozkładu normalnego, kurtoza jest dodatnia. I odwrotnie, jeśli w ogonach jest mniej wartości danych, niż można by oczekiwać w normalnym rozkładzie, kurtoza jest ujemna. Excel nie może obliczyć tej statystyki, chyba że masz co najmniej cztery wartości danych.

Oprócz zamieszania między „kurtozą” a „nadmierną kurtozą” (jak w tej książce, często używa się tego pierwszego słowa w odniesieniu do tego, co inni nazywają drugim), interpretacji w kategoriach „szczytowości” lub „płaskości” jest wtedy zagmatwany przez przestawienie uwagi na to, ile elementów danych znajduje się w ogonach. Biorąc pod uwagę zarówno „szczyt”, jak i „ogony”, konieczne jest - Kaplansky$^{[2]}$narzekał w 1945 r., że wiele ówczesnych podręczników błędnie twierdziło, że kurtoza ma związek z tym, jak wysoki jest szczyt rozkładu w porównaniu z rozkładem normalnym, bez uwzględnienia ogona. Ale wyraźne uwzględnienie kształtu zarówno na szczycie, jak i na ogonach sprawia, że ​​intuicja jest trudniejsza do zrozumienia, punkt, o którym cytowany powyżej fragment pomija, przechodząc od szczytowości do ciężkości ogonów, jakby te koncepcje były takie same.

Co więcej, to klasyczne wyjaśnienie kurtozy z „piku i ogona” działa dobrze tylko w przypadku rozkładów symetrycznych i nieimodalnych (w rzeczywistości wszystkie przykłady ilustrowane w tym tekście są symetryczne). Jednak „poprawny” ogólny sposób interpretacji kurtozy, czy to w kategoriach „szczytów”, „ogonów” czy „ramion”, jest kwestionowany od dziesięcioleci . $^{[2][3][4][5][6]}$

Czy istnieje intuicyjny sposób nauczania kurtozy w zastosowanym otoczeniu, który nie uderzy w sprzeczności lub kontrprzykłady, gdy zastosuje się bardziej rygorystyczne podejście? Czy kurtoza jest w ogóle użyteczną koncepcją w kontekście tego rodzaju kursów analizy danych stosowanych, w przeciwieństwie do klas statystyki matematycznej? Jeśli „szczytowość” rozkładu jest intuicyjnie użyteczną koncepcją, czy powinniśmy uczyć go za pomocą chwil L ?$^{[7]}$

Herkenhoff, L. i Fogli, J. (2013). Statystyka stosowana w biznesie i zarządzaniu za pomocą Microsoft Excel. New York, NY: Springer.$[1]$

Kaplansky, I. (1945). „Częsty błąd dotyczący kurtozy”. Journal of American Statistics Association,40(230): 259.$[2]$

Darlington, Richard B (1970). „Czy Kurtosis jest naprawdę„ szczytem ”?”. The American Statistician24(2): 19–22$[3]$

Moors, JJA. (1986) „Ponownie zbadane znaczenie kurtosis: Darlington”. The American Statistician40(4): 283–284$[4]$

Balanda, Kevin P. i MacGillivray, HL (1988). „Kurtosis: A Critical Review”. The American Statistician 42(2): 111–119$[5]$

DeCarlo, LT (1997). „O znaczeniu i zastosowaniu kurtozy”. Metody psychologiczne,2(3), 292. Chicago$[6]$

Hosking, JRM (1992). „Chwile czy chwile L? Przykład porównujący dwie miary kształtu dystrybucyjnego”. The American Statistician46(3): 186–189$[7]$

Kurtosis jest naprawdę bardzo prosty ... i użyteczny. Jest to po prostu miara wartości odstających lub ogonów. Nie ma to nic wspólnego ze szczytem - należy porzucić tę definicję.

Oto zestaw danych:
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Zauważ, że „999” jest wartością odstającą.

Oto wartości ze zbioru danych:$z^4$

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00,0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

Zauważ, że tylko wartość odstająca daje które jest zauważalnie różne od 0.$z^4$

Średnia z tych wartości to kurtoza rozkładu empirycznego (odejmij 3, jeśli chcesz, to nie ma znaczenia dla punktu, który robię): 18.05$z^4$

Z tego obliczenia powinno być oczywiste, że dane w pobliżu „szczytu” (dane inne niż odstające) prawie nic nie wpływają na statystyki kurtozy.

Kurtoza jest przydatna jako miara wartości odstających. Wartości odstające są ważne dla uczniów szkół podstawowych, dlatego należy uczyć kurtozy. Ale kurtoza nie ma praktycznie nic wspólnego ze szczytem, ​​czy jest spiczasty, płaski, bimodalny czy nieskończony. Możesz mieć wszystkie powyższe z małą kurtozą, a wszystkie powyższe z dużą kurtozą. Dlatego NIGDY nie powinno być przedstawiane jako mające związek ze szczytem, ​​ponieważ będzie to nauczanie niepoprawnych informacji. Sprawia to, że materiał staje się niepotrzebny, mylący i pozornie mniej przydatny.

Streszczenie:

1. kurtoza jest przydatna jako miara ogonów (wartości odstających).
2. kurtoza nie ma nic wspólnego ze szczytem.
3. kurtoza jest praktycznie przydatna i powinna być nauczana, ale tylko jako miara wartości odstających. Nie wspominaj o szczycie podczas nauczania kurtozy.

W tym artykule jasno wyjaśniono, dlaczego definicja „szczytowości” jest teraz oficjalnie martwa.

Westfall, PH (2014). „ Kurtosis as Peakedness, 1905 - 2014. RIP ” The American Statistician , 68 (3), 191–195.

Chociaż pytanie jest nieco niejasne, jest interesujące. Na jakich poziomach uczy się kurtozy? Pamiętam, że wspomniano o tym na kursie magisterskim z modeli liniowych (dawno temu, na podstawie pierwszego wydania książki Sebera). Nie był to ważny temat, ale wchodzi w takie tematy, jak badanie (brak) niezawodności testu ilorazu prawdopodobieństwa (test F) równości wariancji, gdzie (z pamięci) prawidłowy poziom asymptotycznie zależy od posiadania tej samej kurtozy co rozkład normalny, który to zbyt wiele, aby założyć! Widzieliśmy artykuł (ale nigdy nie czytałem go ze szczegółami) http://www.jstor.org/stable/4615828?seq=1#page_scan_tab_contents autorstwa Oja, który próbuje dowiedzieć się, jaki skośność, kurtozę i takie naprawdę mierzy.

Dlaczego uważam to za interesujące? Ponieważ uczę w Ameryce Łacińskiej, gdzie wydaje się, że skośność i kurtoza są nauczane przez wielu jako ważne tematy, i próbuję powiedzieć studentom podyplomowym (wielu z ekonomii), że kurtoza jest złym miernikiem formy dystrybucji (głównie ponieważ zmienność próbkowania czwartej potęgi jest po prostu zbyt duża), było trudne. Próbowałem zmusić ich do korzystania z QQplots. Tak więc, dla niektórych komentujących, tak, to jest to nauczane , prawdopodobnie za dużo!

Nawiasem mówiąc, to nie tylko moja opinia. Poniższy post na blogu https://www.spcforexcel.com/knowledge/basic-statistics/are-skewness-and-kurtosis-useful-statistics zawiera ten cytat (przypisany dr. Wheelerowi):

Krótko mówiąc, skośność i kurtoza są praktycznie bezwartościowe. Shewhart dokonał tej obserwacji w swojej pierwszej książce. Statystyki skośności i kurtozy po prostu nie dostarczają żadnych użytecznych informacji poza tymi podanymi już przez miary lokalizacji i dyspersji.

Powinniśmy uczyć lepszych technik studiowania form dystrybucji! takie jak QQplots (lub wykresy względnego rozkładu). A jeśli ktoś nadal potrzebuje miar numerycznych, lepsze są pomiary oparte na momentach L. Zacytuję jeden fragment z artykułu JR Statist Soc B (1990) 52, nr 1, s. 105--124 autorstwa JRM Hoskinga: „Momenty L: analiza i oszacowanie rozkładu przy użyciu liniowej kombinacji statystyk zamówień”, strona 109:

$\lambda_1$$\lambda_2$$\mu(F)$$\frac12 \sigma_1(F)$$\tau_3$$\tau_4$

(W tej chwili odnoszę się do definicji tych miar, wszystkie oparte są na momentach L.) Ciekawe jest to, że tradycyjna miara kurtozy oparta na czwartych momentach nie jest miarą kurtozy w sensie Oja! (Będę edytować odniesienia do tego roszczenia, kiedy będę mógł je znaleźć).

Moim zdaniem współczynnik skośności jest przydatny do motywowania terminów: dodatnio i ujemnie. Ale na tym się kończy, jeśli twoim celem jest ocena normalności. Klasyczne miary skośności i kurtozy często nie wychwytują różnego rodzaju odchyleń od normalności. Zwykle zalecam moim studentom stosowanie technik graficznych w celu oceny zasadności oceny normalności, takich jak wykres qq lub normalny wykres prawdopodobieństwa. Również przy odpowiednio dobranej próbce można zastosować histogram. Wykresy pudełkowe są również przydatne do identyfikowania wartości odstających, a nawet ciężkich ogonów.

Jest to zgodne z zaleceniami grupy zadaniowej APA z 1999 r .:

„ Założenia. Należy podjąć wysiłki, aby upewnić się, że podstawowe założenia wymagane do analizy są uzasadnione, biorąc pod uwagę dane. Dokładnie sprawdź pozostałości. Nie używaj testów dystrybucyjnych i statystycznych wskaźników kształtu (np. Skośności, kurtozy) jako zamiennika graficznego badania twoich reszt. Zastosowanie testu statystycznego do diagnozowania problemów z dopasowaniem modelu ma kilka wad. Po pierwsze, diagnostyczne testy istotności oparte na statystyce podsumowującej (takie jak testy jednorodności wariancji) są często niepraktycznie wrażliwe; nasze testy statystyczne modeli są często bardziej niezawodne niż nasze testy statystyczne założeń. Po drugie, statystyki takie jak skośność i kurtoza często nie wykrywają nieregularności dystrybucji reszt. Po trzecie, testy statystyczne zależą od wielkości próby, a wraz ze wzrostem wielkości próby, testy często odrzucają niewinne założenia. Ogólnie rzecz biorąc, nic nie zastąpi graficznej analizy założeń.„

Odniesienia: Wilkinson, L. i grupa zadaniowa ds. Wnioskowania statystycznego. (1999). Metody statystyczne w czasopismach psychologicznych: wytyczne i objaśnienia. American Psychologist, 54, 594-604.

W zależności od zastosowanego kursu może pojawić się pytanie o dokładność szacunków. Dokładność oszacowania wariancji silnie zależy od kurtozy. Dzieje się tak dlatego, że przy wysokiej kurtozie rozkład pozwala na rzadkie, ekstremalnie potencjalnie obserwowalne dane. W ten sposób proces generowania danych wytworzy bardzo ekstremalne wartości w niektórych próbkach, a nie tak ekstremalne wartości w innych. W pierwszym przypadku otrzymasz oszacowanie bardzo dużej wariancji, a w drugim oszacowanie małej wariancji.

Gdyby wyeliminowano przestarzałą i niepoprawną interpretację „szczytowości”, a zamiast tego skupiono się wyłącznie na wartościach odstających (tj. Rzadkich, ekstremalnych obserwowalnych), łatwiej byłoby nauczyć kurtozę na kursach wprowadzających. Ale ludzie skręcają się w węzły, próbując usprawiedliwić „szczytowość”, ponieważ (niepoprawnie) tak jest w swoich podręcznikach i brakuje im prawdziwych zastosowań kurtozy. Aplikacje te dotyczą głównie wartości odstających i oczywiście wartości odstające są ważne w kursach statystyki stosowanej.

$\frac 1 n \sum_{i=1}^n$$\mu,\sigma^2,\mu_4$$\mu$$\sigma^2$$\ne$ przejrzystość.