Różnice w definicji kurtozy i ich interpretacji

Niedawno zdałem sobie sprawę, że istnieją różnice w wartościach kurtozy dostarczanych przez SPSS i Stata.

Zobacz http://www.ats.ucla.edu/stat/mult_pkg/faq/general/kurtosis.htm

Rozumiem, że interpretacja tego samego byłaby zatem inna.

Wszelkie porady, jak sobie z tym poradzić?

— Cesare Camestre
źródło

Wiedziałem o dwóch pierwszych formułach i dość łatwo je rozróżnić; Nie widziałem tej trzeciej formuły.

— Peter Flom

Odpowiedzi:

Trzy formuły

Trzy formuły kurtozy są na ogół używane przez różne programy. wszystkie trzy formuły ( , i ) oraz programy, które ich używają. $g_{2}$ $G_{2}$ $b_{2}$

Pierwszy wzór i typową definicję stosuje się w wielu podręcznikach jest (jest to drugi wzór w łączu przesłanymi) , gdzie oznacza przykładowe momenty :

g_{2} = \frac{m_{4}}{m_{2}^{2}}

$g_{2}=\frac{m_{4}}{m_{2}^{2}}$

m_{r}

$m_{r}$

m_{r} = \frac{1}{n} \sum (x_{i} - \bar{x})^{r}

$m_{r}=\frac{1}{n}\sum(x_{i}-\bar{x})^{r}$

Czasami do tej formuły dodawany jest składnik korekcyjny równy -3, tak że rozkład normalny ma kurtozę równą 0. Wzór kurtozowy z terminem -3 nazywa się kurtozą nadmierną (pierwsza formuła w podanym linku).

Drugi wzór jest (używany przez SAS, SPSS i MS Excel, jest to trzecia formuła w linku przez Ciebie)

G_{2} = \frac{k_{4}}{k_{2}^{2}} = \frac{n - 1}{(n - 2) (n - 3)} [(n + 1) g_{2} + 6]

$G_{2} = \frac{k_{4}}{k_{2}^{2}}= \frac{n-1}{(n-2)(n-3)}\left[(n+1)g_{2}+6\right]$

gdzie to kurtoza zdefiniowana w pierwszej formule. $g_{2}$

Trzeci wzór jest (używany przez MINITAB i BMDP)

b_{2} = \frac{m_{4}}{s^{4}} - 3 = {(\frac{n - 1}{n})}^{2} \frac{m_{4}}{m_{2}^{2}} - 3

$b_{2}=\frac{m_{4}}{s^{4}}-3=\left(\frac{n-1}{n}\right)^{2}\frac{m_{4}}{m_{2}^{2}}-3$

gdzie to obiektywna wariancja próbki : $s^2$

s^{2} = \frac{1}{n - 1} \sum (x_{i} - \bar{x})^{2}

$s^2=\frac{1}{n-1}\sum(x_{i}-\bar{x})^2$

W Rkurtozie można obliczyć za pomocą kurtosisfunkcji z e1071pakietu (link tutaj ). Opcja typeokreśla, która z trzech formuł jest używana do obliczeń (1 = , 2 = , 3 = ). $g_{2}-3$ $G_{2}$ $b_{2}$

Te dwa artykuły omawiają i porównują wszystkie trzy formuły: pierwszy , drugi .

Podsumowanie różnic między formułami

Stosując , rozkład normalny ma wartość kurtozy 3, podczas gdy we wzorach obejmujących składnik korekcyjny -3 (tj. i ) rozkład normalny ma nadmiar kurtozy wynoszący 0. $g_{2}$ $G_{2}$ $b_{2}$
$G_{2}$ jest jedyną formułą dającą obiektywne szacunki dla normalnych próbek (tj. Oczekiwanie w normalności wynosi zero, lub ). $G_{2}$ $\mathbb{E}(G_{2})=0$
W przypadku dużych próbek różnica między formułami jest znikoma, a wybór nie ma większego znaczenia.
W przypadku małych próbek z rozkładu normalnego relacja trzech wzorów pod względem średnich błędów kwadratu (MSE) to: nazwa . Zatem ma najmniejszy, a największy (chociaż tylko jest bezstronny). Jest tak, ponieważ ma największą wariancję spośród trzech formuł: nazwa nazwa . $\operatorname{mse}(g_{2})<\operatorname{mse}(b_{2})<\operatorname{mse}(G_{2})$ $g_{2}$ $G_{2}$ $G_{2}$ $G_{2}$ $\operatorname{Var}(b_{2})<\operatorname{Var}(g_{2})<\operatorname{Var}(G_{2})$
W przypadku małych próbek z niestandardowych rozkładów relacja trzech formuł pod względem odchylenia jest następująca: nazwa nazwa . Pod względem średnich kwadratowych błędów: nazwa nazwa . Zatem ma najmniejszy średni błąd kwadratu i najmniejsze odchylenie trzech formuł. ma największy średni błąd kwadratu i błąd. $\operatorname{bias}(G_{2})<\operatorname{bias}(g_{2})<\operatorname{bias}(b_{2})$ $\operatorname{mse}(G_{2})<\operatorname{mse}(g_{2})<\operatorname{mse}(b_{2})$ $G_{2}$ $b_{2}$
W przypadku dużych próbek ( ) z rozkładów niestandardowych $n>200$ relacja trzech formuł pod względem odchylenia jest następująca: nazwa nazwa . Pod względem średnich kwadratowych błędów: nazwa nazwa . $\operatorname{bias}(G_{2})<\operatorname{bias}(g_{2})<\operatorname{bias}(b_{2})$ $\operatorname{mse}(b_{2})<\operatorname{mse}(g_{2})<\operatorname{mse}(G_{2})$

Zobacz także stronę Wikipedii i stronę MathWorld na temat kurtozy.

— COOLSerdash
źródło

Nazwałbym to przyjemną, jasną interpretacją „zwykłej historii”. Dodałbym, że terminy leptokurtic, mezokurtic, platykurtic to po prostu bagaż, który powinniśmy zostawić w XX wieku: mamy miarę, o której powinniśmy myśleć ilościowo. Mówiąc poważniej, interpretacja szczytów w porównaniu z płaskimi wierzchołkami po prostu nie oddaje wielkiej różnorodności możliwych kształtów rozkładów, nawet tych wszystkich, które są symetryczne. Wreszcie, stronniczość w praktyce niewiele gryzie, chyba że grasz z nieodpowiednio małymi próbkami, ale wariancja naprawdę!

— Nick Cox

Czy możesz wyjaśnić punkt podsumowujący nr 2? Najwyraźniej jest statystyką przykładową, ale oczywiście nie jest identycznie zerowy dla żadnego, ale zdegenerowanego rozkładu. Być może chciałeś powiedzieć, że jego oczekiwanie wynosi zero? (BTW, co to jest „ ” we wzorze? Być może ?)

G_{2}

$G_2$

γ_{2}

$\gamma_2$

g_{2}

$g_2$

— whuber

@whuber: Tak, oczywiście oczekiwanie na wynosi zero. Był to relikt z poprzedniej odpowiedzi i powinny być (zmienił teraz); Zredagowałem swoją odpowiedź dość mocno.

G_{2}

$G_{2}$

γ_{2}

$\gamma_{2}$

g_{2}

$g_{2}$

— COOLSerdash

OK, wygląda lepiej. Będę go głosować, ale mam nadzieję, że ostatecznie usuniesz wyrażenie „Dla normalnego rozkładu ”.

G_{2} = 0

$G_2=0$

— whuber

Link, o którym mowa, mówi również o SAS. Ale w rzeczywistości nic w tym pytaniu, z wyjątkiem być może uwagi autora, nie ogranicza go do tych nazwanych programów.

Myślę, że musimy tutaj wyodrębnić całkiem różne rodzaje problemów, z których niektóre są iluzoryczne, a niektóre autentyczne.

Niektóre programy robią, a niektóre nie, odejmują 3, tak że zgłaszana miara kurtozy wynosi 3 dla zmiennych Gaussa / normalnych bez odejmowania i 0 z odejmowaniem. Widziałem ludzi zdziwionych tym, często, gdy okazuje się, że różnica wynosi 2.999, a nie dokładnie 3.
Niektóre programy wykorzystują współczynniki korekcyjne zaprojektowane w celu zapewnienia, że kurtoza jest szacowana bez uprzedzeń. Te współczynniki korekcyjne zbliżają się do 1, gdy wielkość próbki staje się większa. Ponieważ kurtoza nie jest dobrze oszacowana w małych próbkach, nie powinno to stanowić większego problemu. $n$

Tak więc istnieje niewielki problem z formułami, numer 1 jest znacznie większy niż numer 2, ale oba są drobne, jeśli są zrozumiane. Zaleca się, aby przejrzeć dokumentację używanego programu, a jeśli nie ma dokumentacji wyjaśniającej tego rodzaju szczegóły, należy natychmiast porzucić program. Ale przypadek testowy tak prosty jak zmienna (1, 2) daje kurtozę 1 lub 4 w zależności od samego # 1 (bez współczynnika korekcji).

Pytanie dotyczy zatem interpretacji, ale jest to kwestia o wiele bardziej otwarta i sporna.

Zanim przejdziemy do głównego obszaru dyskusji, często zgłaszaną, ale mało znaną trudnością jest to, że szacunki kurtozy są ograniczone jako funkcja wielkości próby. Napisałem recenzję w Cox, NJ 2010. Granice skośności próbki i kurtozy. Stata Journal 10 (3): 482–495. http://www.stata-journal.com/article.html?article=st0204

Streszczenie: Skośność próbki i kurtoza są ograniczone funkcjami wielkości próby. Ograniczenia lub ich przybliżenia były wielokrotnie odkrywane w ciągu ostatnich kilku dziesięcioleci, ale mimo to wydają się być jedynie mało znane. Granice nadają szacunek szacunkowi, aw skrajnych przypadkach sugerują, że żadna próbka nie mogłaby dokładnie świadczyć o swoim rozkładzie macierzystym. Główne wyniki wyjaśniono w tutorialu i pokazano, jak Stata i Mata mogą być użyte do potwierdzenia i zbadania ich konsekwencji.

Teraz, co jest powszechnie uważane za sedno sprawy:

Wiele osób tłumaczy kurtozę jako szczytowość, ale inni podkreślają, że często służy ona jako miara wagi ogona. W rzeczywistości obie interpretacje mogą być rozsądnym sformułowaniem dla niektórych dystrybucji. Jest prawie nieuniknione, że nie ma prostej werbalnej interpretacji kurtozy: nasz język nie jest wystarczająco bogaty w porównaniu sum czwartych potęg odchyleń od średniej i sum ich drugich potęg.

W niewielkim i często pomijanym klasyku Irving Kaplansky (1945a) zwrócił uwagę na cztery przykłady rozkładów o różnych wartościach kurtozy i zachowaniu niezgodnym z niektórymi dyskusjami na temat kurtozy.

Rozkłady wszystkie są symetryczne średniej 0 i wariancji 1, i funkcji gęstości, o zmiennej i , $x$ $c = \sqrt{\pi}$

$(1)\ \ \ (1 / 3c) (9/4 + x^4) \exp(-x^2)$

$(2)\ \ \ (3 / (c \sqrt8)) \exp(-x^2 / 2) - (1 / 6c) (9/4 + x^4) \exp(-x^2)$

$(3)\ \ \ (1 / 6c) (\exp(-x^2 / 4) + 4 \exp(-x^2))$

$(4)\ \ \ (3 \sqrt3 / 16c) (2 + x^2) \exp(-3x^2 / 4)$

Kurtoza (bez odejmowania) wynosi (1) 2,75 (2) 3,125 (3) 4,5 (4) 8/3 2,667: porównaj wartość Gaussa lub normalną wynoszącą 3. Gęstość przy średniej wynosi (1) 0,423 (2 ) 0,387 (3) 0,470 (4) 0,366: porównaj wartość Gaussa wynoszącą 0,399. $\approx$

Wykreślanie tych gęstości jest pouczające. Użytkownicy Stata mogą pobrać mój kaplanskyprogram z SSC. Pomocne może być użycie skali logarytmicznej dla gęstości.

Nie ujawniając pełnych szczegółów, przykłady podważają każdą prostą historię, że niska lub wysoka kurtoza ma jasną interpretację pod względem szczytowości, a nawet jakiegokolwiek innego pojedynczego kontrastu.

Jeśli imię Irvinga Kaplansky'ego dzwoni, to prawdopodobnie dlatego, że znasz jego pracę we współczesnej algebrze. On (1917-2006) był kanadyjskim (później amerykańskim) matematykiem, wykładał i badał w Harvard, Chicago i Berkeley, podczas wojny w Applied Mathematics Group National Defense Council na Columbia University. Kaplanski wniósł znaczący wkład w teorię grup, teorię pierścieni, teorię algebry operatorów i teorię pola. Był wybitnym pianistą i autorem tekstów oraz entuzjastycznym i świadomym wykładowcą matematyki. Zwróć także uwagę na inne wkłady w prawdopodobieństwo i statystyki Kaplansky'ego (1943, 1945b) oraz Kaplansky'ego i Riordana (1945).

Kaplansky, I. 1943. Charakterystyka rozkładu normalnego. Annals of Mathematical Statistics 14: 197-198.

Kaplansky, I. 1945a. Częsty błąd dotyczący kurtozy. Journal, American Statistics Association 40: 259 tylko.

Kaplansky, I. 1945b. Asymptotyczny rozkład przebiegów kolejnych elementów. Annals of Mathematical Statistics 16: 200-203.

Kaplansky, I. i Riordan, J. 1945. Wielokrotne dopasowanie i przebiega metodą symboliczną. Annals of Mathematical Statistics 16: 272-277.

— Nick Cox
źródło

+1 Ciekawe komentarze na temat Kaplanskiego, z którego dziełem algebraicznym od dawna się znam.

— whuber

Nick, twój komentarz „W rzeczywistości obie interpretacje (szczytowość i tailingness) mogą być rozsądnym sformułowaniem dla niektórych dystrybucji”. jest niepoprawny i dlatego nie jest pomocny, po prostu dlatego, że kurtoza nic nie mówi o „szczytowości”. Poważnie, czy potrafisz nawet zdefiniować, co oznacza „szczytowość”? I, jeśli mogę, kontynuacja: Biorąc pod uwagę twoją definicję „szczytowości” (zakładając, że możesz ją wymyślić), w jaki sposób odnosi się ona matematycznie do kurtozy?

— Peter Westfall

@Peter Westfall Jeśli możemy się zgodzić, że kurtoza mierzy kurtozę, to mój argument jest po prostu argumentem Kaplansky'ego, który opiera się na konkretnych krzywych i wynikach numerycznych, a nie sparringach werbalnych, tj. Że wyższa kurtoza czasami idzie z wyższymi gęstościami szczytowymi i odwrotnie dolna kurtoza. Nie jestem wcale stronnikiem terminu szczytowość, a kiedy muszę uprościć werbalnie, staram się twierdzić, że w praktyce kurtoza jest głównie historią wagi ogona. Myślę, że formuły tutaj wykonują całą pracę i niosą całą wagę statystyczną, a polemiki słowne są mniej pomocne.

— Nick Cox

Ponadto sugeruję, że nie ma łatwej charakterystyki kurtozy, z wyjątkiem rozkładów całkowicie symetrycznych. Nie sądzę, aby ktokolwiek był w ogóle zobowiązany do zdefiniowania szczytowości; istnieje definicja kurtozy, a praktyczne pytania to, jak o niej myśleć i jak daleko jest ona użyteczna.

— Nick Cox

Samo stwierdzenie „po prostu dlatego, że kurtoza nic nie mówi o szczytowości” jest bezpodstawne. Brakujące referencje z pewnością obejmowałyby twój artykuł w TAS, który jest dostępny dla zainteresowanych osób do rozważenia własnej dłuższej dyskusji.

— Nick Cox,