Czy mogę zastosować test Kołmogorowa-Smirnova i oszacować parametry dystrybucji?

Czytałem, że test Kołmogorowa-Smirnowa nie powinien być stosowany do testowania dobroci dopasowania rozkładu, którego parametry zostały oszacowane na podstawie próbki.

Czy sensowne jest podzielenie mojej próbki na dwie części i wykorzystanie pierwszej połowy do oszacowania parametrów, a drugiej do testu KS?

Z góry dziękuję

estimation fitting kolmogorov-smirnov

— sortega
źródło

Z jaką dystrybucją chcesz przetestować i dlaczego?

— gung - Przywróć Monikę

Podejrzewam, że dane mają rozkład wykładniczy.

— sortega

Odpowiedzi:

Lepszym rozwiązaniem jest obliczenie wartości krytycznej wartości p za pomocą symulacji. Problem polega na tym, że gdy szacuje się parametry na podstawie danych zamiast hipotetycznych wartości, rozkład statystyki KS nie jest zgodny z rozkładem zerowym.

Zamiast tego możesz zignorować wartości p z testu KS i zamiast tego zasymulować kilka zbiorów danych z rozkładu kandydata (z sensownym zestawem parametrów) o tym samym rozmiarze co twoje rzeczywiste dane. Następnie dla każdego zestawu oszacuj parametry i wykonaj test KS, używając parametrów szacunkowych. Wasza wartość p będzie proporcją statystyk testowych z zestawów symulowanych, które są bardziej ekstremalne niż dla oryginalnych danych.

— Greg Snow
źródło

Uważam to rozwiązanie za nieco mylące (przynajmniej dla mnie); co rozumiesz przez „znaczący zestaw parametrów” dla rozkładu kandydatów? Początkowo nie znasz parametrów rozkładu kandydata, skąd miałbyś wiedzieć, co to jest „znaczący zestaw parametrów”?

— Néstor,

Możesz wypróbować różne zestawy parametrów, aby zobaczyć, czy to robi różnicę, czy nie (dla normalnej tak nie jest, ale niektóre dystrybucje mogą). Pomyśl o nauce opartej na twoich danych lub porozmawiaj z ekspertem w tej dziedzinie, powinieneś być w stanie uzyskać ogólny pomysł, od czego zacząć, np. Wiem, jaka jest średnia wysokość dorosłych mężczyzn w Nigerii, ale ja jestem całkiem pewne, że jest dodatnia i mniejsza niż 3 metry.

— Greg Snow,

@GregSnow Natknąłem się na ten post, ponieważ jest on związany z moją obecną pracą. Zastanawiałem się, czy istnieje jakieś teoretyczne uzasadnienie proponowanej metody? To znaczy, skąd wiemy, że proponowana „wartość p” jest rzeczywiście równomiernie rozłożona od 0 do 1? Proponowana wartość p nie wydaje się być konwencjonalną wartością p, ponieważ hipoteza zerowa jest teraz zbiorem rozkładów

— renrenthehamster

@renrenthehamster, masz rację, dlatego zasugerowałem symulację w różnych warunkach. W przypadku niektórych rozkładów (oczekiwałbym normalności) nie będzie to miało większego znaczenia, ale inne mogą wymagać różnych wartości odcięcia dla różnych prawdziwych wartości parametrów. W takim przypadku użytkownik (ty) musi znaleźć znaczącą wartość zerową do przetestowania, która obejmuje zarówno kształt rozkładu, jak i zestaw lub zakres parametrów, z którymi czujesz się komfortowo.

— Greg Snow

@LilyLong, symulacje były o wiele trudniejsze i czasochłonne, więc testy były opracowywane tak, by były szybsze / łatwiejsze niż symulacja, niektóre wczesne tabele zostały utworzone przez symulację. Wiele testów można teraz łatwo zastąpić symulacją, ale prawdopodobnie będą one z nami jeszcze dłużej ze względu na tradycję i prostotę.

— Greg Snow,

Podział próbek może być może zmniejszyć problem z rozkładem statystyki, ale go nie usuwa.

Twój pomysł pozwala uniknąć problemu, że szacunki będą „zbyt bliskie” w stosunku do wartości populacji, ponieważ opierają się na tej samej próbie.

Nie unikasz problemu, który wciąż jest szacowany. Rozkład statystyki testowej nie jest tabelaryczny.

W tym przypadku zwiększa współczynnik odrzucania poniżej wartości zerowej, zamiast radykalnie go zmniejszać.

Lepszym wyborem jest skorzystanie z testu, w którym parametry nie są znane, na przykład Shapiro Wilk.

Jeśli jesteś poślubiony testem typu Kołmogorowa-Smirnowa, możesz podejść do testu Lillieforsa.

To znaczy, aby użyć statystyki KS, ale aby rozkład statystyki testowej odzwierciedlał wpływ oszacowania parametrów - symuluj rozkład statystyki testowej przy szacowaniu parametrów. (Nie jest już wolne od dystrybucji, więc potrzebujesz nowych tabel dla każdej dystrybucji).

http://en.wikipedia.org/wiki/Lilliefors_test

Liliefors użyli symulacji dla przypadku normalnego i wykładniczego, ale możesz to łatwo zrobić dla dowolnego określonego rozkładu; w czymś takim jak R to kwestia chwil, aby zasymulować 10 000 lub 100 000 próbek i uzyskać rozkład statystyki testowej poniżej wartości zerowej.

[Alternatywą może być rozważenie Andersona-Darlinga, który ma ten sam problem, ale który - sądząc z książki D'Agostino i Stephensa ( techniki dobroci dopasowania ) wydaje się być mniej wrażliwy na to. Możesz dostosować pomysł Lilliefors, ale sugerują oni stosunkowo prostą korektę, która wydaje się działać całkiem dobrze.]

Ale są jeszcze inne podejścia; istnieją rodziny płynnych testów dobroci dopasowania, np. (np. książka Raynera i Besta), które w wielu konkretnych przypadkach mogą poradzić sobie z oszacowaniem parametrów.

* efekt może być nadal dość duży - być może większy niż normalnie można by uznać za akceptowalny; Momo ma rację, wyrażając zaniepokojenie. Jeśli problemem jest wyższy poziom błędu typu I (i bardziej płaska krzywa mocy), może to nie być poprawa!

— Glen_b - Przywróć Monikę
źródło

czy mógłbyś wyjaśnić, w jaki sposób „podział próbek rozwiązałby problem z rozkładem statystyki”? Moim zdaniem parametry zostałyby oszacowane na podstawie podpróbki, a następnie podłączone do testu KS drugiej podpróbki, ale parametry nadal byłyby związane z błędem próbkowania, który nie jest uwzględniony w rozkładzie zerowym. Brzmi to dla mnie tak, jakby ktoś z podobnym pomysłem mógł podzielić próbkę z rozkładu normalnego, oszacować odchylenia standardowe w jednej podpróbce i przeprowadzić średnie porównanie ze standardową normą zamiast t-dist w drugiej podpróbce.

— Momo,

@Momo „rozwiązanie” jest zbyt silne; „redukuj” jest lepsze. Jeśli parametry szacowane są z tych samych obserwacji testujesz, a następnie - o ile nie stanowią dla tego efektu - odchylenia próbki od dystrybucji będzie „zbyt mały” - stopa odrzucenie idzie waay dół. Użycie innej próbki usuwa ten efekt. Wartości parametrów wynikające z oszacowania z drugiej próbki nadal zawierają błąd próbkowania. Będzie to miało pewien wpływ na test (podnosi poziom błędów typu I), ale nie będzie miało dramatycznego efektu odchylania, jaki ma użycie tych samych danych w obu przypadkach.

— Glen_b

@Momo Zedytowałem swój komentarz, aby usunąć „rozwiązać” i zastąpić go niektórymi wyjaśnieniami

— Glen_b

Obawiam się, że to nie rozwiązałoby problemu. Uważam, że problemem nie jest to, że parametry są szacowane z tej samej próbki, ale z dowolnej próbki. Wyprowadzenie zwykłego rozkładu zerowego testu KS nie uwzględnia żadnego błędu oszacowania w parametrach rozkładu odniesienia, ale raczej uznaje je za dane. Zobacz także Durbin 1973, który szczegółowo omawia te problemy i oferuje rozwiązania.

— Momo
źródło

To właściwie dwa oddzielne problemy. Jeśli użyjesz tych samych danych do oszacowania parametrów i wykonania testu KS, ogólnie zobaczysz zawyżone wartości p, ponieważ zasadniczo dostosowujesz rozkład do danych przed testowaniem na nim. Jeśli jednak użyjesz dwóch niezależnych zestawów próbek, tak nie jest. Jednak nieprecyzyjne oszacowanie parametrów może zmniejszyć wartości p, które otrzymujesz w tym przypadku, ponieważ teraz zasadniczo testujesz pod kątem (nieco) złego rozkładu.

— fgp