Pomiar dobroci dopasowania w modelu, który łączy dwa rozkłady

Mam dane z podwójnym pikiem, które próbuję zamodelować, a piki pokrywają się wystarczająco, że nie mogę ich traktować niezależnie. Histogram danych może wyglądać mniej więcej tak:

alternatywny tekst

Stworzyłem do tego dwa modele: jeden wykorzystuje dwa rozkłady Poissona, a drugi dwa ujemne rozkłady dwumianowe (aby uwzględnić nadmierną dyspersję). Jaki jest właściwy sposób, aby powiedzieć, który model dokładniej pasuje do danych?

Początkowo sądzę, że mógłbym użyć testu Kołmogorowa-Smirnova do porównania każdego modelu z danymi, a następnie wykonać test współczynnika wiarygodności, aby sprawdzić, czy jest on znacznie lepiej dopasowany. Czy to ma sens? Jeśli tak, nie jestem pewien, jak przeprowadzić test współczynnika wiarygodności. Czy kwadrat chi jest odpowiedni i ile mam stopni swobody?

Jeśli to pomoże, niektóre (bardzo uproszczone) kody R dla modeli mogą wyglądać mniej więcej tak:

## inital data points
a <- read.table("data")

#create model data
model.pois = c(rpois(1000000,200),rpois(500000,250))
model.nb = c(rnbinom(1000000,200,0.5),rnbinom(500000,275,0.5)

#Kolmogorov-Smirnov test
#use ks.boot, since it's count data that may contain duplicate values
kpois = ks.boot(model.pois,a)
knb = ks.boot(model.nb,a)

#here's where I'd do some sort of likelihood ratio test
# . . .

Edycja: Oto obraz, który może wyjaśniać dane i rozkłady, które pasują lepiej. Z wizualizacji jasno wynika, że drugi model (wykorzystujący ujemny dwumianowy dist do uwzględnienia nadmiernej dyspersji) jest lepiej dopasowany. Chciałbym to jednak pokazać ilościowo. alternatywny tekst

(czerwony - dane, zielony - model)

— chrisamiller
źródło

czy znasz rozkład prawdopodobieństwa wartości w każdym przedziale ? Etykieta osi y sprawia, że myślę, że może to być Poissonian lub Multinomial? (zakładając, że model daje ci średnią w każdym przedziale)

— Andre Holzner

Dane są zasadniczo pobierane z dwóch procesów Poissona, ale istnieją ukryte zmienne, których nie mogę poprawić, co prowadzi do nadmiernej dyspersji. Zatem ujemny dwumian jest zdecydowanie lepszym modelem. (patrz nowy obrazek / tekst, który dodałem powyżej). Muszę pokazać, że mój model NB lepiej pasuje ilościowo.

— chrisamiller

Co powiesz na takie dane, jak średni błąd kwadratu między wartościami rzeczywistymi a przewidywanymi?

hrmm - podoba mi się ten pomysł, Srikant. Jest to o wiele prostsze niż myślałem, ale nadal ma sens. Wrzuć odpowiedź poniżej, abym mógł ją przypisać i wysłać przedstawiciela po swojemu. Nadal jestem zainteresowany słyszeniem innych metod, ale na razie może to działać.

— chrisamiller

Odpowiedzi:

Do porównania dwóch modeli można użyć metryki, takiej jak średni błąd kwadratu między wartościami rzeczywistymi a przewidywanymi.

To była właściwa odpowiedź dla mojej konkretnej sytuacji, mimo że odpowiedź Glen_b pomogła mi dowiedzieć się więcej. Więcej pozytywnych opinii dla niego, zaakceptowano odpowiedź dla Srikant. Wszyscy wygrywają - dziękuję wszystkim.

— chrisamiller

Nie można ich bezpośrednio porównać, ponieważ dwumian ujemny ma więcej parametrów. Rzeczywiście, Poisson jest „zagnieżdżony” w ujemnym dwumianowym w tym sensie, że jest to przypadek ograniczający, więc NegBin zawsze będzie pasował lepiej niż Poisson. Pozwala to jednak rozważyć coś w rodzaju testu współczynnika prawdopodobieństwa, ale fakt, że Poisson znajduje się na granicy przestrzeni parametrów dla ujemnego dwumianu, może wpływać na rozkład statystyki testu.

W każdym razie, nawet jeśli różnica w liczbie parametrów nie stanowiła problemu, nie można wykonać testów KS bezpośrednio, ponieważ masz oszacowane parametry, a KS jest specjalnie dla przypadku, w którym wszystkie parametry są określone. Twój pomysł użycia bootstrap dotyczy tego problemu, ale nie pierwszego (różnica w liczbie parametrów)

Rozważałbym również płynne testy dobroci dopasowania (np. Patrz książka Raynera i Besta), które na przykład mogą prowadzić do podziału testu dobroci dopasowania chi-kwadrat na komponenty będące przedmiotem zainteresowania (pomiar odchyleń od modelu Poissona w tym przypadku) - biorąc pod uwagę czwarte lub szóste zamówienie, powinno to doprowadzić do testu z dobrą mocą dla alternatywy NegBin.

(Edycja: Możesz porównać swoje dopasowanie Poissona i Negbina za pomocą testu chi-kwadrat, ale będzie on miał niską moc. Podział chi-kwadrat i patrzenie tylko na powiedzmy pierwsze 4-6 składników, tak jak w przypadku gładkich testów, może to zrobić lepiej .)

— Glen_b - Przywróć Monikę
źródło

Dzięki. To wyjaśnia wiele rzeczy i otwiera całą masę nowych pytań, nad którymi będę musiał zbadać. Wydaje mi się, że moje główne pytanie brzmi: czy to, co mówisz, oznacza, że coś prostszego, jak po prostu wzięcie pod uwagę błędu średniego kwadratu, nie jest właściwym sposobem na rozwiązanie tego problemu? Przyznaję, że prawdopodobnie nie jest tak solidny i nie da mi wartości p, ale jest to coś, co mógłbym zrobić szybko, próbując znaleźć kopię książki, do której się odwołujesz. Wszelkie myśli będą mile widziane.

— chrisamiller

wyobraź sobie, że masz zestaw punktów (x, y) i zastanawiasz się, czy możesz dopasować linię prostą czy kwadratową. Jeśli porównasz RMSE, kwadrat zawsze będzie bić linię prostą , ponieważ linia jest kwadratowa z jednym parametrem ustawionym na zero: jeśli oszacowanie parametru najmniejszych kwadratów wynosi dokładnie zero (co ma zerowe prawdopodobieństwo ciągłej odpowiedzi), to jest remis, aw każdym innym przypadku linia przegrywa. Podobnie jest w przypadku Poissona i ujemnego dwumianu - darmowy dwumian ujemny zawsze może pasować co najmniej tak samo, jak darmowy Poisson.

— Glen_b

Ładne wyjaśnienie - rozumiem teraz. Myślę, że mój przypadek jest nieco inny, ponieważ nie robię regresji, aby uzyskać dopasowanie, ale raczej opieram dodatkowy parametr NB na informacjach zewnętrznych (spodziewam się, że stosunek var / mean wynosi N). Ponieważ Poisson jest szczególnym przypadkiem, w którym N = 1, to, co naprawdę porównuję, to wybór N. Zgadzam się, że gdybym robił regresję, NB zawsze byłby w stanie znaleźć lepsze dopasowanie, ponieważ jest mniej ograniczone. W moim przypadku, gdy wybieram wartość N z góry, z pewnością byłoby możliwe wybranie szalonej wartości N, która pogorszyłaby dopasowanie.

— chrisamiller

Z pewnością zamierzam przeczytać o płynnych testach dobroci dopasowania, które zasugerowałeś. Dziękuję za pouczające odpowiedzi.

— chrisamiller

Przepraszam, że nie zdawałem sobie sprawy, że dane nie były objęte wyborem parametru naddyspersji. Może być jakiś argument za zrobieniem tego po swojemu, ale jeśli oszacowanie zewnętrzne prawdopodobnie odzwierciedla to, co faktycznie obserwujesz, NB nadal może mieć pewną przewagę w zależności od okoliczności.

— Glen_b