Jak ustalić, czy model przetrwania z brakującymi danymi jest odpowiedni?

Upraszczając nieco, mam około miliona rekordów, które rejestrują czas wejścia i wyjścia ludzi w systemie trwającym około dziesięciu lat. Każdy rekord ma czas wejścia, ale nie każdy rekord ma czas wyjścia. Średni czas w systemie wynosi ~ 1 rok.

Brakujące czasy wyjścia występują z dwóch powodów:

1. Osoba nie opuściła systemu w momencie przechwytywania danych.
2. Czas wyjścia danej osoby nie został zarejestrowany. Zdarza się to powiedzieć, że 50% zapisów

Do interesujących pytań należą:

1. Czy ludzie spędzają mniej czasu w systemie i ile mniej czasu.
2. Czy rejestruje się więcej czasów wyjścia i ile.

Możemy to modelować, mówiąc, że prawdopodobieństwo zarejestrowania wyjścia zmienia się liniowo w czasie i że czas w systemie ma Weibulla, którego parametry zmieniają się liniowo w czasie. Następnie możemy dokonać oceny maksymalnego prawdopodobieństwa różnych parametrów i spojrzeć na wyniki i uznać je za wiarygodne. Wybraliśmy rozkład Weibulla, ponieważ wydaje się, że jest używany do pomiaru żywotności i fajnie jest powiedzieć, a nie lepiej dopasowywać dane niż powiedzieć rozkład gamma.

Gdzie powinienem szukać wskazówek, jak to zrobić poprawnie? Jesteśmy nieco matematyczni, ale nie bardzo statystycznie.

Podstawowym sposobem sprawdzenia, czy Twoje dane są Weibull, jest wykreślenie dziennika skumulowanych zagrożeń w zależności od dziennika czasów i sprawdzenie, czy prosta linia może być dobrym dopasowaniem. Skumulowane zagrożenie można znaleźć za pomocą nieparametrycznego estymatora Nelson-Aalen. Istnieje podobna diagnostyka graficzna dla regresji Weibulla, jeśli dopasujesz dane do zmiennych towarzyszących, a niektóre odnośniki zostaną zamieszczone poniżej.

Tekst Kleina i Moeschbergera jest całkiem niezły i obejmuje dużo miejsca z budowaniem / diagnostyką modeli dla modeli parametrycznych i półparametrycznych (choć głównie tych drugich). Jeśli pracujesz w R, książka Theneau jest całkiem dobra (wydaje mi się, że napisał pakiet przetrwania ). Obejmuje wiele modeli Cox PH i powiązanych modeli, ale nie pamiętam, czy ma duży zasięg modeli parametrycznych, takich jak ten, który budujesz.

BTW, czy to milion osób z jednym wejściem / wyjściem lub cyklicznymi wydarzeniami wejścia / wyjścia dla jakiejś mniejszej grupy osób? Czy uzależniasz swoje prawdopodobieństwo uwzględnienia mechanizmu cenzury?

Możesz użyć modelu szacunkowego, aby przewidzieć czasy wyjścia dla wszystkich osób w twoim systemie. Następnie możesz porównać szacunkowe czasy wyjścia z rzeczywistymi czasami wyjścia (tam, gdzie masz te dane) i obliczyć metrykę, taką jak RMSE, aby ocenić, jak dobre są twoje przewidywania, co z kolei da ci poczucie dopasowania modelu. Zobacz także ten link .