Jak ocenić dobroć dopasowania do funkcji przetrwania

Jestem nowicjuszem w analizie przeżycia, chociaż mam pewną wiedzę na temat klasyfikacji i regresji.

Do regresji mamy statystyki kwadratów MSE i R. Ale jak możemy powiedzieć, że model przeżycia A jest lepszy od modelu przeżycia B, oprócz pewnego rodzaju wykresów graficznych (krzywa KM)?

Jeśli to możliwe, proszę wyjaśnić różnicę za pomocą przykładu (np. Pakiet rpart w R). Jak możesz pokazać, że jedno drzewo przetrwania CART jest lepsze niż inne drzewo przetrwania CART? Jakich wskaźników można użyć?

Główny problem ze statystykami takimi jak model Coxa $R^2$(opisane w innej odpowiedzi) jest to, że jest to bardzo zależne od dystrybucji cenzury twoich danych. Inne naturalne rzeczy, na które możesz spojrzeć, takie jak stosunek prawdopodobieństwa do modelu zerowego, również mają ten problem. (Zasadniczo jest to spowodowane tym, że udział ocenzurowanego punktu danych w prawdopodobieństwie jest bardzo różny od udziału punktu danych, w którym obserwowane jest zdarzenie, ponieważ jeden z nich pochodzi z pliku PDF, a drugi z CDF.) Różni badacze mają proponowane sposoby obejścia tego, ale te, które widziałem zwykle wymagają posiadania modelu dystrybucji cenzury lub czegoś równie niepraktycznego. Nie zastanawiałem się, jak zła jest ta zależność w praktyce, więc jeśli twoja cenzura jest dość łagodna, nadal możesz spojrzeć na statystyki oparte na ilorazie prawdopodobieństwa. W przypadku modeli CART typu survival,

W przypadku ogólnych modeli przeżycia jedną często używaną statystyką jest indeks c Harrella , analogiczny do współczynnika Kendalla$\tau$lub ROC AUC dla modeli przeżycia. Zasadniczo c jest proporcją, spośród wszystkich przypadków, w których wiadomo, że w jednym wystąpieniu wystąpiło zdarzenie później niż w drugim, że model plasuje się poprawnie. (Innymi słowy, aby para przykładów mogła zostać tutaj uwzględniona w mianowniku, co najwyżej jedna może zostać ocenzurowana i musi zostać ocenzurowana po tym, jak inne zdarzyło się wydarzenie). Indeks c zależy również od rozkładu cenzury, ale według Harrella zależność jest łagodniejsza niż w przypadku innych statystyk, o których wspomniałem powyżej. Niestety Harrell's cjest również mniej wrażliwy niż powyższe statystyki, więc możesz nie chcieć wybierać między modelami opartymi na nim, jeśli różnica między nimi jest niewielka; jest bardziej przydatny jako interpretowalny wskaźnik ogólnej wydajności niż sposób porównywania różnych modeli.

(Na koniec oczywiście, jeśli masz konkretny cel dla modeli - to znaczy, jeśli wiesz, jaka jest twoja funkcja przewidywania strat - zawsze możesz je ocenić według funkcji utraty! Ale zgaduję, że nie masz tyle szczęścia ...)

Aby uzyskać bardziej dogłębną dyskusję na temat zarówno statystyki ilorazu wiarygodności, jak i c Harrella , powinieneś zapoznać się z doskonałym podręcznikiem Harrella, Strategiami modelowania regresji . Sekcja dotycząca oceny modeli przeżycia to § 19.10, s. 492–493. Przepraszam, że nie mogę udzielić jednej ostatecznej odpowiedzi, ale nie sądzę, że jest to rozwiązany problem!

Regresje proporcjonalnego ryzyka Coxa dla danych dotyczących przeżycia można pod wieloma względami traktować jako odpowiadające standardowym regresjom. Na przykład regresje Coxa zapewniają również resztkowe błędy standardowe i statystyki R-kwadrat. Zobacz coxphfunkcję w survivalpakiecie R. (Można pomyśleć, że krzywe KM odpowiadają analizom nieparametrycznym w statystyce standardowej. Jak włączysz test nieparametryczny do CART?) W praktyce z danymi klinicznymi, resztkowe błędy standardowe są zwykle wysokie, a wartości R-kwadrat niskie w regresji Coxa.

Zatem regresje standardowe i regresje Coxa mają podobne wymagania i ograniczenia. Musisz sprawdzić, czy dane pasują do podstawowych założeń, które w analizie Coxa obejmują ponadto założenie, że porównywane zagrożenia są proporcjonalne w czasie. Nadal będziesz musiał unikać nadmiernego dopasowania i będziesz musiał zweryfikować swój model. I jak rozumiem KOSZYK, chociaż sam go nie używam, nadal będziesz musiał zmierzyć się z trudnościami wynikającymi z porównywania nie zagnieżdżonych modeli.