Jak obliczyć względne znaczenie zmiennej w regresji logistycznej w kategoriach p?

Załóżmy, że model regresji logistycznej służy do przewidywania, czy kupujący online kupi produkt (wynik: zakup) po kliknięciu zestawu reklam online (predyktory: Ad1, Ad2 i Ad3).

Wynikiem jest zmienna binarna: 1 (zakupiona) lub 0 (nie zebrana). Predyktory są również zmiennymi binarnymi: 1 (kliknięte) lub 0 (nie kliknięte). Więc wszystkie zmienne są w tej samej skali.

Jeśli wynikowe współczynniki Ad1, Ad2 i Ad3 wynoszą 0,1, 0,2 i 03, możemy stwierdzić, że Ad3 jest ważniejszy niż Ad2, a Ad2 jest ważniejszy niż Ad1. Ponadto, ponieważ wszystkie zmienne są w tej samej skali, znormalizowane i niestandaryzowane współczynniki powinny być takie same, i możemy dalej stwierdzić, że Ad2 jest dwa razy ważniejszy niż Ad1 pod względem jego wpływu na poziom logit (log-odds).

Ale w praktyce bardziej zależy nam na tym, jak porównać i zinterpretować względną ważność zmiennych pod względem poziomu p (prawdopodobieństwo zakupu), a nie logit (log-odds).

Zatem pytanie brzmi: czy istnieje jakieś podejście do kwantyfikacji względnej ważności tych zmiennych w kategoriach p?

W przypadku modeli liniowych można użyć wartości bezwzględnej statystyki t dla każdego parametru modelu.

Możesz także użyć czegoś takiego jak losowy las i uzyskać bardzo ładną listę ważnych funkcji.

Jeśli używasz R sprawdź ( http://caret.r-forge.r-project.org/varimp.html ), jeśli używasz Pythona ( http://scikit-learn.org/stable/auto_examples /ensemble/plot_forest_importances.html#example-ensemble-plot-forest-importances-py )

EDYTOWAĆ:

Ponieważ logit nie ma na to bezpośredniego sposobu, możesz użyć krzywej ROC dla każdego predyktora.

Do klasyfikacji, analiza krzywej ROC jest przeprowadzana na każdym predyktorze. W przypadku problemów z dwiema klasami do danych predyktora stosowana jest seria wartości odcięcia w celu przewidzenia klasy. Czułość i swoistość są obliczane dla każdego punktu odcięcia i obliczana jest krzywa ROC. Reguła trapezoidalna służy do obliczania pola powierzchni pod krzywą ROC. Obszar ten służy jako miara o różnym znaczeniu

Przykładem tego, jak to działa w R, jest:

library(caret)
mydata <- data.frame(y = c(1,0,0,0,1,1),
                 x1 = c(1,1,0,1,0,0),
                 x2 = c(1,1,1,0,0,1),
                 x3 = c(1,0,1,1,0,0))

fit <- glm(y~x1+x2+x3,data=mydata,family=binomial())
summary(fit)

varImp(fit, scale = FALSE)

Ponieważ konkretnie prosiłeś o interpretację na skali prawdopodobieństwa: w regresji logistycznej szacunkowe prawdopodobieństwo sukcesu podaje:

$\hat{\pi}(\mathbf{x})=\frac{exp(\beta_0+ \mathbf{\beta x})}{1+exp(\beta_0+ \mathbf{\beta x})}$

$\beta_0$$\mathbf{\beta}$$\mathbf{x}$

$\frac{exp(0.1)}{1+exp(0.1)}=0.52$

Osoba, która kliknęła tylko reklamę 3:

$\frac{exp(0.3)}{1+exp(0.3)}=0.57$

Jednak jeśli dana osoba kliknęła reklamę 1 lub reklamę 3, ale także reklamę 2 (jeśli jest to scenariusz „plaasubile”), prawdopodobieństwo

$\frac{exp(0.1+0.2)}{1+exp(0.1+0.2)}=0.57$

$\frac{exp(0.3+0.2)}{1+exp(0.3+0.2)}=0.62$

W tym przypadku zmiana prawdopodobieństwa wynosi zarówno 0,05, ale zwykle ta zmiana nie jest taka sama dla różnych kombinacji poziomów. (Możesz to łatwo zobaczyć, jeśli np. Zastosujesz to samo podejście, co powyżej, ale ze współczynnikami 0,1, 1,5, 0,3.) Tak więc znaczenie zmiennej na skali prawdopodobieństwa zależy od obserwowanych poziomów innych zmiennych. Może to utrudnić (niemożliwe?) Wymyślenie bezwzględnej, ilościowej miary istotności zmiennej w skali prawdopodobieństwa.