12

Studiuję, jak skonstruować 95% przedział ufności dla ilorazu szans ze współczynników uzyskanych w regresji logistycznej. Biorąc pod uwagę model regresji logistycznej,

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

tak, że $x = 0$ dla grupy kontrolnej i $x = 1$ dla grupy obserwacji.

Czytałem już, że najprostszym sposobem jest zbudowanie 95% CI dla $\beta$ a następnie zastosowaliśmy funkcję wykładniczą, to znaczy

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

Moje pytania to:

Jaki jest teoretyczny powód uzasadniający tę procedurę? Wiem, że $\mbox{odds ratio} = \exp\{\beta\}$ i estymatory maksymalnego prawdopodobieństwa są niezmienne. Nie znam jednak związku między tymi elementami.
Czy metoda delta powinna dawać taki sam 95% przedział ufności jak poprzednia procedura? Używając metody delta,

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
Następnie,

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
Jeśli nie, jaka jest najlepsza procedura?

— Márcio Augusto Diniz
źródło

1

Lubię też bootstrap dla CI, jeśli mam wartości parametrów lub dane treningowe o wystarczającej wielkości.

— EngrStudent,

2

Jest lepszy sposób, aby to zrobić, zobacz stats.stackexchange.com/questions/5304/... w celu uzyskania szczegółowych informacji

— mdewey

7

Uzasadnieniem tej procedury jest asymptotyczna normalność MLE dla i wynika z argumentów dotyczących twierdzenia o granicy centralnej. $\beta$
Metoda Delta pochodzi z liniowego (tj. Pierwszego rzędu Taylora) rozszerzenia funkcji wokół MLE. Następnie odwołujemy się do asymptotycznej normalności i bezstronności MLE.

Asymptotycznie obie dają tę samą odpowiedź. Ale praktycznie wolałbyś ten, który wygląda bardziej normalnie. W tym przykładzie wolałbym ten pierwszy, ponieważ ten drugi prawdopodobnie będzie mniej symetryczny.

— Amir
źródło

3

Porównanie metod przedziałów ufności na przykładzie z ISL

Książka „Wprowadzenie do uczenia statystycznego” autorstwa Tibshirani, James, Hastie zawiera przykład na stronie 267 przedziałów ufności dla wielomianowej regresji logistycznej stopnia 4 na danych płacowych . Cytując książkę:

Modelujemy zdarzenie binarne za pomocą regresji logistycznej z wielomianem stopnia 4. Dopasowane prawdopodobieństwo tylnego wynagrodzenia przekraczającego 250 000 $ jest pokazane na niebiesko, wraz z szacunkowym 95% przedziałem ufności. $wage>250$

Poniżej znajduje się krótkie podsumowanie dwóch metod konstruowania takich przedziałów, a także komentarze na temat ich implementacji od zera

Przedziały transformacji Wald / Endpoint

Oblicz górne i dolne granice przedziału ufności dla kombinacji liniowej (używając Wald CI) $x^T\beta$
Zastosuj transformację monotoniczną do punktów końcowych aby uzyskać prawdopodobieństwa. $F(x^T\beta)$

Ponieważ jest monotoniczną transformacją $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

Konkretnie oznacza to obliczenie a następnie zastosowanie transformacji logit do wyniku w celu uzyskania dolnej i górnej granicy: $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

Obliczanie błędu standardowego

Teoria maksymalnego prawdopodobieństwa mówi nam, że przybliżoną wariancję można obliczyć za pomocą macierzy kowariancji współczynników regresji za pomocą $x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

Zdefiniuj macierz projektową i macierz jako $X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

gdzie jest wartością tej zmiennej dla obserwacji, a reprezentuje przewidywane prawdopodobieństwo obserwacji . $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

Macierz kowariancji można następnie znaleźć jako: a błąd standardowy jako $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

95% przedziały ufności dla przewidywanego prawdopodobieństwa można następnie wykreślić jako

Przedziały ufności metody Delta

Podejście polega na obliczeniu wariancji aproksymacji liniowej funkcji i użyciu jej do skonstruowania dużych przedziałów ufności próbki. $F$

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

Gdzie jest gradientem, a oszacowaną macierzą kowariancji. Pamiętaj, że w jednym wymiarze: $\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

Gdzie jest pochodną . Uogólnia się to w przypadku wielowymiarowym $f$ $F$

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

W naszym przypadku F jest funkcją logistyczną (którą oznaczymy ), której pochodną jest $\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

Możemy teraz skonstruować przedział ufności, używając wariancji obliczonej powyżej.

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

W postaci wektorowej dla przypadku wielowymiarowego

do . ja . = [π (x^{T.} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T.} \hat{β}) (1 - π (x^{T.} \hat{β})))}^{T.} x^{T.} Var [\hat{β}] x π (x^{T.} \hat{β}) (1 - π (x^{T.} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

Zauważ, że reprezentuje pojedynczy punkt danych w , tj. Pojedynczy wiersz macierzy projektowej $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

Konkluzja otwarta

Rzut oka na wykresy normalnej QQ zarówno dla prawdopodobieństw, jak i ujemnych szans na logarytmiczne wyniki pokazują, że żadne z nich nie jest normalnie rozłożone. Czy to może wyjaśnić różnicę?

Źródło:

— Xavier Bourret Sicotte
źródło

1

Dla większości celów najprostszy sposób jest prawdopodobnie najlepszy, jak omówiono w kontekście transformacji dziennika na tej stronie . Pomyśl o zmiennej zależnej jako analizowanej w skali logit, z przeprowadzonymi testami statystycznymi i przedziałami ufności (CI) zdefiniowanymi w tej skali logit. Tylna transformacja do ilorazu szans polega na umieszczeniu tych wyników w skali, którą czytelnik mógłby łatwiej zrozumieć. Odbywa się to również na przykład w analizie przeżycia Coxa, w której współczynniki regresji (i 95% CI) są potęgowane w celu uzyskania współczynników ryzyka i ich CI.

— EdM
źródło

Różne sposoby tworzenia przedziału ufności dla ilorazu szans z regresji logistycznej

Porównanie metod przedziałów ufności na przykładzie z ISL

Przedziały transformacji Wald / Endpoint

Obliczanie błędu standardowego

Przedziały ufności metody Delta

Konkluzja otwarta