Regresja logistyczna dla wieloklasowej

Mam model regresji logistycznej dla wieloklasowej, który podaje

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

gdzie k to liczba klas theta to parametr do oszacowania j to j-ta klasa Xi to dane treningowe

Cóż, jedna rzecz, której nie dostałem, to dlaczego część mianownika znormalizowała model. Mam na myśli, że prawdopodobieństwo pozostanie między 0 a 1.

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

Mam na myśli, że jestem przyzwyczajony do regresji logistycznej

P. (Y = 1 | X^{(ja)}) = 1 / (1 + \exp (- θ^{T.} X^{(ja)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

Właściwie jestem zdezorientowany w kwestii nominacji. W tym przypadku, ponieważ jest to funkcja sigmoidalna, nigdy nie pozwala, aby wartość była mniejsza niż 0 lub większa niż 1. Ale jestem zdezorientowany w przypadku wielu klas. Dlaczego tak jest

To jest moja referencja https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-F February/ 029738.html . Myślę, że powinno być normalizowanie

P. (Y = jot | X^{(ja)}) = \frac{\exp (θ_{jot}^{T.} X^{(ja)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T.} X^{(ja)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial

— użytkownik34790
źródło

Wskazówka: W regresji logistycznej istnieją domyślnie dwa prawdopodobieństwa, z którymi należy sobie poradzić: prawdopodobieństwo

i prawdopodobieństwo

. Prawdopodobieństwa te należy sumować do

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

— whuber

Na podstawie niektórych innych postów wiesz, jak oznaczać równania. Równania tekstowe tutaj są trudne do odczytania, a (indeksy dolne?) Są mylące - czy możesz je oznaczyć

L A T E X

$\LaTeX$

— Makro

Ponieważ zamieszczasz tutaj tak wiele pytań, zatrzymaj się i przeczytaj nasze FAQ dotyczące zadawania dobrych pytań. Przeczytaj pomoc dla

Znaczniki

dzięki czemu równania można odczytać.

T E X

$\TeX$

— whuber

Zedytowałem równanie. @ Whuber Właściwie jestem zdezorientowany związany z regresją logistyczną wieloklasową, a nie binarną. Martwię się, dlaczego po dodaniu wszystkich elementów donominatora znormalizowałem prawdopodobieństwo

— 34790

@ user34790, kiedy dzielisz każdy termin przez sumę, wówczas indywidualne prawdopodobieństwa klas sumują się do 1. Czym jest

przy okazji?

X^{(i)}

$X^{(i)}$

— Makro

Odpowiedzi:

Twoja formuła jest niepoprawna (górna granica sumy). W regresji logistycznej z klasami ( ) w zasadzie tworzysz binarne modele regresji logistycznej , w których wybierasz jedną klasę jako odniesienie lub oś przestawną. Zazwyczaj ostatnia klasa jest wybierana jako punkt odniesienia. Zatem prawdopodobieństwo klasy odniesienia można obliczyć za pomocą $K$ $K> 2$ $K-1$ $K$ Ogólna postać prawdopodobieństwa to

P. (y_{ja} = K. | x_{ja}) = 1 - \sum_{k = 1}^{K. - 1} P. (y_{ja} = k | x_{ja}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

Ponieważ

klasa jest twoją referencją

a zatem

P. (y_{ja} = k | x_{ja}) = \frac{\exp (θ_{ja}^{T.} x_{ja})}{\sum_{ja = 1}^{K.} \exp (θ_{ja}^{T.} x_{ja})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

Na koniec otrzymujesz następującą formułę dla wszystkich

\sum_{ja = 1}^{K.} \exp (θ_{ja}^{T.} x_{ja}) = \exp (0) + \sum_{ja = 1}^{K. - 1} \exp (θ_{ja}^{T.} x_{ja}) = 1 + \sum_{ja = 1}^{K. - 1} \exp (θ_{ja}^{T.} x_{ja}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$

k < K

$k < K$

P. (y_{ja} = k | x_{ja}) = \frac{\exp (θ_{ja}^{T.} x_{ja})}{1 + \sum_{ja = 1}^{K. - 1} \exp (θ_{ja}^{T.} x_{ja})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

— wrz
źródło

zauważ, że wybór klasy referencyjnej nie jest ważny, jeśli robisz to z najwyższym prawdopodobieństwem. Ale jeśli robisz karane maksymalne prawdopodobieństwo lub wnioskowanie bayesowskie, często może być bardziej użyteczne pozostawienie prawdopodobieństw nadmiernie sparametryzowanych i pozwolić karie wybrać sposób radzenia sobie z nadmierną parametryzacją. Wynika to z faktu, że większość funkcji karnych / priorów nie jest niezmienna w odniesieniu do wyboru klasy odniesienia

— prawdopodobieństwo

i

$i$

i

$i$

k

$k$

$k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

$\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$ W przypadku wielu klas wystarczy zastąpić mianownik w pierwszych dwóch wielkościach sumą ponad wykładniczymi predyktorami liniowymi.

— sprzężonyprior
źródło