Regresja logistyczna - termin błędu i jego rozkład

O tym, czy w regresji logistycznej istnieje błąd (i jego założony rozkład), czytałem w różnych miejscach, które:

1. nie istnieje termin błędu
2. termin błędu ma rozkład dwumianowy (zgodnie z rozkładem zmiennej odpowiedzi)
3. termin błędu ma rozkład logistyczny

Czy ktoś może wyjaśnić?

W regresji liniowej zakłada się, że obserwacje przebiegają zgodnie z rozkładem Gaussa ze średnim parametrem zależnym od wartości predyktora. Jeśli odejmiesz średnią z obserwacji, otrzymasz błąd : rozkład Gaussa ze średnią zero i niezależny od wartości predyktora - to znaczy błędy w dowolnym zestawie wartości predyktora mają ten sam rozkład.

W regresji logistycznej zakłada się, że obserwacje podążają za rozkładem Bernoulliego ^† ze średnim parametrem (prawdopodobieństwem) zależnym od wartości predyktora. Tak więc dla każdej wartości predyktora określającej średnią π istnieją tylko dwa możliwe błędy: 1 - π występujące z prawdopodobieństwem π i 0 - π występujące z prawdopodobieństwem 1 - π . Dla innych wartości predykcyjnych błędy będą wynosić 1 - π ′ występujące z prawdopodobieństwem π $y\in\{0,1\}$$\pi$$1-\pi$$\pi$$0-\pi$$1-\pi$$1-\pi'$$\pi'$, I występujące z prawdopodobieństwem 1 - π ′ . Nie ma więc wspólnego rozkładu błędów niezależnego od wartości predyktorów, dlatego ludzie twierdzą, że „nie istnieje termin błędu” (1).$0-\pi'$$1-\pi'$

„Pojęcie błędu ma rozkład dwumianowy” (2) to po prostu niechlujstwo - „Modele Gaussa mają błędy Gaussa, a modele dwumianowe ergo mają błędy dwumianowe”. (Lub, jak wskazuje @whuber, można by to rozumieć jako „różnicę między obserwacją a jej oczekiwaniem ma rozkład dwumianowy tłumaczony przez oczekiwanie”).

„Pojęcie błędu ma rozkład logistyczny” (3) wynika z wyprowadzenia regresji logistycznej z modelu, w którym obserwuje się, czy ukryta zmienna z błędami występującymi po rozkładzie logistycznym przekracza pewien próg. To nie jest ten sam błąd, który został zdefiniowany powyżej. (Dziwne byłoby powiedzenie IMO poza tym kontekstem lub bez wyraźnego odniesienia do ukrytej zmiennej).

† If you have $k$ observations with the same predictor values, giving the same probability $\pi$ for each, then their sum $\sum y$ follows a binomial distribution with probability $\pi$ and no. trials $k$. Considering $\sum y -k\pi$ as the error leads to the same conclusions.

This has been covered before. A model that is constrained to have predicted values in $[0,1]$ cannot possibly have an additive error term that would make the predictions go outside $[0,1]$. Think of the simplest example of a binary logistic model -- a model containing only an intercept. This is equivalent to the Bernoulli one-sample problem, often called (in this simple case) the binomial problem because (1) all the information is contained in the sample size and number of events or (2) the Bernoulli distribution is a special case of the binomial distribution with $n=1$. The raw data in this situation are a series of binary values, and each has a Bernoulli distribution with unknown parameter $\theta$ representing the probability of the event. There is no error term in the Bernoulli distribution, there's just an unknown probability. The logistic model is a probability model.

To me the unification of logistic, linear, poisson regression etc... has always been in terms of specification of the mean and variance in the Generalized Linear Model framework. We start by specifying a probability distribution for our data, normal for continuous data, Bernoulli for dichotomous, Poisson for counts, etc...Then we specify a link function that describes how the mean is related to the linear predictor:

$g(\mu_i) = \alpha + x_i^T\beta$

For linear regression, $g(\mu_i) = \mu_i$.

For logistic regression, $g(\mu_i) = \log(\frac{\mu_i}{1-\mu_i})$.

For Poisson regression, $g(\mu_i) = \log(\mu_i)$.

The only thing one might be able to consider in terms of writing an error term would be to state:

$y_i = g^{-1}(\alpha+x_i^T\beta) + e_i$ where $E(e_i) = 0$ and $Var(e_i) = \sigma^2(\mu_i)$. For example, for logistic regression, $\sigma^2(\mu_i) = \mu_i(1-\mu_i) = g^{-1}(\alpha+x_i^T\beta)(1-g^{-1}(\alpha+x_i^T\beta))$. But, you cannot explicitly state that $e_i$ has a Bernoulli distribution as mentioned above.

Note, however, that basic Generalized Linear Models only assume a structure for the mean and variance of the distribution. It can be shown that the estimating equations and the Hessian matrix only depend on the mean and variance you assume in your model. So you don't necessarily need to be concerned with the distribution of $e_i$ for this model because the higher order moments don't play a role in the estimation of the model parameters.

1. No errors exist. We are modeling the mean! The mean is just a true number.
2. This doesn't make sense to me.
3. Think the response variable as a latent variable. If you assume the error term is normally distributed, then the model becomes a probit model. If you assume the distribution of the error term is logistic, then the model is logistic regression.