Inne obiektywne estymatory niż NIEBIESKI (rozwiązanie OLS) dla modeli liniowych

W przypadku modelu liniowego rozwiązanie OLS zapewnia najlepszy liniowy obiektywny estymator parametrów.

Oczywiście możemy wymieniać nastawienie na niższe wariancje, np. Regresję grzbietu. Ale moje pytanie dotyczy braku uprzedzeń. Czy istnieją inne powszechnie stosowane estymatory, które są obiektywne, ale mają większą wariancję niż parametry szacowane OLS?

Gdybym miał ogromny zestaw danych, mógłbym go oczywiście podpróbkować i oszacować parametry przy mniejszej ilości danych i zwiększyć wariancję. Zakładam, że może to być hipotetycznie przydatne.

Jest to raczej pytanie retoryczne, ponieważ kiedy czytałem o NIEBIESKICH estymatorach, nie ma gorszej alternatywy. Wydaje mi się, że dostarczenie gorszych alternatyw może również pomóc ludziom lepiej zrozumieć moc NIEBIESKICH estymatorów.

— Gumeo
źródło

Co z estymatorem maksymalnego prawdopodobieństwa? Na przykład, jeśli uważasz, że twoje dane są próbkowane z rozkładu

ze stosunkowo niskim parametrem stopni swobody (

lub

mogą być charakterystyczne dla zwrotów finansowych), estymator maksymalnego prawdopodobieństwa nie byłby zgodny z OLS, ale myślę, że nadal byłby bezstronny.

t

$t$

t (3)

$t(3)$

t (4)

$t(4)$

— Richard Hardy

Ważne: andrewgelman.com/2015/05/11/…

— kjetil b halvorsen

@RichardHardy, próbowałem również MLE, z oczekiwanymi wynikami.

— Christoph Hanck

Jednym z przykładów, który przychodzi mi na myśl, jest estymator GLS, który waży obserwacje w różny sposób, chociaż nie jest to konieczne, gdy spełnione są założenia Gaussa-Markowa (które statystycy mogą nie wiedzieć, że tak jest i dlatego mają zastosowanie, nadal stosują GLS).

Rozważmy przypadek regresji $y_i$ , $i=1,\ldots,n$ na stałym na rysunku (łatwo uogólnia ogólnym estymatorów GLS). Tutaj przyjmuje się , że $\{y_i\}$ jest losową próbką z populacji o średniej $\mu$ i wariancji $\sigma^2$ .

Wtedy wiemy, że OLS jest tylko , średnia próbka. Podkreślić, że każdy punkt obserwacyjny ważona masy , zapis ten jako $\hat\beta=\bar y$ $1/n$

\hat{β} = \sum_{i = 1}^{n} \frac{1}{n} y_{i} .

$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$ Jest dobrze wiadomo, że

V a r (\hat{β}) = σ^{2} / n

$Var(\hat\beta)=\sigma^2/n$ .

\tilde{β} = \sum_{i = 1}^{n} w_{i} y_{i},

$\tilde\beta=\sum_{i=1}^nw_iy_i,$

\sum_{i} w_{i} = 1

$\sum_iw_i=1$

E (\sum_{i = 1}^{n} w_{i} y_{i}) = \sum_{i = 1}^{n} w_{i} E (y_{i}) = \sum_{i = 1}^{n} w_{i} μ = μ .

$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$

w_{i} = 1 / n

$w_i=1/n$

i

$i$

\begin{aligned} L & = V (\tilde{β}) - λ (\sum_{i} w_{i} - 1) \\ = \sum_{i} w_{i}^{2} σ^{2} - λ (\sum_{i} w_{i} - 1), \end{aligned}

$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$

w_{i}

$w_i$

2 σ^{2} w_{i} - λ = 0

$2\sigma^2w_i-\lambda=0$

i

$i$

\partial L / \partial λ = 0

$\partial L/\partial\lambda=0$

\sum_{i} w_{i} - 1 = 0

$\sum_iw_i-1=0$

λ

$\lambda$

w_{i} = w_{j}

$w_i=w_j$

w_{i} = 1 / n

$w_i=1/n$ minimizes the variance, by the requirement that the weights sum to one.

Here is a graphical illustration from a little simulation, created with the code below:

EDIT: In response to @kjetilbhalvorsen's and @RichardHardy's suggestions I also include the median of the $y_i$ , MLE parametru lokalizacji pf przy rozkładzie (4) (dostaję ostrzeżenia, In log(s) : NaNs producedże nie sprawdziłem więcej) i estymator Hubera na wykresie.

Zauważamy, że wszystkie estymatory wydają się być obiektywne. Jednak estymator, który wykorzystuje wagi $w_i=(1\pm\epsilon)/n$ ponieważ wagi dla każdej połowy próbki są bardziej zmienne, podobnie jak mediana, MLE rozkładu t i estymator Hubera (ten ostatni tylko nieznacznie, patrz także tutaj ).

To, że trzy ostatnie są lepsze od rozwiązania OLS, nie jest natychmiast sugerowane przez NIEBIESKĄ właściwość (przynajmniej nie dla mnie), ponieważ nie jest oczywiste, czy są to estymatory liniowe (ani nie wiem, czy MLE i Huber są obiektywne).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)

— Christoph Hanck
źródło

Schludny! Myślę, że jest to bardzo prosty przykład ilustracyjny, nieco bardziej ogólny niż ten, który wymyśliłem. Kiedy ludzie uczą się estymatorów w otoczeniu częstych, czuję, że tego rodzaju przykładów często brakuje, one naprawdę pomagają lepiej zrozumieć tę koncepcję.

— Gumeo

Inną możliwością byłyby (solidne) estymatory oparte na minimalizacji takiego kryterium jak

W = \sum_{i = 1}^{n} w (e_{i})

$W=\sum_{i=1}^n w(e_i)$ gdzie

e_{i}

$e_i$ jest i-tym resztkowym i

w

$w$ jest jakąś funkcją symetryczną, wypukłą lub niewypukłą, z (globalnym) minimum na 0,

w (0) = 0

$w(0)=0$ . Przykładem może być estymator Hubera.

— kjetil b halvorsen

@kjetilbhalvorsen, teraz włączam także estymator Hubera, który faktycznie działa całkiem dobrze.

— Christoph Hanck