Jaki jest związek między estymatorem a oszacowaniem?

21

estimation terminology estimators

5

„W statystyce estymator jest regułą obliczania oszacowania danej ilości na podstawie zaobserwowanych danych: w ten sposób rozróżnia się regułę i jej wynik (oszacowanie).” (Pierwsza linia artykułu w Wikipedii en.wikipedia.org/wiki/Estimator ).

— whuber

+1 Popieram to pytanie (pomimo obecności dobrze sformułowanej odpowiedzi na oczywistej stronie Wikipedii), ponieważ pierwsze próby udzielenia odpowiedzi na to pytanie wskazują na pewne subtelności.

— whuber

@ Whuber, czy mogę powiedzieć, że oszacowania parametrów modelu są estymatorem?

— awokado

2

@loganecolss Estymator to funkcja matematyczna. Różni się to od wartości (oszacowania), którą może uzyskać dla dowolnego zestawu danych. Jednym ze sposobów na docenienie różnicy jest zwrócenie uwagi, że pewne zestawy danych wygenerują takie same oszacowania , powiedzmy, nachylenia w regresji liniowej przy użyciu różnych estymatorów (takich jak na przykład maksymalne prawdopodobieństwo lub iteracyjnie zrewidowane najmniejsze kwadraty). Bez odróżnienia szacunków od estymatorów użytych do ich oszacowania nie bylibyśmy w stanie zrozumieć, co mówi to oświadczenie.

— whuber

@ whuber, nawet z jednym pewnym zestawem danych , inny estymator może również dawać różne szacunki, prawda?

D

$D$

— awokado

13

EL Lehmann, w swojej klasycznej teorii oszacowania punktu , odpowiada na to pytanie na s. 1-2.

Postuluje się, że obserwacje są wartościami przyjmowanymi przez zmienne losowe, które przyjmuje się, że podążają za wspólnym rozkładem prawdopodobieństwa, , należącym do jakiejś znanej klasy ... $P$

... specjalizujemy się teraz w estymacji punktowej ... załóżmy, że jest funkcją o wartościach rzeczywistych zdefiniowaną [w określonej klasie rozkładów] i że chcielibyśmy poznać wartość [przy jakimkolwiek rzeczywistym rozkładzie w efekt, ]. Niestety , a zatem , jest nieznany. Dane te można jednak wykorzystać do uzyskania oszacowania , wartości, która, jak można się spodziewać, będzie zbliżona do . $g$ $g$ $\theta$ $\theta$ $g(\theta)$ $g(\theta)$ $g(\theta)$

Innymi słowy: estymator to określona procedura matematyczna, która podaje liczbę ( szacunek ) dla każdego możliwego zestawu danych, które może wygenerować konkretny problem. Liczba ta ma reprezentować pewną określoną właściwość numeryczną ( ) procesu generowania danych; możemy to nazwać „szacunkiem”. $g(\theta)$

Sam estymator nie jest zmienną losową: jest to po prostu funkcja matematyczna. Jednak szacunki, które produkuje, oparte są na danych, które same są modelowane jako zmienne losowe. To sprawia, że oszacowanie (uważane za zależne od danych) staje się zmienną losową, a określone oszacowanie dla określonego zestawu danych staje się realizacją tej zmiennej losowej.

W jednym (konwencjonalnym) zwykłym sformułowaniu najmniejszych kwadratów dane składają się z uporządkowanych par . Wartości zostały określone przez eksperymentatora (mogą to być na przykład ilości podanego leku). Zakłada się, że każdy (na przykład odpowiedź na lek) pochodzi z rozkładu prawdopodobieństwa, który jest normalny, ale z nieznaną średnią i wspólną wariancją . Ponadto zakłada się, że środki są powiązane z za pomocą wzoru . Te trzy parametry - , i $(x_i, y_i)$ $x_i$ $y_i$ $\mu_i$ $\sigma^2$ $x_i$ $\mu_i = \beta_0 + \beta_1 x_i$ $\sigma$ $\beta_0$ $\beta_1$ - określ podstawowy rozkład dla dowolnej wartości . Dlatego każdą właściwość tego rozkładu można traktować jako funkcję . Przykładami takich właściwości są punkt przecięcia , nachylenie , wartość , a nawet średnia o wartości , która (zgodnie z tym sformułowaniem ) musi być . $y_i$ $x_i$ $(\sigma, \beta_0, \beta_1)$ $\beta_0$ $\beta_1$ $\cos(\sigma + \beta_0^2 - \beta_1)$ $x=2$ $\beta_0 + 2 \beta_1$

W tym kontekście OLS, A nie przykład estymatora będzie procedura domyślać się wartość , gdy zostały równy 2. To nie estymator ponieważ ta wartość jest przypadkowy (w sposób całkowicie oddzielone od losowość danych): nie jest to (określona liczbowo) właściwość rozkładu, nawet jeśli jest związana z tym rozkładem. (Jak tylko piła, chociaż, oczekiwanie z dla , która jest równa może być określona). $y$ $x$ $y$ $y$ $x=2$ $\beta_0 + 2 \beta_1$

W sformułowaniu Lehmanna prawie każda formuła może być estymatorem prawie każdej właściwości. Nie ma nieodłącznego matematycznego związku między estymatorem a estymatorem. Możemy jednak z wyprzedzeniem ocenić szansę, że estymator będzie racjonalnie zbliżony do wielkości, którą zamierza oszacować. Sposoby i sposoby ich wykorzystania są przedmiotem teorii szacunków.

— Whuber
źródło

1

(+1) Bardzo precyzyjna i szczegółowa odpowiedź.

— chl

2

Czy funkcja samej zmiennej losowej nie jest również zmienną losową?

— jsk

@jsk Myślę, że rozróżnienie, które próbowałem tutaj wprowadzić, można wyjaśnić, biorąc pod uwagę skład funkcjiPierwsza funkcja to zmienna losowa ; drugi (nazwij to ) jest tutaj określany jako estymator , a skład dwóch jest „oszacowaniem” lub „procedurą oszacowania”, co jest - jako poprawnie mówisz - zmienna losowa.

Ω \to R^{n} \to R .

$\Omega\to\mathbb{R}^n\to\mathbb{R}.$

X

$X$

t

$t$

t \circ X : Ω \to R

$t\circ X:\Omega\to\mathbb{R}$

— whuber

1

@whuber W swoim poście mówisz: „Sam estymator nie jest zmienną losową”. Próbowałem edytować Twój post, aby wyjaśnić punkt, w którym zgadzamy się z Tobą, ale wygląda na to, że ktoś odrzucił moją edycję. Być może wolą twoją edycję!

— jsk

Daj nam kontynuować tę dyskusję w czacie .

— whuber

7

W skrócie: estymator jest funkcją, a oszacowanie jest wartością, która podsumowuje obserwowaną próbkę.

Estymator jest funkcją, która odwzorowuje losową próbkę do oszacowania parametrów:

\hat{Θ} = t (X_{1}, X_{2)}, . . ., X_{n})

$\hat{\Theta}=t(X_1,X_2,...,X_n)$ Zauważ, że estymator n zmiennych losowych jest zmienną losową . Na przykład, estymator próbka oznacza: oszacowanie jest wynikiem zastosowania estymatora do mała obserwowana próbka :

X_{1}, X_{2}, . . ., X_{n}

$X_1,X_2,...,X_n$

\hat{Θ}

$\hat{\Theta}$

\bar{X} = \frac{1}{n} \sum_{n = 1}^{n} X_{ja}

$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$

\hat{θ}

$\hat{\theta}$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{θ} = t (x_{1}, x_{2)}, . . ., x_{n})

$\hat{\theta}=t(x_1,x_2,...,x_n)$ Na przykład szacunkowa obserwowana próbka jest średnią próbki:

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{μ} = \bar{x} = \frac{1}{n} \sum_{n = 1}^{n} x_{ja}

$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$

— Obywatel
źródło

estymator jest RV, podczas gdy estymacja jest stała?

— Parthiban Rajendran

Czy twój wniosek nie jest sprzeczny z @ whuber? Tutaj mówisz, że estymatorem jest RV, ale whuber mówi inaczej.

— Parthiban Rajendran

Tak, nie zgadzam się z twierdzeniem @ whubera: „Sam estymator nie jest zmienną losową: jest tylko funkcją matematyczną”. Funkcja zmiennej losowej jest również zmienną losową. onlinecourses.science.psu.edu/stat414/node/128

— Freeman

3

Pomocne może być zilustrowanie odpowiedzi Whubera w kontekście modelu regresji liniowej. Załóżmy, że masz dane dwuwymiarowe i używasz zwykłych najmniejszych kwadratów, aby wymyślić następujący model:

Y = 6X + 1

W tym momencie możesz wziąć dowolną wartość X, podłączyć ją do modelu i przewidzieć wynik, Y. W tym sensie możesz myśleć o poszczególnych składnikach ogólnej postaci modelu ( mX + B ) jako estymatorach . Przykładowe dane (które przypuszczalnie podłączony do rodzajowego modelu do obliczania wartości specyficzne dla m i B powyżej) stanowi podstawę, na której można wymyślić szacunków dla m i B odpowiednio.

Zgodnie z punktami @ whubera w naszym poniższym wątku, niezależnie od wartości Y, dla których generowany jest określony zestaw estymatorów, w kontekście regresji liniowej są uważane za wartości prognozowane.

(edytowany - kilka razy - w celu odzwierciedlenia poniższych komentarzy)

— popiołu
źródło

1

Dobrze zdefiniowałeś predyktor. Jest subtelnie (ale co ważne) różni się od estymatora. Estymator w tym kontekście jest wzorem najmniejszych kwadratów stosowanym do obliczania parametrów 1 i 6 na podstawie danych.

— whuber

Hmm, nie miałem tego na myśli, @whuber, ale myślę, że twój komentarz ilustruje ważną dwuznaczność w moim języku, której wcześniej nie zauważyłem. Głównym punktem tutaj jest to, że można traktować ogólną postać równania Y = mX + B (jak użyto powyżej) jako estymator, podczas gdy konkretne przewidywane wartości generowane przez konkretne przykłady tego wzoru (np. 1 + 6X) to szacunki. Pozwólcie, że spróbuję edytować powyższy akapit, aby uchwycić to rozróżnienie ...

— ashaw

przy okazji, staram się to wyjaśnić, nie wprowadzając notacji „kapelusz”, z którą się spotkałem w większości podręczników na temat tego pojęcia. Być może to w końcu lepsza droga?

— ashaw

2

Myślę, że w swojej pierwotnej odpowiedzi trafiłeś na dobry środek między dokładnością a technicznością: tak trzymaj! Nie potrzebujesz czapek, ale jeśli potrafisz pokazać, w jaki sposób estymator odróżnia się od innych, podobnie wyglądających rzeczy, byłoby to najbardziej pomocne. Należy jednak zauważyć różnicę między przewidywaniem wartości Y a oszacowaniem parametru, takiego jak m lub b . Y można interpretować jako zmienną losową; mib nie są (z wyjątkiem ustawienia bayesowskiego).

— whuber

w rzeczy samej, bardzo dobry punkt pod względem parametrów w porównaniu do wartości.

— Ponowna

0

Załóżmy, że otrzymałeś jakieś dane i zaobserwowałeś zmienną o nazwie theta. Teraz twoje dane mogą pochodzić z rozkładu danych, dla tego rozkładu istnieje odpowiednia wartość theta, którą wnioskujesz, która jest zmienną losową. Możesz użyć MAP lub średniej do obliczenia oszacowania tej zmiennej losowej, ilekroć zmienia się rozkład danych. Tak więc losowa zmienna theta jest znana jako oszacowanie , pojedyncza wartość nieobserwowanej zmiennej dla określonego rodzaju danych.

Podczas gdy estymator to twoje dane, które są również zmienną losową. Dla różnych typów rozkładów masz różne typy danych, a zatem masz inne oszacowanie, a zatem ta odpowiadająca zmienna losowa jest nazywana estymatorem .

— Ankur Kothari
źródło