Przykład spójnego i stronniczego estymatora?

13

Naprawdę zaskoczyło mnie to. Naprawdę chciałbym przykład lub sytuację, w której estymator B byłby zarówno spójny, jak i stronniczy.

mathematical-statistics estimation econometrics

— Jimmy Wiggles
źródło

3

To jest na zajęcia?

— Glen_b

5

Myślę, że późna specyfikacja, której szukasz na przykład szeregu czasowego, przekształca to w inne pytanie, ponieważ unieważniłoby to już doskonałe odpowiedzi. Ale to dobrze - możesz zadać nowe pytanie.

— Sycorax mówi Przywróć Monikę

6

Widzę, że zmieniłeś swoje pytanie. Biorąc pod uwagę, że kilka odpowiedzi dotyczyło już poprzedniego pytania, radzę go zmienić z powrotem i opublikować nowe pytanie specjalnie dla modeli szeregów czasowych.

— JohnK,

3

Zaskakujące jest to, że nawet jeśli poprosisz o estymator związany z szeregami czasowymi, nikt nie wspomniał o OLS dla AR (1). Estymator jest tendencyjny, ale spójny i dość łatwo go pokazać (a googling da ci dużo materiału na ten temat). Edycja: wygląda na to, że prośba o szereg czasowy była późnym uzupełnieniem, co tłumaczyłoby brak takich odpowiedzi ...

— hejseb

2

Oto dość trywialny przykład: , .

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$

ϵ \neq 0

$\epsilon \neq 0$

— dsaxton

23

Najprostszym przykładem, jaki mogę sobie wyobrazić, jest przykładowa wariancja, która intuicyjnie dociera do większości z nas, a mianowicie suma kwadratowych odchyleń podzielona przez zamiast : $n$ $n-1$

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

Łatwo jest wykazać, że a zatem estymator jest stronniczy. Ale zakładając skończoną wariancję , zauważ, że odchylenie jest zerowe jako ponieważ $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ $\sigma^2$ $n \to \infty$

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

Można również wykazać, że wariancja estymatora dąży do zera, a zatem estymator zbiega się w średniej kwadratowej . Stąd jest również zbieżne w prawdopodobieństwie .

— JohnK
źródło

1

Jest to przydatny przykład, chociaż może tutaj zastosować dość słabą interpretację „stronniczego” (który jest nieco niejasny w samym pytaniu). Można również poprosić o coś mocniejszego, np. Ciąg estymatora, który jest spójny, ale z odchyleniem, które nie zanika nawet asymptotycznie.

— kardynał

@ cardinal Odchylenie musi zniknąć asymptotycznie, aby estymator był spójny, prawda?

— JohnK,

3

Nie. (Więcej szczegółów można znaleźć w strumieniu komentarzy).

— kardynał

Myślę, że byłoby pomocne zadzwonić do Estymator

zamiast

, a

najczęściej odnosi się do nieobciążonego estymatora, a

często odnosi się do MLE.

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

— Cliff AB,

@CliffAB Tak, to właśnie oznacza indeks

, suma kwadratowych odchyleń jest dzielona przez

, zamiast konwencjonalnego

.

n

$n$

n

$n$

n - 1

$n-1$

— JohnK,

9

Przykładem byłoby proste oszacowanie parametrów $\theta > 0$ podane $n$ IID obserwacje $y_i \sim \text{Uniform}\left[0, \,\theta\right]$ .

. Dla każdego skończonegomamy(więc estymator jest tendencyjny), ale w granicy wyniesiez prawdopodobieństwem jeden (więc jest spójny). $\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$

— Adrian
źródło

6

Rozważmy dowolny obiektywny i spójny estymator oraz sekwencję zbieżną do 1 ( nie musi być losowa) i uformować . Jest tendencyjny, ale spójny, ponieważ zbieżne do 1. $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

Z wikipedii:

Luźno mówiąc, estymator parametru jest powiedziane, że są zgodne, jeśli zbieżna prawdopodobieństwa dla prawdziwych wartości parametru: $T_n$ $\theta$

\underset{n \to \infty}{plim} T_{n} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

Przypomnijmy teraz, że błąd estymatora jest zdefiniowany jako:

{Bias}_{θ} [\hat{θ}] = E_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

Odchylenie jest rzeczywiście niezerowe, a zbieżność prawdopodobieństwa pozostaje prawdziwa.

— RUser4512
źródło

Doceniam odpowiedź i wyjaśnienie. Teraz lepiej rozumiem. Dzięki

— Jimmy Wiggles,

Ta odpowiedź wymaga drobnych poprawek na początku, aby wyjaśnić, że nie zrobi tego żadna obiektywna

. Oryginalna sekwencja estymatora musi być spójna.

T_{n}

$T_n$

— kardynał

2

W ustawieniach szeregów czasowych z opóźnioną zmienną zależną zawartą jako regresor estymator OLS będzie spójny, ale stronniczy. Powodem tego jest to, że aby wykazać bezstronność estymatora OLS, potrzebujemy ścisłej egzogeniczności, , tzn. że składnik błędu w okresiejest nieskorelowany ze wszystkimi regresorami we wszystkich okresach. Aby jednak wykazać spójność estymatora OLS, potrzebujemy tylko współczesnej egzogeniczności, , tzn. że składnik błędu w okresiejest skorelowany z regresorami, w okresie. Rozważ model AR (1): $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ $t$ o od tej pory. $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

Po pierwsze pokazuję, że ścisła egzogeniczność nie zachowuje się w modelu z opóźnioną zmienną zależną zawartą w regresorze. Wygląd Załóżmy, na korelacji między i $\varepsilon_{t}$ $x_{t+1}=y_{t}$

E [ε_{t} x_{t + 1}] = E [ε_{t} y_{t}] = E [ε_{t} (ρ y_{t - 1} + ε_{t})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ E (ε_{t} y_{t - 1}) + E (ε_{t}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= E (ε_{t}^{2}) = σ_{ε}^{2} > 0 (E q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

$E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

$\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} (E q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

$E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

E [\hat{ρ} | y_{1}, y_{2,}, \dots, y_{T - 1}] = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} [ε_{t} | y_{1}, y_{2,}, \dots, y_{T - 1}] y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

$Eq. (1)$ $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

$E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ $E\left[\varepsilon_{t}x_{t}\right]=0$ $x_{t}=y_{t-1}$ $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

$plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ $\sigma_{y}^{2}$ $0<\sigma_{y}^{2}<\infty$

$T\rightarrow\infty$ $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

$p$ $\hat{\rho}$

— Plissken
źródło