Problem z estymacją parametrów

Niech i będą czterema zmiennymi losowymi, takimi jak , gdzie są nieznanymi parametrami. Załóżmy również, że ,Więc który z nich jest prawdziwy? $Y_1,Y_2,Y_3$ $Y_4$ $E(Y_1)=\theta_1-\theta_3;\space\space E(Y_2)=\theta_1+\theta_2-\theta_3;\space\space E(Y_3)=\theta_1-\theta_3;\space\space E(Y_4)=\theta_1-\theta_2-\theta_3$ $\theta_1,\theta_2,\theta_3$ $Var(Y_i)=\sigma^2$ $i=1,2,3,4.$

A. są możliwe do . $\theta_1,\theta_2,\theta_3$

B. jest . $\theta_1+\theta_3$

C. jest a jest najlepszym liniowym obiektywnym oszacowaniem . $\theta_1-\theta_3$ $\dfrac{1}{2}(Y_1+Y_3)$ $\theta_1-\theta_3$

D. jest . $\theta_2$

Podana odpowiedź to C, które wydaje mi się dziwne (ponieważ dostałem D).

Dlaczego mam D? Ponieważ . $E(Y_2-Y_4)=2\theta_2$

Dlaczego nie rozumiem, że C może być odpowiedzią? Ok, widzę, jest obiektywnym estymatorem , a jego wariancja jest mniejsza niż . $\dfrac{Y_1+Y_2+Y_3+Y_4}{4}$ $\theta_1-\theta_3$ $\dfrac{Y_1+Y_3}{2}$

Proszę powiedz mi, gdzie robię źle.

Umieszczono również tutaj: /math/2568894/a-problem-on-estimability-of-parameters

self-study estimation inference

— Stat_prob_001
źródło

Wstaw self-studytag, bo ktoś przyjdzie i zamknie twoje pytanie.

— Carl

@Carl to zrobione, ale dlaczego?

— Stat_prob_001

Są to zasady dotyczące witryny, a nie moje zasady, zasady dotyczące witryny.

— Carl

Czy ?

Y_{1} \neq Y_{3}

$Y_1\neq Y_3$

— Carl

@Carl możesz myśleć w ten sposób: gdzie to rv ze średnią i wariancją . I, gdzie to rv ze średnią i wariancją

Y_{1} = θ_{1} - θ_{3} + ϵ_{1}

$Y_1=\theta_1-\theta_3+\epsilon_1$

ϵ_{1}

$\epsilon_1$

0

$0$

σ^{2}

$\sigma^2$

Y_{3} = θ_{1} - θ_{3} + ϵ_{3}

$Y_3=\theta_1-\theta_3+\epsilon_3$

ϵ_{3}

$\epsilon_3$

0

$0$

σ^{2}

$\sigma^2$

— Stat_prob_001

Odpowiedzi:

Ta odpowiedź podkreśla weryfikowalność. Właściwość minimalnej wariancji należy do mojej drugiej uwagi.

Na początek podsumuj informacje dotyczące formy macierzowej modelu liniowego w następujący sposób: gdzie (aby omówić oszacowanie, założenie sferyczności nie jest konieczne. Ale aby omówić właściwość Gaussa-Markowa, musimy założyć kulistość ).

\begin{aligned} (1) & Y := [\begin{matrix} Y_{1} \\ Y_{2} \\ Y_{3} \\ Y_{4} \end{matrix}] = [\begin{matrix} 1 & 0 & - 1 \\ 1 & 1 & - 1 \\ 1 & 0 & - 1 \\ 1 & - 1 & - 1 \end{matrix}] [\begin{matrix} θ_{1} \\ θ_{2} \\ θ_{3} \end{matrix}] + [\begin{matrix} ε_{1} \\ ε_{2} \\ ε_{3} \\ ε_{4} \end{matrix}] := X β + ε, \end{aligned}

$\begin{align} Y := \begin{bmatrix} Y_1 \\ Y_2 \\ Y_3 \\ Y_4 \end{bmatrix} = \begin{bmatrix} 1 & 0 & -1 \\ 1 & 1 & -1 \\ 1 & 0 & -1 \\ 1 & -1 & -1 \\ \end{bmatrix} \begin{bmatrix} \theta_1 \\ \theta_2 \\ \theta_3 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \end{bmatrix}:= X\beta + \varepsilon, \tag{1} \end{align}$

E (ε) = 0, Var (ε) = σ^{2} I

$E(\varepsilon) = 0, \text{Var}(\varepsilon) = \sigma^2 I$

ε

$\varepsilon$

Jeśli macierz projektowa ma pełną rangę, to parametr początkowy dopuszcza unikalne oszacowanie najmniejszych kwadratów . W związku z tym dowolny parametr , zdefiniowany jako funkcja liniowa z , można oszacować w tym sensie, że można go jednoznacznie oszacować na podstawie danych za pomocą oszacowania metodą najmniejszych kwadratów as . $X$ $\beta$ $\hat{\beta} = (X'X)^{-1}X'Y$ $\phi$ $\phi(\beta)$ $\beta$ $\hat{\beta}$ $\hat{\phi} = p'\hat{\beta}$

Subtelność powstaje, gdy nie ma pełnej rangi. Aby przeprowadzić dokładną dyskusję, najpierw naprawiamy niektóre zapisy i terminy (przestrzegam konwencji „Podejście bez współrzędnych do modeli liniowych” , punkt 4.8. Niektóre z tych terminów brzmią niepotrzebnie technicznie). Ponadto dyskusja dotyczy ogólnego modelu liniowego z i . $X$ $Y = X\beta + \varepsilon$ $X \in \mathbb{R}^{n \times k}$ $\beta \in \mathbb{R}^k$

Kolektora regresji jest zbiorem wektorów jako średnią zmienia się w : $\beta$ $\mathbb{R}^k$ $M = {X β : β \in R^{k}} .$ $M = \{X\beta: \beta \in \mathbb{R}^k\}.$

Funkcja parametryczna jest liniową funkcją , $\phi = \phi(\beta)$ $\beta$ $ϕ (β) = p^{'} β = p_{1} β_{1} + \dots + p_{k} β_{k} .$ $\phi(\beta) = p'\beta = p_1\beta_1 + \cdots + p_k\beta_k.$

Jak wspomniano powyżej, gdy , nie każda funkcja parametryczna jest możliwa do oszacowania. Ale poczekaj, jaka jest definicja terminu możliwa do oszacowania pod względem technicznym? Trudno podać jasną definicję bez zawracania głowy algebrą liniową. Jedna z definicji, która moim zdaniem jest najbardziej intuicyjna, jest następująca (z tego samego wyżej wspomnianego odniesienia): $\text{rank}(X) < k$ $\phi(\beta)$

Definicja 1. Funkcjonalność parametrycznąmożna oszacować, jeśli jest jednoznacznie określona przezw tym sensie, żeza każdym razem, gdyspełniają. $\phi(\beta)$ $X\beta$ $\phi(\beta_1) = \phi(\beta_2)$ $\beta_1,\beta_2 \in \mathbb{R}^k$ $X\beta_1 = X\beta_2$

Interpretacja. Z powyższej definicji wynika, że mapowanie z kolektora regresji do przestrzeni parametrów musi być jeden do jednego, co jest gwarantowane, gdy (tj. Gdy sam jest jeden- do jednego). Kiedy , wiemy, że istnieją takie, że . Powyższa możliwa do oszacowania definicja wyklucza te funkcjonalne parametryczne z defektem strukturalnym, które same w sobie dają różne wartości, nawet przy tej samej wartości na , co nie ma naturalnego sensu. Z drugiej strony, przewidywalna funkcja parametryczna $M$ $\phi$ $\text{rank}(X) = k$ $X$ $\text{rank}(X) < k$ $\beta_1 \neq \beta_2$ $X\beta_1 = X\beta_2$ $M$ $\phi(\cdot)$ zezwala na wielkość liter z , o ile warunek jest spełniony. $\phi(\beta_1) = \phi(\beta_2)$ $\beta_1 \neq \beta_2$ $X\beta_1 = X\beta_2$

Istnieją inne równoważne warunki, aby sprawdzić estymację funkcji parametrycznej podanej w tym samym odnośniku, Twierdzenie 8.4.

Po tak pełnym wprowadzeniu w tło wróćmy do twojego pytania.

A. Samego nie się z tego powodu, że , co pociąga za sobą z . Chociaż powyższa definicja jest podana dla funkcjonałów skalarnych, łatwo można ją uogólnić na funkcjonały o wartości wektorowej. $\beta$ $\text{rank}(X) < 3$ $X\beta_1 = X\beta_2$ $\beta_1 \neq \beta_2$

B. jest nie do oszacowania. To , rozważmy i , co daje ale . $\phi_1(\beta) = \theta_1 + \theta_3 = (1, 0, 1)'\beta$ $\beta_1 = (0, 1, 0)'$ $\beta_2 = (1, 1, 1)'$ $X\beta_1 = X\beta_2$ $\phi_1(\beta_1) = 0 + 0 = 0 \neq \phi_1(\beta_2) = 1 + 1 = 2$

C. można oszacować. Ponieważ trywialnie implikuje , tj. . $\phi_2(\beta) = \theta_1 - \theta_3 = (1, 0, -1)'\beta$ $X\beta_1 = X\beta_2$ $\theta_1^{(1)} - \theta_3^{(1)} = \theta_1^{(2)} - \theta_3^{(2)}$ $\phi_2(\beta_1) = \phi_2(\beta_2)$

D. jest również możliwe do oszacowania . z do jest również trywialne. $\phi_3(\beta) = \theta_2 = (0, 1, 0)'\beta$ $X\beta_1 = X\beta_2$ $\phi_3(\beta_1) = \phi_3(\beta_2)$

Po zweryfikowaniu oszacowania istnieje twierdzenie (Twierdzenie 8.16, to samo odniesienie) twierdzi, że właściwość Gaussa-Markowa dla . Na podstawie tego twierdzenia druga część opcji C jest niepoprawna. Najlepsze liniowe oszacowanie bezstronne to , zgodnie z poniższym twierdzeniem. $\phi(\beta)$ $\bar{Y} = (Y_1 + Y_2 + Y_3 + Y_4)/4$

Twierdzenie. Niechbędzie możliwą do oszacowania funkcją parametryczną, wtedy jego najlepszym liniowym obiektywnym oszacowaniem (aka, oszacowanie Gaussa-Markowa) jestdla dowolnego rozwiązaniado normalnych równań. $\phi(\beta) = p'\beta$ $\phi(\hat{\beta})$ $\hat{\beta}$ $X'X\hat{\beta} = X'Y$

Dowód jest następujący:

Dowód. Proste obliczenia pokazują, że normalne równania to które, po uproszczeniu jest to: tj. .
$[\begin{matrix} 4 & 0 & - 4 \\ 0 & 2 & 0 \\ - 4 & 0 & 4 \end{matrix}] \hat{β} = [\begin{matrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & - 1 \\ - 1 & - 1 & - 1 & - 1 \end{matrix}] Y,$ $\begin{equation} \begin{bmatrix} 4 & 0 & -4 \\ 0 & 2 & 0 \\ -4 & 0 & 4 \end{bmatrix} \hat{\beta} = \begin{bmatrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & -1 \\ -1 & -1 & -1 & -1 \end{bmatrix} Y, \end{equation}$ $[\begin{matrix} ϕ (\hat{β}) \\ {\hat{θ}}_{2} / 2 \\ - ϕ (\hat{β}) \end{matrix}] = [\begin{matrix} \bar{Y} \\ (Y_{2} - Y_{4}) / 4 \\ - \bar{Y} \end{matrix}],$ $\begin{equation} \begin{bmatrix} \phi(\hat{\beta}) \\ \hat{\theta}_2/2 \\ -\phi(\hat{\beta}) \end{bmatrix} = \begin{bmatrix} \bar{Y} \\ (Y_2 - Y_4)/4 \\ -\bar{Y} \end{bmatrix}, \end{equation}$ $\phi(\hat{\beta}) = \bar{Y}$

Dlatego opcja D jest jedyną prawidłową odpowiedzią.

Dodatek: Związek szacowności i identyfikowalności

Gdy byłem w szkole, profesor krótko wspomniał, że estymacja funkcji parametrycznej odpowiada identyfikowalności modelu. Uznałem to roszczenie za oczywiste. Jednak równoważność musi być wyrażona bardziej precyzyjnie. $\phi$

Według monografii AC Davisona Modele statystyczne s. 144,

Definicja 2. Model parametryczny, w którym każdy parametrgeneruje inny rozkład, nazywa się identyfikowalnym . $\theta$

W przypadku modelu liniowego , niezależnie od warunku sferyczności , można go przeformułować jako $(1)$ $\text{Var}(\varepsilon) = \sigma^2 I$

\begin{matrix} (2) & E [Y] = X β, β \in R^{k} . \end{matrix}

$\begin{equation} E[Y] = X\beta, \quad \beta \in \mathbb{R}^k. \tag{2} \end{equation}$

Jest to model taki prosty, że tylko określone pierwszego formularza moment wektora odpowiedzi . Gdy , model jest zidentyfikowania, ponieważ oznacza (słowo „dystrybucja” w oryginalnej definicji, naturalnie sprowadza się do „oznacza „w modelu .). $Y$ $\text{rank}(X) = k$ $(2)$ $\beta_1 \neq \beta_2$ $X\beta_1 \neq X\beta_2$ $(2)$

Załóżmy teraz, że i dana funkcja parametryczna , jak pogodzić definicję 1 i definicję 2 ? $\text{rank}(X) < k$ $\phi(\beta) = p'\beta$

Cóż, manipulując notacjami i słowami, możemy pokazać, że („dowód” jest raczej trywialny) estymacja jest równoważna temu, że model jest identyfikowalny, gdy jest sparametryzowany parametrem (macierz projektowa prawdopodobnie się odpowiednio zmieni). Aby udowodnić, załóżmy, że można oszacować, więc oznacza , z definicji jest to , stąd model jest zidentyfikowania podczas indeksowania za pomocą . Odwrotnie, załóżmy, że model jest możliwy do zidentyfikowania $\phi(\beta)$ $(2)$ $\phi = \phi(\beta) = p'\beta$ $X$ $\phi(\beta)$ $X\beta_1 = X\beta_2$ $p'\beta_1 = p'\beta_2$ $\phi_1 = \phi_2$ $(3)$ $\phi$ $(3)$ $X\beta_1 = X\beta_2$ oznacza , co jest trywialnie . $\phi_1 = \phi_2$ $\phi_1(\beta) = \phi_2(\beta)$

Intuicyjnie, gdy ma zmniejszoną pozycję w rankingu, model z jest redundantny (zbyt wiele parametrów), dlatego możliwa jest nie redundantna niższa wymiarowa reparametryzacja (która może składać się z zbioru funkcjonałów liniowych). Kiedy taka nowa reprezentacja jest możliwa? Kluczem jest oszacowanie. $X$ $\beta$

Aby zilustrować powyższe stwierdzenia, zastanówmy się ponownie nad twoim przykładem. że parametryczne funkcjonały i są możliwe do . Dlatego możemy przepisać model pod względem parametru reparametryzowanego w następujący sposób $\phi_2(\beta) = \theta_1 - \theta_3$ $\phi_3(\beta) = \theta_2$ $(1)$ $(\phi_2, \phi_3)'$

E [Y] = [\begin{matrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{matrix}] [\begin{matrix} ϕ_{2} \\ ϕ_{3} \end{matrix}] = \tilde{X} γ .

$\begin{equation} E[Y] = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{bmatrix} \begin{bmatrix} \phi_2 \\ \phi_3 \end{bmatrix} = \tilde{X}\gamma. \end{equation}$

Oczywiście, ponieważ ma pełną pozycję, model z nowym parametrem jest zidentyfikowania. $\tilde{X}$ $\gamma$

— Zhanxiong
źródło

Jeśli potrzebujesz dowodu na drugą część opcji C, uzupełnię moją odpowiedź.

— Zhanxiong

dzięki! za tak szczegółową odpowiedź. A teraz druga część C: Wiem, że „najlepszy” odnosi się do minimalnej wariancji. Dlaczego więc nie jest „najlepszy” ?

\frac{1}{4} (Y_{1} + Y_{2} + Y_{3} + Y_{4})

$\dfrac{1}{4}(Y_1+Y_2+Y_3+Y_4)$

— Stat_prob_001

Och, nie wiem, dlaczego myślałem, że to estymator w C. Właściwie jest najlepszym estymatorem.

(Y_{1} + Y_{2} + Y_{3} + Y_{4}) / 4

$(Y_1 + Y_2 + Y_3 + Y_4)/4$

— Zmodyfikuję

Zastosuj definicje.

Podam szczegóły, aby zademonstrować, w jaki sposób można zastosować techniki elementarne: nie musisz znać żadnych specjalnych twierdzeń na temat szacowania, ani nie będziesz musiał zakładać niczego o (marginalnych) rozkładach . Będziemy musieli podać jedno brakujące założenie dotyczące momentów ich wspólnej dystrybucji. $Y_i$

Definicje

Wszystkie oszacowania liniowe mają postać dla stałych .

t_{λ} (Y) = \sum_{i = 1}^{4} λ_{i} Y_{i}

$t_\lambda(Y) = \sum_{i=1}^4 \lambda_i Y_i$

λ = (λ_{i})

$\lambda = (\lambda_i)$

Estymator jest bezstronny, jeśli i tylko jeśli jego oczekiwanie wynosi . Według liniowości oczekiwań $\theta_1-\theta_3$ $\theta_1-\theta_3$

\begin{aligned} θ_{1} - θ_{3} & = E [t_{λ} (Y)] = \sum_{i = 1}^{4} λ_{i} E [Y_{i}] \\ = λ_{1} (θ_{1} - θ_{3}) + λ_{2} (θ_{1} + θ_{2} - θ_{3}) + λ_{3} (θ_{1} - θ_{3}) + λ_{4} (θ_{1} - θ_{2} - θ_{3}) \\ = (λ_{1} + λ_{2} + λ_{3} + λ_{4}) (θ_{1} - θ_{3}) + (λ_{2} - λ_{4}) θ_{2} . \end{aligned}

$\eqalign{ \theta_1 - \theta_3 &= E[t_\lambda(Y)] = \sum_{i=1}^4 \lambda_i E[Y_i]\\ & = \lambda_1(\theta_1-\theta_3) + \lambda_2(\theta_1+\theta_2-\theta_3) + \lambda_3(\theta_1-\theta_3) + \lambda_4(\theta_1-\theta_2-\theta_3) \\ &=(\lambda_1+\lambda_2+\lambda_3+\lambda_4)(\theta_1-\theta_3) + (\lambda_2-\lambda_4)\theta_2. }$

Porównanie współczynników nieznanych wielkości ujawnia $\theta_i$

\begin{matrix} (1) & λ_{2} - λ_{4} = 0 and λ_{1} + λ_{2} + λ_{3} + λ_{4} = 1. \end{matrix}

$\lambda_2-\lambda_4=0\text{ and }\lambda_1+\lambda_2+\lambda_3+\lambda_4=1.\tag{1}$

W kontekście liniowego obiektywnego oszacowania „najlepszy” zawsze oznacza najmniejszą wariancję. Wariant jest $t_\lambda$

Var (t_{λ}) = \sum_{i = 1}^{4} λ_{i}^{2} Var (Y_{i}) + \sum_{i \neq j}^{4} λ_{i} λ_{j} Cov (Y_{i}, Y_{j}) .

$\operatorname{Var}(t_\lambda) = \sum_{i=1}^4 \lambda_i^2 \operatorname{Var}(Y_i) + \sum_{i\ne j}^4 \lambda_i\lambda_j \operatorname{Cov}(Y_i,Y_j).$

Jedynym sposobem na osiągnięcie postępu jest dodanie założenia o kowariancjach: najprawdopodobniej pytanie ma na celu stwierdzenie, że wszystkie są zerowe. (Nie oznacza to, że są niezależne. Ponadto problem można rozwiązać, przyjmując wszelkie założenia określające te kowariancje do wspólnej stałej multiplikatywnej. Rozwiązanie zależy od struktury kowariancji.) $Y_i$

Ponieważ otrzymujemy $\operatorname{Var}(Y_i)=\sigma^2,$

\begin{matrix} (2) & Var (t_{λ}) = σ^{2} (λ_{1}^{2} + λ_{2}^{2} + λ_{3}^{2} + λ_{4}^{2}) . \end{matrix}

$\operatorname{Var}(t_\lambda) =\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2).\tag{2}$

Problemem jest zatem zminimalizowanie zastrzeżeniem ograniczeń . $(2)$ $(1)$

Rozwiązanie

Ograniczenia pozwalają nam wyrazić wszystkie w kategoriach tylko dwóch liniowych kombinacji. Niech i (które są liniowo niezależne). Określają one i podczas gdy ograniczenia określają i . Wszystko, co musimy zrobić, to zminimalizować , które można zapisać $(1)$ $\lambda_i$ $u=\lambda_1-\lambda_3$ $v=\lambda_1+\lambda_3$ $\lambda_1$ $\lambda_3$ $\lambda_2$ $\lambda_4$ $(2)$

σ^{2} (λ_{1}^{2} + λ_{2}^{2} + λ_{3}^{2} + λ_{4}^{2}) = \frac{σ^{2}}{4} (2 u^{2} + (2 v - 1)^{2} + 1) .

$\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2) = \frac{\sigma^2}{4}\left(2u^2 + (2v-1)^2 + 1\right).$

Żadne ograniczenia nie dotyczą . Załóżmy (aby zmienne nie były tylko stałymi). Ponieważ i są najmniejsze tylko wtedy, gdy , teraz jest oczywiste, że unikalnym rozwiązaniem jest $(u,v)$ $\sigma^2 \ne 0$ $u^2$ $(2v-1)^2$ $u=2v-1=0$

λ = (λ_{1}, λ_{2}, λ_{3}, λ_{4}) = (1 / 4, 1 / 4, 1 / 4, 1 / 4) .

$\lambda = (\lambda_1,\lambda_2,\lambda_3,\lambda_4) = (1/4,1/4,1/4,1/4).$

Opcja (C) jest fałszywa, ponieważ nie daje najlepszego obiektywnego estymatora liniowego. Opcja (D), choć nie podaje pełnych informacji, jest jednak poprawna, ponieważ

θ_{2} = E [t_{(0, 1 / 2, 0, - 1 / 2)} (Y)]

$\theta_2 = E[t_{(0,1/2,0,-1/2)}(Y)]$

jest oczekiwaniem na estymator liniowy.

Łatwo zauważyć, że ani (A), ani (B) nie mogą być poprawne, ponieważ przestrzeń oczekiwań estymatorów liniowych jest generowana przez i żaden z lub są w tym miejscu. $\{\theta_2, \theta_1-\theta_3\}$ $\theta_1,\theta_3,$ $\theta_1+\theta_3$

W konsekwencji (D) jest unikalną poprawną odpowiedzią.

— Whuber
źródło