Jeśli są IID, to oblicz , gdzie

Pytanie

Jeśli są IID, to oblicz , gdzie .$X_1,\cdots,X_n \sim \mathcal{N}(\mu, 1)$$\mathbb{E}\left( X_1 \mid T \right)$$T = \sum_i X_i$

---

Próba : Sprawdź, czy poniższe informacje są prawidłowe.

Powiedzmy, że bierzemy sumę tych warunkowych oczekiwań, tak, że:

$$\begin{align} \sum_i \mathbb{E}\left( X_i \mid T \right) = \mathbb{E}\left( \sum_i X_i \mid T \right) = T . \end{align}$$ Oznacza to, że każdy $\mathbb{E}\left( X_i \mid T \right) = \frac{T}{n}$ od $X_1,\ldots,X_n$ są IID.

Zatem $\mathbb{E}\left( X_1 \mid T \right) = \frac{T}{n}$ . Czy to jest poprawne?

Pomysł jest słuszny - ale trzeba go wyrazić nieco bardziej rygorystycznie. Dlatego skupię się na notacji i odsłonięciu istoty pomysłu.

---

Zacznijmy od idei wymienności:

Zmienna losowa jest wymienna, gdy rozkłady zmiennych permutowanych są takie same dla każdej możliwej permutacji .$\mathbf X=(X_1, X_2, \ldots, X_n)$$\mathbf{X}^\sigma=(X_{\sigma(1)}, X_{\sigma(2)}, \ldots, X_{\sigma(n)})$$\sigma$

Wyraźnie oznacza to, że można je wymieniać.

W ramach notacji napisz dla komponentu w i pozwól$X^\sigma_i = X_{\sigma(i)}$$i^\text{th}$$\mathbf{X}^\sigma$

$$T^\sigma = \sum_{i=1}^n X^\sigma_i = \sum_{i=1}^n X_i = T.$$

Niech będzie dowolnym indeksem i niech będzie dowolną permutacją indeksów, które wysyłają do (Taki istnieje, ponieważ zawsze można po prostu zamienić i ) Wymienność implikuje$j$$\sigma$$1$$j = \sigma(1).$$\sigma$$1$$j.$$\mathbf X$

$$E[X_1\mid T] = E[X^\sigma_1\mid T^\sigma] = E[X_j\mid T],$$

ponieważ (w pierwszej nierówności) po prostu zastąpiliśmy identycznie rozmieszczonym wektoremTo jest sedno sprawy.$\mathbf X$$\mathbf X^\sigma.$

w konsekwencji

$$T = E[T \mid T] = E[\sum_{i=1}^n X_i\mid T] = \sum_{i=1}^n E[X_i\mid T] = \sum_{i=1}^n E[X_1\mid T] = n E[X_1 \mid T],$$

skąd

$$E[X_1\mid T] = \frac{1}{n} T.$$

$\newcommand{\one}{\mathbf 1}$ To nie jest dowód (i +1 do odpowiedzi @ whubera), ale jest to geometryczny sposób na zbudowanie intuicji, dlaczego jest rozsądna odpowiedź.$E(X_1 | T) = T/n$

Niech i więc . Uwzględniamy wtedy zdarzenie, że dla jakiegoś , więc to jest jak rysowanie wielowymiarowych Gaussianów obsługiwanych na ale patrząc tylko na te, które kończą w afinii spacja . Następnie chcemy poznać średnią współrzędnych punktów, które lądują w tej afinicznej przestrzeni (nie wspominając, że jest to podzbiór miary zero).$X = (X_1,\dots,X_n)^T$$\one = (1,\dots,1)^T$$T = \one^TX$$\one^TX = t$$t \in \mathbb R$$\mathbb R^n$$\{x \in \mathbb R^n : \one^Tx = t\}$$x_1$

Znamy więc mamy sferyczny gaussian ze stałym średnim wektorem, a średni wektor jest na tej samej linii, co normalny wektor hiperpłaszczyzny .

$$X \sim \mathcal N(\mu \one, I)$$ $\mu\one$$x^T\one = 0$

To daje nam sytuację jak na poniższym obrazku:

Kluczowa idea: najpierw wyobraź sobie gęstość w podprzestrzeni afinicznej . Gęstość jest symetryczna wokół ponieważ . Gęstość będzie również symetryczna w jak jest symetryczny w tym samym wierszu, a punkt, wokół której jest symetryczny jest przecięciem linii i . Dzieje się tak dla .$H_t := \{x : x^T\one = t\}$$X$$x_1 = x_2$$E(X) \in \text{span } \one$$H_t$$H_t$$x_1 + x_2 = t$$x_1 = x_2$$x = (t/2, t/2)$

Aby wyobrazić sobie , możemy sobie wyobrazić próbkowanie w kółko, a następnie, gdy otrzymamy punkt w , bierzemy tylko współrzędną i zapisujemy to. Z symetrii gęstości na również rozkład współrzędnych będzie symetryczny i będzie miał ten sam punkt środkowy . Średnia rozkładu symetrycznego jest centralnym punktem symetrii, co oznacza, że , i że ponieważ i można wykasować bez wpływu byle co.$E(X_1 | T)$$H_t$$x_1$$H_t$$x_1$$t/2$$E(X_1 | T) = T/2$$E(X_1| T) = E(X_2 | T)$$X_1$$X_2$

W wyższych wymiarach staje się to trudne (lub niemożliwe) do dokładnej wizualizacji, ale ten sam pomysł ma zastosowanie: mamy sferyczny gaussowski ze średnią w zakresie , i patrzymy na afiniczną podprzestrzeń, która jest do niej prostopadła . Punktem równowagi rozkładu w podprzestrzeni będzie nadal przecięcie i o wartości , a gęstość jest nadal symetryczna, więc ten punkt równowagi jest znowu średnią.$\one$$\text{span }\one$$\{x : x^T\one = t\}$$x=(t/n, \dots, t/n)$

Ponownie, to nie jest dowód, ale myślę, że daje to dobre wyobrażenie o tym, dlaczego można oczekiwać tego zachowania.

---

Poza tym, jak zauważyli niektórzy tacy jak @StubbornAtom, tak naprawdę nie wymaga to, aby był gaussowski. W 2D zaznacz, że jeśli jest wymienny, to (bardziej ogólnie, ), więc musi być symetryczne wzdłuż linii . Mamy też więc wszystko, co powiedziałem o „kluczowym pomyśle” na pierwszym zdjęciu, nadal jest aktualne. Oto przykład, w którym pochodzą z modelu mieszanki Gaussa. Wszystkie linie mają takie samo znaczenie jak poprzednio.$X$$X$$f(x_1, x_2) = f(x_2, x_1)$$f(x) = f(x^\sigma)$$f$$x_1 = x_2$$E(X) \in \text{span }\one$$X_i$

Myślę, że twoja odpowiedź jest prawidłowa, chociaż nie jestem do końca pewny co do linii zabójców w twoim dowodzie, że jest to prawdą „ponieważ są tam”. Bardziej niewygodny sposób na to samo rozwiązanie jest następujący:

Zastanów się, co tak naprawdę oznacza . Wiesz, że masz próbkę z odczytami N i że ich średnia to T. To tak naprawdę oznacza, że ​​teraz podstawowy rozkład, z którego pobrano próbki, nie ma już znaczenia (zauważysz, że w żadnym momencie nie użyłeś faktu, że był próbka z Gaussa w twoim dowodzie).$\mathbb{E}(x_{i}|T)$

$\mathbb{E}(x_{i}|T)$ jest odpowiedzią na pytanie, jeśli próbkowałeś z próbki, wielokrotnie zastępując, jaka byłaby średnia uzyskana. Jest to suma wszystkich możliwych wartości, pomnożona przez ich prawdopodobieństwo lub co jest równe T.$\sum_{i=1}^{N}\frac{1}{N}x_{i}$