Jak to udowodnić

Próbowałem ustalić nierówność

$$\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}}$$

gdzie to średnia próbki, a standardowe odchylenie próbki, to znaczy .$\bar{X}$$S$$S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}}$

Łatwo zauważyć, że a więc ale to nie jest bardzo blisko tego, czego szukałem, ani nie jest to przydatne ograniczenie. Eksperymentowałem z Cauchy-Schwarzem i nierównościami trójkąta, ale nigdzie nie poszedłem. Musi być jakiś subtelny krok, którego mi brakuje. Byłbym wdzięczny za pomoc, dziękuję.$\sum_{i=1}^n T_i^2 = n-1$$\left| T_i \right| < \sqrt{n-1}$

To jest nierówność Samuelsona i potrzebuje tego $\leq$znak. Jeśli weźmiesz wersję Wikipedii i przerób ją na$n-1$ Definicja $S,$ przekonasz się, że to się stanie

$${{ \left| X_i-\bar X \right| } \over S} \leq {{n-1} \over \sqrt{n}}$$

Po uproszczeniu problemu za pomocą rutynowych procedur można go rozwiązać, przekształcając go w program podwójnej minimalizacji, który ma dobrze znaną odpowiedź z podstawowym dowodem. Być może ta dualizacja jest „subtelnym krokiem”, o którym mowa w pytaniu. Nierówność można również ustalić w sposób czysto mechaniczny poprzez maksymalizację$|T_i|$ przez mnożniki Lagrange'a.

Najpierw jednak oferuję bardziej eleganckie rozwiązanie oparte na geometrii najmniejszych kwadratów. Nie wymaga wstępnego uproszczenia i jest niemal natychmiastowy, zapewniając bezpośrednią intuicję w wyniku. Jak sugerowano w pytaniu, problem sprowadza się do nierówności Cauchy'ego-Schwarza.

---

Rozwiązanie geometryczne

Rozważać $\mathbf{x} = (X_1, X_2, \ldots, X_n)$ jako $n$-wymiarowy wektor w przestrzeni euklidesowej ze zwykłym iloczynem kropkowym. Pozwolić$\mathbf{y} = (0,0,\ldots,0,1,0,\ldots,0)$ być $i^\text{th}$ wektor podstawowy i $\mathbf{1} = (1,1,\ldots, 1)$. pisać$\mathbf{\hat x}$ i $\mathbf{\hat y}$ dla rzutów ortogonalnych z $\mathbf{x}$ i $\mathbf{y}$ do ortogonalnego uzupełnienia $\mathbf{1}$. (W terminologii statystycznej są to reszty w odniesieniu do średnich.) Następnie, od$X_i-\bar X = \mathbf{\hat x}\cdot \mathbf{y}$ i $S = ||\mathbf{\hat x}||/\sqrt{n-1}$,

$$|T_i| = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{y}|}{||\mathbf{\hat x}||} = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{\hat y}|}{||\mathbf{\hat x}||}$$

jest składnikiem $\mathbf{\hat y}$ w $\mathbf{\hat x}$kierunek. Według Cauchy-Schwarz maksymalizuje się dokładnie, kiedy$\mathbf{\hat x}$ jest równoległy do $\mathbf{\hat y} = (-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1)/n$, dla którego

$$T_i = \pm \sqrt{n-1} \frac{\mathbf{\hat y}\cdot \mathbf{\hat y} }{ ||\mathbf{\hat y}||} = \pm\sqrt{n-1}||\mathbf{\hat y}|| = \pm\frac{n-1}{\sqrt{n}},$$ CO BYŁO DO OKAZANIA.

Nawiasem mówiąc, to rozwiązanie zapewnia wyczerpującą charakterystykę wszystkich przypadków, w których $|T_i|$ jest zmaksymalizowany: wszystkie są formą

$$\mathbf{x} = \sigma\mathbf{\hat y} + \mu\mathbf{1} = \sigma(-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1) + \mu(1,1,\ldots, 1)$$

dla wszystkich prawdziwych $\mu, \sigma$.

Ta analiza uogólnia się łatwo do przypadku, w którym $\{\mathbf{1}\}$jest zastępowany przez dowolny zestaw regresorów. Najwyraźniej maksimum$T_i$ jest proporcjonalny do długości reszty $\mathbf{y}$, $||\mathbf{\hat y}||$.

---

Uproszczenie

Ponieważ $T_i$ jest niezmienny w przypadku zmian lokalizacji i skali, możemy założyć bez utraty ogólności, że $X_i$ suma do zera, a ich kwadraty do $n-1$. To identyfikuje$|T_i|$ z $|X_i|$, od $S$ (średni kwadrat) to $1$. Maksymalizacja jest równoznaczna z maksymalizacją$|T_i|^2 = T_i^2 = X_i^2$. Przyjmowanie nie powoduje utraty ogólności$i=1$, ponieważ, ponieważ $X_i$ są wymienne.

---

Rozwiązanie dzięki podwójnemu sformułowaniu

Podwójnym problemem jest ustalenie wartości $X_1^2$ i zapytaj, jakie wartości pozostałych $X_j, j\ne 1$są potrzebne, aby zminimalizować sumę kwadratów$\sum_{j=1}^n X_j^2$ jeśli się uwzględni $\sum_{j=1}^n X_j = 0$. Ponieważ$X_1$ jest podane, jest to problem minimalizacji $\sum_{j=2}^n X_j^2$ jeśli się uwzględni $\sum_{j=2}^n X_j = -X_1$.

Rozwiązanie można łatwo znaleźć na wiele sposobów. Jednym z najbardziej elementarnych jest pisanie

$$X_j = -\frac{X_1}{n-1} + \varepsilon_j,\ j=2, 3, \ldots, n$$

dla którego $\sum_{j=2}^n \varepsilon_j = 0$. Rozszerzenie funkcji celu i wykorzystanie tej tożsamości sumowania do zera w celu jej uproszczenia daje

$$\sum_{j=2}^n X_j^2 = \sum_{j=2}^n \left(-\frac{X_1}{n-1} + \varepsilon_j\right)^2 = \\\sum \left(-\frac{X_1}{n-1}\right)^2 - 2\frac{X_1}{n-1}\sum \varepsilon_j + \sum \varepsilon_j^2 \\= \text{Constant} + \sum \varepsilon_j^2,$$

od razu pokazuje unikalne rozwiązanie $\varepsilon_j=0$ dla wszystkich $j$. W przypadku tego rozwiązania

$$(n-1)S^2 = X_1^2 + (n-1)\left(-\frac{X_1}{n-1}\right)^2 = \left(1 + \frac{1}{n-1}\right)X_1^2 = \frac{n}{n-1}X_1^2$$

i

$$|T_i| = \frac{|X_1|}{S} = \frac{|X_1|}{\sqrt{\frac{n}{(n-1)^2}X_1^2}} = \frac{n-1}{\sqrt{n}},$$

QED .

---

Rozwiązanie za pomocą maszyn

Wróć do uproszczonego programu, od którego zaczęliśmy:

$$\text{Maximize } X_1^2$$

z zastrzeżeniem

$$\sum_{i=1}^n X_i = 0\text{ and }\sum_{i=1}^n X_i^2 -(n-1)=0.$$

Metoda mnożników Lagrange'a (która jest prawie czysto mechaniczna i prosta) utożsamia nietrywialną liniową kombinację gradientów tych trzech funkcji do zera:

$$(0,0,\ldots, 0) = \lambda_1 D(X_1^2) + \lambda_2 D\left(\sum_{i=1}^n X_i\right ) + \lambda_3 D\left(\sum_{i=1}^n X_i^2 -(n-1)\right).$$

Te elementy po komponencie $n$ równania są

$$\eqalign{ 0 &= 2\lambda_1 X_1 +& \lambda_2 &+ 2\lambda_3 X_1 \\ 0 &= & \lambda_2 &+ 2\lambda_3 X_2 \\ 0 &= \cdots \\ 0 &= & \lambda _2 &+ 2\lambda_3 X_n. }$$

Ostatni $n-1$ z nich implikuje również $X_2 = X_3 = \cdots = X_n = -\lambda_2/(2\lambda_3)$ lub $\lambda_2=\lambda_3=0$. (Możemy wykluczyć ten drugi przypadek, ponieważ wówczas implikuje pierwsze równanie$\lambda_1=0$, trywializacja kombinacji liniowej.) Powstaje ograniczenie sumy do zera $X_1 = -(n-1)X_2$. Ograniczenie sumy kwadratów zapewnia dwa rozwiązania

$$X_1 = \pm\frac{n-1}{\sqrt{n}};\ X_2 = X_3 = \cdots = X_n = \mp\frac{1}{\sqrt{n}}.$$

Oboje ulegają

$$|T_i| = |X_1| \le |\pm\frac{n-1}{\sqrt{n}}| = \frac{n-1}{\sqrt{n}}.$$

Podana nierówność jest prawdziwa. Intuicyjnie jasne jest, że otrzymujemy najtrudniejszy przypadek nierówności (to znaczy maksymalizacji lewej strony$S^2$), wybierając jedną wartość, powiedzmy $x_1$tak duży, jak to możliwe, przy równych wszystkich pozostałych. Spójrzmy na przykład z taką konfiguracją:

$$n=4, \quad x_1=x_2=x_3=0, x_4=4, \bar{x}=1, S^2=4,$$ teraz $\frac{|x_i-\bar{x}|}{S}=\begin{cases} \frac12 ~\text{or}~ \\ \frac32 \end{cases}$ zależy od $i$, podczas gdy podana górna granica jest równa $\frac{4-1}{2}=1.5$co wystarczy. Ten pomysł można uzupełnić do dowodu.

EDYTOWAĆ

Udowodnimy teraz roszczenie, jak wskazano powyżej. Po pierwsze, dla dowolnego wektora$x=(x_1, x_2, \dots, x_n)$ w tym problemie możemy go zastąpić $x-\bar{x}$bez zmiany żadnej ze stron nierówności powyżej. Przyjmijmy, że poniżej$\bar{x}=0$. Możemy również założyć, że poprzez ponowne oznakowanie$x_1$jest największy. Następnie, wybierając najpierw$x_1>0$ i wtedy $x_2=x_3=\dots=x_n=-\frac{x_1}{n-1}$możemy sprawdzić za pomocą prostej algebry, czy mamy równość w twierdzonej nierówności. To jest ostre.

Następnie zdefiniuj region (wypukły) $R$ przez

$$R = \{ x\in\mathbb{R} \colon \bar{x}=0, \sum(x_i-\bar{x})^2/(n-1) \le S^2\}$$ dla danej dodatniej stałej $S^2$. Zauważ, że$R$ jest przecięciem hiperpłaszczyzny ze sferą wyśrodkowaną na początku, podobnie jak sfera w $(n-1)$-przestrzeń. Nasz problem można teraz sformułować jako $$\max_{x\in R} \max_i |x_i|$$ od czasu $x$maksymalizacja tego będzie najtrudniejszym przypadkiem nierówności. Jest to problem znalezienia maksimum funkcji wypukłej nad zestawem wypukłym, co ogólnie jest trudnym problemem (minimum jest łatwe!). Ale w tym przypadku obszar wypukły jest kulą wyśrodkowaną na początku, a funkcją, którą chcemy zmaksymalizować, jest wartość bezwzględna współrzędnych. Oczywiste jest, że maksimum to znajduje się na granicy sfery$R$i biorąc $|x_1|$ maksymalna, nasz pierwszy przypadek testowy jest wymuszony.