Średnia harmoniczna minimalizuje sumę kwadratowych błędów względnych

Szukam odniesienia, w którym udowodniono, że harmoniczna oznacza

{\bar{x}}^{h} = \frac{n}{\sum_{i = 1}^{n} \frac{1}{x_{i}}}

$\bar{x}^h = \frac{n}{\sum_{i=1}^n \frac{1}{x_i}}$

minimalizuje (w ) sumę kwadratowych błędów względnych $z$

\sum_{i = 1}^{n} (\frac{(x_{i} - z)^{2}}{x_{i}}) .

$\sum_{i=1}^n \left( \frac{(x_i - z)^2}{x_i}\right).$

— Martin Van der Linden
źródło

Odpowiedzi:

Dlaczego potrzebujesz referencji? Jest to prosty problem rachunku różniczkowego: aby problem, który sformułowałeś, miał sens, musimy założyć, że wszystkie $x_i > 0$ . Następnie zdefiniuj funkcję

f (z) = \sum_{i = 1}^{n} \frac{(x_{i} - z)^{2}}{x_{i}}

$f(z) = \sum_{i=1}^n \frac{(x_i - z)^2}{x_i}$ Następnie oblicz pochodną w odniesieniu do

z

$z$ :

f^{'} (z) = - 2 \cdot \sum_{i = 1}^{n} (1 - \frac{z}{x_{i}})

$f'(z) = -2\cdot \sum_{i=1}^n (1-\frac{z}{x_i})$ a następnie rozwiązanie równania

f^{'} (z) = 0

$f'(z)=0$ daje rozwiązanie. Teraz oczywiście musimy sprawdzić, czy jest to rzeczywiście minimum, aby obliczyć drugą pochodną:

f^{″} (z) = - 2 \cdot \sum_{i = 1}^{n} (0 - \frac{1}{x_{i}}) = 2 \sum_{i = 1}^{n} \frac{1}{x_{i}} > 0

$f''(z) = -2 \cdot \sum_{i=1}^n (0-\frac1{x_i}) = 2 \sum_{i=1}^n \frac1{x_i} > 0$ za ostatnią nierówność, której użyliśmy, wreszcie, że wszystkie

x_{i} > 0

$x_i>0$ . Bez tego założenia rzeczywiście moglibyśmy zaryzykować, że znaleźliśmy maksimum!

Jeśli chodzi o odniesienie, może https://en.wikipedia.org/wiki/Fr%C3%A9chet_mean lub https://en.wikipedia.org/wiki/Harmonic_mean lub odniesienia w nich zawarte.

— kjetil b halvorsen
źródło

Dziękuję za odpowiedź. Referencje pozwoliłyby mi zaoszczędzić trochę miejsca. Chcę przytoczyć wynik jako Lemma do innych dowodów bez konieczności dołączania samodzielnego dowodu Lemmy.

— Martin Van der Linden

Trudno znaleźć wyraźne odniesienie, uważa się je za podstawowe, aby na nie zasłużyć! Czy nie możesz po prostu powiedzieć, że dowód jest podstawowym ćwiczeniem rachunku różniczkowego i całkowego?

— kjetil b halvorsen

Choć jest to tak proste, zawsze wolę podać odniesienie. Rozumiem jednak, że trudno znaleźć podstawowe wyniki, a pozostawienie dowodu czytelnikowi jest oczywistą opcją.

— Martin Van der Linden

Tymczasowy ping poza tematem: rozważ głosowanie na synonim spearman-> spearman -rho tutaj stats.stackexchange.com/tags/spearman-rho/synonim . Dzięki

— ameba mówi Przywróć Monikę

Można zauważyć, że jest to regresja ważona metodą najmniejszych kwadratów o wadze . $1/x_i$

Aby nawiązać połączenie z referencjami, powróć do standardowej notacji, w której szukasz która minimalizuje $\beta$

\sum ω_{i} (y_{i} - β)^{2} .

$\sum \omega_i (y_i - \beta)^2.$

Jest to model z pojedynczym stałym regresorem i wagą macierzy

X = (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix})

$X = \pmatrix{1\\1\\\vdots\\1}$

W = (\begin{matrix} ω_{1} & 0 & \dots & 0 \\ 0 & ω_{2} & \dots & 0 \\ ⋮ & ⋮ & ⋱ & 0 \\ 0 & \dots & 0 & ω_{n} \end{matrix}) .

$W = \pmatrix{\omega_1 & 0 & \cdots & 0 \\ 0 & \omega_2 & \cdots & 0 \\\vdots & \vdots & \ddots & 0 \\ 0 & \cdots & 0 & \omega_n}.$

nazwę „ ” na „ ” („odpowiedź”), a parametr do oszacowania to zamiast . Wagi wynoszą . Konieczne jest, aby wszystkie przekroczyły . Rozwiązaniem jest $x_i$ $y_i$ $\beta$ $z$ $\omega_i=1/x_i$ $0$

\hat{β} = (X^{'} W X)^{- 1} X^{'} W y = \frac{\sum_{i} x_{i} ω_{i}}{\sum_{i} ω_{i}} = \frac{\sum_{i} x_{i} / x_{i}}{\sum_{i} 1 / x_{i}} = \frac{n}{\sum 1 / x_{i}},

$\hat\beta = (X^\prime W X)^{-1}X^\prime W y = \frac{\sum_i x_i\omega_i }{\sum_i \omega_i} = \frac{\sum_i x_i/x_i }{\sum_i 1/x_i} = \frac{n}{\sum 1/x_i},$

QED .

Komentarze

Ta sama analiza dotyczy wszelkich dodatnich zestawów wag, zapewniając uogólnienie średniej harmonicznej i użyteczny sposób jej scharakteryzowania.
Gdy, podobnie jak w kontrolowanym eksperymencie, są postrzegane jako ustalone (a nie losowe), maszyneria najmniej ważonych kwadratów zapewnia przedziały ufności i przedziały prognozowania itp . Innymi słowy, umieszczenie problemu w tym ustawieniu automatycznie umożliwia ocenę dokładności średniej harmonicznej. $x_i$
Wyświetlanie średniej harmonicznej jako rozwiązania ważonego problemu zapewnia wgląd w jego naturę, a zwłaszcza wrażliwość na dane. Jest obecnie jasne, że Najistotniejszymi czynnikami są te o najmniejszej wartości --and ich znaczenie jest określane za pomocą wagi macierzy . $x_i$ $W$

Odniesienie

Douglas C. Montgomery, Elizabeth A. Peck i G. Geoffrey Vining, Wprowadzenie do analizy regresji liniowej. Piąta edycja. J. Wiley, 2012. Sekcja 5.5.2.

— Whuber
źródło