Maksymalna wartość współczynnika zmienności dla ograniczonego zestawu danych

17

W dyskusji po ostatnim pytaniu o to, czy odchylenie standardowe może przekroczyć średnią, krótko postawiono jedno pytanie, ale nigdy w pełni nie udzielono odpowiedzi. Więc pytam o to tutaj.

Rozważ zestaw $n$ nieujemnych liczb $x_i$ gdzie $0 \leq x_i \leq c$ dla . Nie jest wymagane, aby były odrębne, to znaczy, że zestaw może być multiset. Średnia i wariancja zestawu są zdefiniowane jako a odchylenie standardowe to . Zauważ, że zestaw liczb nie jest $1 \leq i \leq n$ $x_i$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}, σ_{x}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} = (\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - {\bar{x}}^{2}

$\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i, ~~ \sigma_x^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2 = \left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) - \bar{x}^2$

σ_{x}

$\sigma_x$ próbka z populacji i nie szacujemy średniej populacji ani wariancji populacji. Pytanie brzmi zatem:

Jaka jest maksymalna wartość , współczynnika zmienności, dla wszystkich wyborów w przedziale ? $\dfrac{\sigma_x}{\bar{x}}$ $x_i$ $[0,c]$

Maksymalna wartość, którą mogę znaleźć dla $\frac{\sigma_x}{\bar{x}}$ to $\sqrt{n-1}$ która jest osiągana, gdy $n-1$ z $x_i$ ma wartość $0$ a pozostałe (odstające) $x_i$ ma wartość $c$ , dając

\bar{x} = \frac{c}{n}, \frac{1}{n} \sum x_{i}^{2} = \frac{c^{2}}{n} \Rightarrow σ_{x} = \sqrt{\frac{c^{2}}{n} - \frac{c^{2}}{n^{2}}} = \frac{c}{n} \sqrt{n - 1} .

$\bar{x} = \frac{c}{n},~~ \frac{1}{n}\sum x_i^2 = \frac{c^2}{n} \Rightarrow \sigma_x = \sqrt{\frac{c^2}{n} - \frac{c^2}{n^2}} = \frac{c}{n}\sqrt{n-1}.$ Ale to wcale nie zależy od

c

$c$ i zastanawiam się, czy można osiągnąć większe wartości, prawdopodobnie zależne zarówno od

jak

n

$n$ i

c

$c$ .

Jakieś pomysły? Jestem pewien, że pytanie to zostało już wcześniej zbadane w literaturze statystycznej, a zatem odniesienia, jeśli nie rzeczywiste wyniki, byłyby bardzo mile widziane.

— Dilip Sarwate
źródło

Myślę, że masz rację, że jest to największa możliwa wartość, i jestem również zaskoczony, że nie ma znaczenia. Chłodny.

c

$c$

— Peter Flom - Przywróć Monikę

7

c

$c$ nie powinno wpływać na wynik, ponieważ nie zmienia się, jeśli wszystkie wartości zostaną pomnożone przez jakąkolwiek dodatnią stałą .

\frac{σ_{x}}{\bar{x}}

$\frac{\sigma_x}{\bar{x}}$

k

$k$

— Henry

15

Geometria zapewnia wgląd, a klasyczne nierówności zapewniają łatwy dostęp do dyscypliny.

Rozwiązanie geometryczne

Wiemy z geometrii najmniejszych kwadratów , że jest rzutem ortogonalnym wektora danych w liniowej podprzestrzeni generowanej przez wektor stały i że jest wprost proporcjonalna do odległości (euklidesowej) między i Ograniczenia nieujemnościowe są liniowe, a odległość jest funkcją wypukłą, dlatego skrajności odległości muszą zostać osiągnięte na krawędziach stożka określonych przez ograniczenia. Ten stożek jest dodatnim ortantem w $\mathbf{\bar{x}} = (\bar{x}, \bar{x}, \ldots, \bar{x})$ $\mathbf{x}=(x_1, x_2, \ldots, x_n)$ $(1,1,\ldots,1)$ $\sigma_x$ $\mathbf{x}$ $\mathbf{\bar{x}}.$ $\mathbb{R}^n$ a jego krawędzie są osiami współrzędnych, z których natychmiast wynika, że wszystkie z wyjątkiem muszą być zerowe w maksymalnych odległościach. Dla takiego zestawu danych bezpośrednie (proste) obliczenie pokazuje $x_i$ $\sigma_x/\bar{x}=\sqrt{n}.$

Rozwiązanie wykorzystujące klasyczne nierówności

$\sigma_x/\bar{x}$ jest optymalizowany jednocześnie z każdą jego monotoniczną transformacją. W świetle tego zmaksymalizujmy

\frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} = \frac{1}{n} (\frac{n - 1}{n} {(\frac{σ_{x}}{\bar{x}})}^{2} + 1) = f (\frac{σ_{x}}{\bar{x}}) .

$\frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} = \frac{1}{n}\left(\frac{n-1}{n}\left(\frac{\sigma_x}{\bar{x}}\right)^2+1\right) = f\left(\frac{\sigma_x}{\bar{x}}\right).$

(Wzór na może wyglądać tajemniczo, dopóki nie uświadomisz sobie, że rejestruje tylko kroki, które należy wykonać algebraicznie, manipulując aby uzyskać prosty wygląd, czyli po lewej stronie.) $f$ $\sigma_x/\bar{x}$

Łatwy sposób zaczyna się od Nierówności Posiadacza ,

x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2} \leq (x_{1} + x_{2} + \dots + x_{n}) max ({x_{i}}) .

$x_1^2+x_2^2+\ldots+x_n^2 \le \left(x_1+x_2+\ldots+x_n\right)\max(\{x_i\}).$

(Nie wymaga to specjalnego dowodu w tym prostym kontekście: wystarczy zastąpić jeden czynnik każdego wyrażenia maksymalnym składnikiem : oczywiście suma kwadratów nie spadnie. Faktoring wspólny termin zwraca prawą stronę nierówności.) $x_i^2 = x_i \times x_i$ $\max(\{x_i\})$ $\max(\{x_i\})$

Ponieważ to nie wszystkie (co pozostawiłoby niezdefiniowany), dzielenie przez kwadrat ich sumy jest poprawne i daje równoważną nierówność $x_i$ $0$ $\sigma_x/\bar{x}$

\frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} \leq \frac{max ({x_{i}})}{x_{1} + x_{2} + \dots + x_{n}} .

$\frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} \le \frac{\max(\{x_i\})}{x_1+x_2+\ldots+x_n}.$

Ponieważ mianownik nie może być mniejsza niż liczniku (który sam w sobie jest po prostu jednym z warunków w mianowniku), prawa strona jest zdominowany przez wartość , co osiąga się tylko wtedy, gdy wszystkie, ale jeden z równa . Skąd $1$ $x_i$ $0$

\frac{σ_{x}}{\bar{x}} \leq f^{- 1} (1) = \sqrt{(1 \times (n - 1)) \frac{n}{n - 1}} = \sqrt{n} .

$\frac{\sigma_x}{\bar{x}} \le f^{-1}\left(1\right) = \sqrt{\left(1 \times (n - 1)\right)\frac{n}{n-1}}=\sqrt{n}.$

Alternatywne podejście

Ponieważ są nieujemne i nie mogą sumować się do , wartości określają rozkład prawdopodobieństwa na . Pisząc jako sumę , rozpoznajemy $x_i$ $0$ $p(i) = x_i/(x_1+x_2+\ldots+x_n)$ $F$ $\{1,2,\ldots,n\}$ $s$ $x_i$

\begin{aligned} \frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} & = \frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{s^{2}} \\ = (\frac{x_{1}}{s}) (\frac{x_{1}}{s}) + (\frac{x_{2}}{s}) (\frac{x_{2}}{s}) + \dots + (\frac{x_{n}}{s}) (\frac{x_{n}}{s}) \\ = p_{1} p_{1} + p_{2} p_{2} + \dots + p_{n} p_{n} \\ = E_{F} [p] . \end{aligned}

$\eqalign{ \frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} &= \frac{x_1^2+x_2^2+\ldots+x_n^2}{s^2} \\ &= \left(\frac{x_1}{s}\right)\left(\frac{x_1}{s}\right)+\left(\frac{x_2}{s}\right)\left(\frac{x_2}{s}\right) + \ldots + \left(\frac{x_n}{s}\right)\left(\frac{x_n}{s}\right)\\ &= p_1 p_1 + p_2 p_2 + \ldots + p_n p_n\\ &= \mathbb{E}_F[p]. }$

Aksjomatyczny fakt, że żadne prawdopodobieństwo nie może przekraczać implikuje, że to oczekiwanie również nie może przekroczyć , ale łatwo jest uczynić go równym , ustawiając wszystkie z równe a zatem dokładnie jeden z jest niezerowy. Obliczyć współczynnik zmienności jak w ostatnim wierszu rozwiązania geometrycznego powyżej. $1$ $1$ $1$ $p_i$ $0$ $x_i$

— Whuber
źródło

Dziękuję za szczegółową odpowiedź, z której wiele się nauczyłem! Zakładam, że różnica między w twojej odpowiedzi a które uzyskałem (i potwierdził Henry), wynika z faktu, że używasz jako definicję gdy używałem

\sqrt{n}

$\sqrt{n}$

\sqrt{n - 1}

$\sqrt{n-1}$

σ_{x} = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$\sigma_x = \sqrt{\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2}$

σ_{x}

$\sigma_x$

σ_{x} = \sqrt{\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}} ?

$\sigma_x = \sqrt{\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2}?$

— Dilip Sarwate,

1

Tak, Dilip, zgadza się. Przepraszam za rozbieżność z pytaniem; Powinienem był sprawdzić najpierw i powinienem zdefiniować (co zamierzałem zrobić, ale zapomniałem).

σ_{x}

$\sigma_x$

— whuber

10

Niektóre referencje, takie jak małe świece na torcie innych:

Katsnelson i Kotz (1957) udowodnili, że dopóki wszystkie , współczynnik zmienności nie może przekroczyć . Wynik ten został wspomniany wcześniej przez Longley (1952). Cramér (1946, s. 357) okazał się mniej ostry, a Kirby (1974) okazał się mniej ogólny. $x_i \ge 0$ $\sqrt{n − 1}$

Cramér, H. 1946. Matematyczne metody statystyki . Princeton, NJ: Princeton University Press.

Katsnelson, J. i S. Kotz. 1957. W sprawie górnych granic niektórych miar zmienności. Archiv für Meteorologie, Geophysik und Bioklimatologie , Series B 8: 103–107.

Kirby, W. 1974. Algebraiczne ograniczenie statystyk przykładowych. Badania zasobów wodnych 10: 220–222.

Longley, RW 1952. Miary zmienności opadów. Miesięczny przegląd pogody 80: 111–117.

W pracy natknąłem się na te dokumenty

Cox, NJ 2010. Granice skośności próbki i kurtozy. Stata Journal 10: 482–495.

który omawia zasadniczo podobne granice skośności i kurtozy opartej na momentach.

— Nick Cox
źródło

8

Dwie liczby , niektóre i dowolne : $x_i \ge x_j$ $\delta \gt 0$ $\mu$

(x_{i} + δ - μ)^{2} + (x_{j} - δ - μ)^{2} - (x_{i} - μ)^{2} - (x_{j} - μ)^{2} = 2 δ (x_{i} - x_{j} + δ) > 0.

$(x_i+\delta - \mu)^2 + (x_j - \delta - \mu)^2 - (x_i - \mu)^2 - (x_j - \mu)^2 = 2\delta(x_i - x_j +\delta) \gt 0.$

Stosując to do nieujemnych punktów danych, oznacza to, że o ile wszystkie oprócz jednej z liczb są zerowe i nie można ich dalej zmniejszyć, możliwe jest zwiększenie wariancji i odchylenia standardowego poprzez zwiększenie odstępu między dowolną parą punktów danych zachowując tę samą średnią, zwiększając w ten sposób współczynnik zmienności. Zatem maksymalny współczynnik zmienności dla zestawu danych jest taki, jak sugerujesz: . $n$ $n$ $\sqrt{n-1}$

$c$ nie powinno wpływać na wynik, ponieważ nie zmienia się, jeśli wszystkie wartości zostaną pomnożone przez jakąkolwiek dodatnią stałą (jak powiedziałem w moim komentarzu). $\frac{\sigma_x}{\bar{x}}$ $k$

— Henz
źródło