Czy ktoś może wyjaśnić, jak mam 5 lat, ten problem na podstawie książki ESL Hastie?

Pracuję nad książką ESL Hastie i mam trudności z pytaniem 2.3. Pytanie jest następujące:

Rozważamy oszacowanie najbliższego sąsiada w punkcie początkowym, a to równanie podaje medianę odległości od początku do najbliższego punktu danych. Nie mam pojęcia, od czego zacząć, jeśli chodzi o próbę uzyskania tego.

Wiem, że większość punktów danych znajduje się bliżej granicy przestrzeni próbki, niż do jakiegokolwiek innego punktu danych (przekleństwo wymiarowości), ale mam problem z przetłumaczeniem tego na sens algebry liniowej / prawdopodobieństwa.

Dzięki!

machine-learning computational-statistics

— Gary
źródło

Co oznacza „ELI5” w tytule? Jeśli chcesz wyprowadzić to równanie, musisz zacząć od modelu prawdopodobieństwa punktów w piłce: co to za model? (Proszę nie wymagać od czytelników, aby odwoływali się do książki lub innej strony, aby zrozumieć twoje pytanie.)

— whuber

@ whuber Zgadzam się - akronimy to straszny schemat mieszania.

— Sycorax mówi Przywróć Monikę

Masz pięć lat Podziękowania dla Ciebie za chęć zrozumienia języka angielskiego, ale musisz poczekać do szóstego roku życia. To książka dla dużych chłopców i dziewcząt.

— Nick Cox,

Pięciolatek może zacząć od spojrzenia na jednowymiarowy przypadek (p = 1). A kiedy to będzie już gotowe, zabierz to stamtąd.

— Mark L. Stone

Jeśli mamy zamiar przeliterować ELI5, co z ESL?

— mdewey

Pozwolić $r$ być odległością od źródła i pozwolić $V_0[p]$ być objętością hipersfery w jednostce $p$ wymiary Następnie objętość zawarta w hipersferze o promieniu $r$ jest

V [r] = V_{0} [p] r^{p}

$V[r]=V_0[p]r^p$

Jeśli pozwolimy $P=V[r]/V_0[p]$ oznacz ułamek objętości zawartej w tej hipersferze i zdefiniuj $R=r^p$ , następnie

P [R] = R

$P[R]=R$

Jeśli punkty danych są równomiernie rozmieszczone w obrębie kuli jednostkowej, to dla $0\leq R\leq 1$ powyższy wzór jest funkcją skumulowanego rozkładu (CDF) dla $R$ . Jest to równoważne jednolitej gęstości prawdopodobieństwa dla $R$ w przedziale jednostkowym, tj $p[R]= P'[R] =1$ . Tak więc, jak wskazał Mark Stone w komentarzach, możemy zmniejszyć $p$ skrzynka wymiarowa do równoważnego problemu 1D.

Teraz, jeśli mamy jeden punkt $R$ , z definicji mamy CDF $\Pr[R\leq \rho]=P[\rho]$ i . Jeśli jest najmniejszą wartością spośród punktów, a wszystkie punkty są niezależne, to CDF dla jest podane przez (jest to standardowy wynik teorii jednowymiarowej wartości ekstremalnej ). $\Pr[R\geq \rho]=1-P[\rho]$ $R_{\min}$ $n$

Pr [R_{min} \geq ρ] = Pr [R \geq ρ]^{n} = (1 - ρ)^{n}

$\Pr[R_{\min}\geq \rho]=\Pr[R\geq \rho]^n=(1-\rho)^n$

Z definicji mediany mamy które możemy przepisz jako co odpowiada pożądanemu wynikowi.

\frac{1}{2} = Pr [(R_{min})_{m e d} \geq R] = (1 - R)^{n}

$\frac{1}{2}=\Pr[(R_{\min})_{\mathrm{med}}\geq R]=(1-R)^n$

(1 - d^{p})^{n} = \frac{1}{2}

$(1-d^p)^n=\frac{1}{2}$

EDYCJA: Próba odpowiedzi w stylu „ ELI5 ”, w trzech częściach.

W przypadku 1D z jednym punktem odległość jest równomiernie rozłożona na , więc mediana będzie wynosić . $[0,1]$ $\frac{1}{2}$
W 1D rozkład minimum na punktów jest pierwszym przypadkiem tej potęgi. $n$ $n$
W wymiarach odległość nie jest równomiernie rozłożona, ale wynosi. $p$ $r$ $r^p$

— GeoMatt22
źródło

Ha ha, skomentowałem, że pięciolatek może zacząć od spojrzenia na przypadek p = 1. Pomyślałem o dodaniu komentarza, że 4-latek może nie tylko zacząć od przypadku p = 1, ale także n = 1. Ale pomyślałem, że pozwolę temu 5-latkowi to zrozumieć.

— Mark L. Stone,

Zwróć uwagę, że kiedy odpowiedziałem na pytanie, było to po tym, jak @fcop wyjaśnił: „Rozważ N punktów danych równomiernie rozmieszczonych w kuli jednostkowej p-wymiarowej wyśrodkowanej na początku. Pokaż, że mediana odległości od początku do początku najbliższy punkt danych podaje ... ”. Zatem piłka jednostkowa w odniesieniu do normy w przestrzeni wymiarowej. Następnie pytanie zostało przywrócone do oryginału, który różni się i nie jest tak jasny. (Patrz łańcuch komentarzy pod oryginalnym pytaniem.)

L_{2}

$L_2$

p

$p$

— GeoMatt22