Nierówność Oracle: w kategoriach podstawowych

Przeglądam artykuł, który wykorzystuje nierówność wyroczni, aby coś udowodnić, ale nie jestem w stanie zrozumieć, co on nawet próbuje zrobić. Kiedy szukałem w Internecie „Nierówności Oracle”, niektóre źródła skierowały mnie do artykułu „Candes, Emmanuel J.„ Nowoczesne oszacowanie statystyczne poprzez nierówności wyroczni ”. ”, który można znaleźć tutaj https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf . Ale ta książka wydaje mi się zbyt ciężka i uważam, że brakuje mi pewnych warunków wstępnych.

Moje pytanie brzmi: jak wyjaśniłbyś, czym jest wyrocznia dla nie-matematyki (w tym inżynierów)? Po drugie, w jaki sposób poleciłbyś im omówienie wymagań wstępnych / tematów przed próbą nauczenia się czegoś takiego jak wyżej wspomniana książka.

Zdecydowanie poleciłbym, aby ktoś, kto ma konkretną wiedzę i duże doświadczenie w statystyce wielowymiarowej, odpowiedział na to.

— Wolcott
źródło

Czy każdy, kto ma więcej niż 1k reputacji, może zaoferować nagrodę za to pytanie. To by naprawdę pomogło. Nie sądzę, aby użytkownicy CV mogli zapoznać się z tą koncepcją, ponieważ większość użytkowników używa statystyk do analizy danych, a nie analizy teoretycznej, chociaż jako społeczność całkowicie oparta na statystykach, uważam, że musi być ktoś, kto mógłby odpowiednio odpowiedzieć na to pytanie. Uważam, że na pytanie nie zwrócono wystarczającej uwagi.

— Wolcott,

Myślałem o tym samym pytaniu

— jeza

„Definicja” podana na str. 22 linku „Nierówność wyroczni wiąże wydajność estymatora z idealnym estymatorem, który opiera się na doskonałej informacji dostarczonej przez wyrocznię i który nie jest dostępny w praktyce”. Czy to nie przekazuje ci istoty definicji?

— Mark L. Stone,

@ Mark L. Stone dla mnie, nie robi

— jeza

Nawet jeśli spojrzysz na przykład i dyskusję podane w kilku poprzednich zdaniach, tj. Stwierdzenie i dyskusję Twierdzenia 4.1, jako przykład nierówności wyroczni? Mówiąc w skrócie: Gee, nie znamy optymalnej wartości (dostarczanej przez wyrocznię) współczynnika skurczu, którego powinniśmy użyć. Ale wiedząc, że optymalna wartość współczynnika skurczu może poprawić MSE o nie więcej niż 2 w porównaniu z brakiem optymalnego współczynnika skurczu z wyroczni.

— Mark L. Stone,

Spróbuję to wyjaśnić w przypadku liniowym. Rozważ model liniowy Gdy (liczba zmiennych niezależnych mniejsza lub równa liczbie obserwacji) i macierz projektowa ma pełną rangę, najmniejszym kwadratowym estymatorem jest Błąd i przewidywania to z którego możemy wywnioskować Oznacza to, że każdy parametr jest szacowany z dokładnością do kwadratuWięc ogólna kwadratowa dokładność wynosi

Y_{i} = \sum_{j = 1}^{p} β_{j} X_{i}^{(j)} + ϵ_{i}, i = 1, . . ., n .

$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$

p \leq n

$p \leq n$

b

$b$

\hat{b} = (X^{T} X)^{- 1} X^{T} Y

$\hat{b}=(X^TX)^{-1}X^TY$

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

\frac{E ‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{n} = \frac{σ^{2}}{n} p .

$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$

β_{j}^{0}

$\beta_j^0$

σ^{2} / n, j = 1, . . ., p .

$\sigma^2/n, j=1,...,p.$

(σ^{2} / n) p .

$(\sigma^2/n)p.$

Co teraz, jeśli liczba obserwacji jest mniejsza niż liczba zmiennych niezależnych ? „Uważamy”, że nie wszystkie nasze niezależne zmienne odgrywają rolę w wyjaśnianiu , więc tylko kilka, powiedzmy , jest niezerowych. Gdybyśmy wiedzieli, które zmienne są niezerowe, moglibyśmy pominąć wszystkie inne zmienne i powyższym argumentem ogólna kwadratowa dokładność wynosiłaby $(p>n)$ $Y$ $k$ $(\sigma^2/n)k.$

Ponieważ zestaw niezerowych zmiennych jest nieznany, potrzebujemy pewnej kary regularyzacji (na przykład ) z parametrem regularyzacji (który kontroluje liczbę zmiennych). Teraz chcesz uzyskać wyniki podobne do omówionych powyżej, chcesz oszacować dokładność do kwadratu. Problem polega na tym, że twój optymalny estymator jest teraz zależny od . Ale wielkim faktem jest to, że przy właściwym wyborze można z dużym prawdopodobieństwem uzyskać górną granicę błędu prognozy, czyli „nierówność wyroczni” Zwróć uwagę na dodatkowy czynnik $l_1$ $\lambda$ $\hat{\beta}$ $\lambda$ $\lambda$

\frac{‖ X (\hat{β} - β^{0}) ‖_{2}^{2}}{n} \leq c o n s t . \frac{σ^{2} \log p}{n} k .

$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$

\log p

$\log p$ , czyli cena za brak znajomości zestawu zmiennych niezerowych. „ ” zależy tylko od lub .

c o n s t .

$const.$

p

$p$

n

$n$

— Dato Gogolashvili
źródło

Ściśle mówiąc, nie potrzebujemy, aby liczba obserwacji była mniejsza niż liczba zmiennych niezależnych, aby wszystkie kolejne części były poprawne.

— jbowman

Czy możesz wyjaśnić, w jaki sposób otrzymano równanie oczekiwania (od drugiego do ostatniego) i nierówności (ostatnie równanie)?

— user13985,

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$ ma rozkład chi-kwadrat zp stopniami swobody, więc jego oczekiwanie wynosi . Ostatnia nierówność jest nierównością wyroczni. Dowód nie jest tak trywialny, mogę polecić tę książkę: Statystyka danych

(σ^{2} / n) p

$(\sigma^2/n)p$

— wielowymiarowych