Zmniejszony vs obiektywny : estymatory

W mojej głowie pojawiło się zamieszanie co do dwóch rodzajów estymatorów wartości populacji współczynnika korelacji Pearsona.

A. Fisher (1915) wykazał, że dla dwuwymiarowej populacji normalnej empiryczny jest negatywnie tendencyjnym estymatorem , chociaż odchylenie może być praktycznie znaczne tylko dla małej wielkości próby ( ). Próbka nie docenia w tym sensie, że jest bliższa niż . (Z wyjątkiem, gdy ten ostatni jest lub , bo wtedy jest bezstronna.) Kilka prawie pakietów estymatory z został zaproponowany, najlepszy prawdopodobnie będąc Olkin i Pratt (1958) $r$ $\rho$ $n<30$ $r$ $\rho$ $0$ $\rho$ $0$ $\pm 1$ $r$ $\rho$ poprawione : $r$

r_{bezinteresowny} = r [1 + \frac{1 - r^{2)}}{2) (n - 3))}]

$r_\text{unbiased} = r \left [1+\frac{1-r^2}{2(n-3)} \right ]$

B. Mówi się, że w regresji przecenia odpowiednią populację R-kwadrat. Lub, przy prostej regresji, jest tak, że przecenia . W oparciu o ten fakt widziałem wiele tekstów mówiących, że jest pozytywnie stronniczy w stosunku do , co oznacza wartość bezwzględną: jest dalej od niż (czy to stwierdzenie jest prawdziwe?). Teksty mówią, że jest to ten sam problem, co przeszacowanie parametru odchylenia standardowego przez jego wartość próbki. Istnieje wiele formuł do „dostosowania” zaobserwowanego bliżej jego parametru populacji, Wherry's (1931) $R^2$ $r^2$ $\rho^2$ $r$ $\rho$ $r$ $0$ $\rho$ $R^2$ $R_\text{adj}^2$ jest najbardziej znanym (ale nie najlepszym). Rdzeń takiego skorygowanego nazywa się skurczonym : $r_\text{adj}^2$ $r$

r_{skurczył się} = \pm \sqrt{1 - (1 - r^{2)}) \frac{n - 1}{n - 2)}}

$r_\text{shrunk} = \pm\sqrt{1-(1-r^2)\frac{n-1}{n-2}}$

Obecne są dwa różne estymatory . Zupełnie inaczej: pierwszy nadmuchuje , drugi opróżnia . Jak je pogodzić? Gdzie użyć / zgłosić jedno, a gdzie - drugie? $\rho$ $r$ $r$

W szczególności może być prawdą, że „skurczony” estymator jest również (prawie) bezstronny, podobnie jak „bezstronny”, ale tylko w innym kontekście - w asymetrycznym kontekście regresji. Bo czy w regresji OLS uważamy wartości jednej strony (predyktora) za ustalone, uczestnicząc bez przypadkowego błędu między próbkami? (I aby dodać tutaj, regresja nie wymaga dwuwymiarowej normalności.)

— ttnphns
źródło

Zastanawiam się, czy sprowadza się to do czegoś opartego na nierówności Jensena. To, i dwuwymiarowa normalność jest prawdopodobnie złym założeniem w większości przypadków.

— shadowtalker

Rozumiem również kwestię w B., że regresja

jest zawyżona, ponieważ dopasowanie regresji można dowolnie poprawić przez dodanie predyktorów. To nie brzmi dla mnie jak ten sam problem, co w A.

r^{2}

$r^2$

— shadowtalker

Czy to w rzeczywistości prawda, że

jest pozytywnie tendencyjnym oszacowaniem

dla wszystkich wartości

? Dla dwuwymiarowego rozkładu normalnego wydaje się, że nie jest tak w przypadku

wystarczająco dużego.

r^{2}

$r^2$

ρ^{2}

$\rho^2$

ρ

$\rho$

ρ

$\rho$

— NRH

Czy odchylenie może iść w przeciwnym kierunku do kwadratu estymatora? Na przykład, w prostszym estymatora można było wykazać, że

w niektórych zakresach

? Myślę, że byłoby to trudne, gdyby

, ale być może można by opracować prostszy przykład.

E [\hat{θ} - θ] < 0 < E [{\hat{θ}}^{2} - θ^{2}]

$E[\hat{\theta}-\theta] < 0 < E[\hat{\theta}^2-\theta^2]$

θ

$\theta$

θ = ρ

$\theta = \rho$

— Anthony

Odpowiedzi:

Odnośnie błędu systematycznego w korelacji: gdy wielkość próby jest wystarczająco mała, aby błąd systematyczny miał jakiekolwiek praktyczne znaczenie (np. Sugerowane przez ciebie n <30), wtedy błąd systematyczny będzie prawdopodobnie najmniejszym z twoich zmartwień, ponieważ niedokładność jest straszna.

Jeśli chodzi o stronniczość R ² w regresji wielokrotnej, istnieje wiele różnych regulacji, które odnoszą się do bezstronnej oceny populacji vs. bezstronnej oceny w niezależnym próbki o równej wielkości. Patrz Yin, P. & Fan, X. (2001). Oszacowanie skurczu R ² w regresji wielokrotnej: porównanie metod analitycznych. The Journal of Experimental Education, 69, 203-224.

Współczesne metody regresji zajmują się także zmniejszaniem się współczynników regresji, a także R ² w konsekwencji - np. Elastyczna siatka z k- krotną weryfikacją krzyżową, patrz http://web.stanford.edu/~hastie/Papers/ elasticnet.pdf .

— Fred Oswald
źródło

Nie wiem, czy to naprawdę odpowiada na pytanie

— shadowtalker

Myślę, że odpowiedź jest w kontekście prostej regresji i regresji wielokrotnej. W prostej regresji z jednym IV i jednym DV, R sq nie jest pozytywnie tendencyjny, a w rzeczywistości może być negatywnie tendencyjny, biorąc pod uwagę, że r jest ujemnie tendencyjny. Ale w regresji wielokrotnej z kilkoma IV, które mogą być skorelowane, Rk może być pozytywnie tendencyjne z powodu jakiegokolwiek „tłumienia”, które może mieć miejsce. Tak więc, moim zdaniem, obserwowane R2 przecenia odpowiednią R-kwadrat populacji, ale tylko w regresji wielokrotnej

— Dingus
źródło

R sq is not positively biased, and in-fact may be negatively biasedCiekawy. Czy możesz to pokazać lub podać referencje? - Czy w dwuwymiarowej populacji normalnej, czy obserwowana statystyka Rsq może być estymatorem negatywnie obciążonym?

— ttnphns

Myślę że się mylisz. Czy możesz podać odniesienie w celu uzasadnienia roszczenia?

— Richard Hardy

Przepraszam, ale to było raczej ćwiczenie myślenia, więc nie mam odniesienia.

— Dingus

Zaczynałem od powyższego komentarza A, w którym Fischer pokazał, że w dwuwymiarowej normalnej sytuacji r jest ujemnie tendencyjnym estymatorem rho. Jeśli tak jest, czy nie wynika z tego, że R sq jest również negatywnie tendencyjny?

— Dingus

Być może pomoże to w rozmowie digitalcommons.unf.edu/cgi/…

— Dingus,