Statystyki i duże zbiory danych bias

2

Biased bootstrap: czy można wyśrodkować CI wokół obserwowanej statystyki?

Jest to podobne do Bootstrap: oszacowanie jest poza przedziałem ufności Mam pewne dane, które reprezentują liczbę genotypów w populacji. Chcę oszacować różnorodność genetyczną za pomocą indeksu Shannona, a także wygenerować przedział ufności za pomocą ładowania początkowego. Zauważyłem jednak, że oszacowanie za pomocą ładowania początkowego jest zwykle bardzo stronnicze i skutkuje …

12 r confidence-interval bootstrap bias diversity

2

Odchylenie w średnim wieku dla kwalifikacji tytułu arcymistrza według grup wiekowych?

Od dłuższego czasu wiadomo, że najmłodszy wiek, w którym szachistom udało się zakwalifikować do tytułu arcymistrza, znacznie się zmniejszył od lat 50. XX wieku, a obecnie prawie 30 graczy zostało arcymistrzem przed 15. urodzinami . Jednak na Chess Stack Exchange pojawia się pytanie: Jaki jest średni wiek, aby zostać arcymistrzem? …

11 survival bias population censoring subset

2

Estymator Bayesa jest odporny na uprzedzenia selekcyjne

Czy estymatory Bayesa są odporne na stronniczość selekcji? Większość artykułów omawiających oszacowanie w dużym wymiarze, np. Dane o sekwencji całego genomu, często porusza kwestię błędu selekcji. Błąd selekcji wynika z faktu, że chociaż mamy tysiące potencjalnych predyktorów, tylko kilka zostanie wybranych, a wnioskowanie zostanie przeprowadzone na wybranych. Proces przebiega zatem …

11 bayesian feature-selection bias unbiased-estimator conjugate-prior

1

W jaki sposób zmienne instrumentalne uwzględniają błąd selekcji?

Zastanawiam się, jak zmienna instrumentalna rozwiązuje problem selekcji w regresji. Oto przykład, którego żuję: w „W większości nieszkodliwych ekonometriach ” autorzy omawiają regresję IV dotyczącą służby wojskowej i zarobków w późniejszym życiu. Pytanie brzmi: „Czy służenie w wojsku zwiększa, czy zmniejsza przyszłe zarobki?” Badają to pytanie w kontekście wojny w …

11 regression econometrics bias causality instrumental-variables

4

Czy w OLS jest test na pomijane zmienne odchylenie?

Jestem świadomy testu Ramseya Reset, który może wykryć zależności nieliniowe. Jeśli jednak wyrzucisz jeden ze współczynników regresji (tylko zależności liniowe), możesz uzyskać błąd, w zależności od korelacji. Nie jest to oczywiście wykrywane przez test Reset. Nie znalazłem testu dla tego przypadku, ale stwierdzenie: „Nie możesz przetestować OVB, chyba że podasz …

11 regression multiple-regression bias causality diagnostic

2

Dlaczego spakowane drzewo / losowe drzewo leśne ma większe odchylenie niż pojedyncze drzewo decyzyjne?

Jeśli weźmiemy pod uwagę dorosłe drzewo decyzyjne (tj. Drzewo decyzji bez przycinania), ma ono dużą wariancję i niskie odchylenie. Bagging i losowe lasy używają tych modeli o dużej wariancji i agregują je w celu zmniejszenia wariancji, a tym samym zwiększenia dokładności prognoz. Zarówno Bagging, jak i losowe lasy używają próbkowania …

11 variance random-forest cart bias bagging

2

Plusy i minusy ładowania początkowego

Właśnie dowiedziałem się o koncepcji bootstrapowania i przyszło mi do głowy naiwne pytanie: jeśli zawsze możemy wygenerować wiele próbek bootstrap naszych danych, po co w ogóle starać się uzyskać więcej „prawdziwych” danych? Wydaje mi się, że mam wyjaśnienie, proszę mi powiedzieć, czy mam rację: myślę, że proces ładowania początkowego zmniejsza …

11 variance bootstrap bias

3

Dlaczego estymator OLS współczynnika AR (1) jest tendencyjny?

Próbuję zrozumieć, dlaczego OLS podaje tendencyjny estymator procesu AR (1). Zastanów się W tym modelu naruszona jest ścisła egzogeniczność, tzn. y_t i \ epsilon_t są skorelowane, ale y_ {t-1} i \ epsilon_t są nieskorelowane. Ale jeśli jest to prawdą, to dlaczego poniższe proste wyprowadzenie nie działa? ytϵt=α+βyt−1+ϵt,∼iidN(0,1).yt=α+βyt−1+ϵt,ϵt∼iidN(0,1). \begin{aligned} y_{t} &= …

11 time-series least-squares bias autoregressive estimators

4

Jak wytłumaczyć laikowi, czym jest bezstronny rzeczoznawca?

Załóżmy, że jest obiektywnym estymatorem . Następnie oczywiście . θE[ θ |θ]=θθ^θ^\hat{\theta}θθ\thetaE[θ^∣θ]=θE[θ^∣θ]=θ\mathbb{E}[\hat{\theta} \mid \theta] = \theta Jak wyjaśnić to laikowi? W przeszłości mówiłem, że jeśli uśredniacie wiązkę wartości , ponieważ wraz z powiększaniem się próbki, otrzymacie lepsze przybliżenie . θθ^θ^\hat{\theta}θθ\theta Dla mnie jest to problematyczne. Myślę, że tak naprawdę opisuję …

10 bias asymptotics unbiased-estimator estimators communication

3

Dlaczego oszacowanie CV błędu testu nie docenia rzeczywistego błędu testu?

Rozumiem, że krotność k-krotności oszacowania błędu testu zwykle nie docenia faktycznego błędu testu. Jestem zdezorientowany, dlaczego tak jest. Rozumiem, dlaczego błąd szkolenia jest zwykle niższy niż błąd testu - ponieważ trenujesz model na tych samych danych, na których szacujesz błąd! Ale nie dotyczy to weryfikacji krzyżowej - fałd, na którym …

10 cross-validation bias

2

Czy stronniczość jest własnością estymatora, czy poszczególnych szacunków?

Jako przykład często spotykam studentów, którzy wiedzą, że zaobserwowany jest tendencyjnym estymatorem populacji . Następnie, pisząc swoje raporty, mówią:R2R2R^2R2R2R^2 „Obliczyłem Obserwowany i Skorygowany , i były one dość podobne, co sugeruje tylko niewielką ilość błędu w uzyskanej wartości Obserwowanego ”.R2R2R^2R2R2R^2R2R2R^2 Rozumiem to ogólnie, gdy mówimy o uprzedzeniach, zwykle mówimy o …

10 mathematical-statistics terminology bias estimators

1

Bootstrap: oszacowanie jest poza przedziałem ufności

Zrobiłem bootstrapping z modelem mieszanym (kilka zmiennych z interakcją i jedna zmienna losowa). Mam ten wynik (tylko częściowy): > boot_out ORDINARY NONPARAMETRIC BOOTSTRAP Call: boot(data = a001a1, statistic = bootReg, R = 1000) Bootstrap Statistics : original bias std. error t1* 4.887383e+01 -1.677061e+00 4.362948e-01 t2* 3.066825e+01 1.264024e+00 5.328387e-01 t3* 8.105422e+01 …

10 r confidence-interval bootstrap bias

1

W jaki sposób estymator, który minimalizuje ważoną sumę kwadratowego odchylenia i wariancji, pasuje do teorii decyzji?

OK - moja oryginalna wiadomość nie wywołała odpowiedzi; pozwólcie, że postawię pytanie inaczej. Zacznę od wyjaśnienia mojego rozumienia estymacji z teoretycznego punktu widzenia decyzji. Nie mam formalnego szkolenia i nie zaskoczyłoby mnie, gdyby moje myślenie było w jakiś sposób błędne. Załóżmy, że mamy jakąś funkcję straty L ( θ ,θ^( …

10 bias loss-functions frequentist decision-theory risk

1

Odchylenie estymatorów maksymalnego prawdopodobieństwa dla regresji logistycznej

Chciałbym zrozumieć kilka faktów dotyczących estymatorów maksymalnego prawdopodobieństwa (MLE) dla regresji logistycznych. Czy to prawda, że ogólnie MLE regresji logistycznej jest stronniczy? Powiedziałbym tak". Wiem na przykład, że wymiar próbki jest związany z asymptotycznym nastawieniem MLE. Czy znasz jakieś podstawowe przykłady tego zjawiska? Jeśli MLE jest stronniczy, czy prawdą jest, …

10 logistic maximum-likelihood unbiased-estimator bias

2

Rozkład wariancji odchylenia: termin oczekiwanego kwadratu błędu prognozy mniej błędu nieredukowalnego

Hastie i in. „Elementy uczenia statystycznego” (2009) rozważają proces generowania danych z i .Y= f( X) + εY=f(X)+ε Y = f(X) + \varepsilon E (ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var ( ε ) =σ2)εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} Prezentują następujący rozkład wariancji odchyłki oczekiwanego błędu kwadratu prognozy w punkcie (s. 223, wzór 7.9): W moim praca własna Nie określam …

9 variance forecasting prediction terminology bias

Pytania otagowane jako bias