Statystyki i duże zbiory danych bias

2

Czy regresja krokowa zapewnia tendencyjne oszacowanie kwadratowej liczby ludności?

W psychologii i innych dziedzinach często stosuje się formę regresji stopniowej, która obejmuje: Spójrz na pozostałe predyktory (początkowo nie ma ich w modelu) i zidentyfikuj predyktor, który powoduje największą zmianę r-kwadrat; Jeśli wartość p zmiany r-kwadrat jest mniejsza niż alfa (zazwyczaj 0,05), to włącz ten predyktor i wróć do kroku …

14 regression model-selection bias r-squared stepwise-regression

1

Jaki jest obiektywny szacunek populacji R-kwadrat?

Jestem zainteresowany uzyskaniem obiektywnego oszacowania w wielokrotnej regresji liniowej.R2R2R^2 Po namyśle myślę o dwóch różnych wartościach, które bezstronna ocena może próbować dopasować.R2R2R^2 Poza próbką :R2R2R^2 kwadrat r, który zostałby uzyskany, gdyby równanie regresji uzyskane z próbki (tj. ) zastosowano do nieskończonej ilości danych zewnętrznych względem próbki, ale z tych samych …

14 estimation multiple-regression r-squared bias

4

Intuicyjne zrozumienie różnicy między konsekwentnym a asymptotycznie bezstronnym

Staram się uzyskać intuicyjne zrozumienie i wyczuć różnicę i praktyczną różnicę między terminem spójnym a asymptotycznie bezstronnym. Znam ich matematyczne / statystyczne definicje, ale szukam czegoś intuicyjnego. Dla mnie, patrząc na ich indywidualne definicje, prawie wydają się być tym samym. Zdaję sobie sprawę, że różnica musi być subtelna, ale po …

14 bias convergence unbiased-estimator asymptotics intuition

8

Jak leczyć nielogiczne odpowiedzi w ankiecie

Wysłałem ankietę do próby artystów. Jednym z pytań było wskazanie odsetka dochodu uzyskanego z: działalności artystycznej, wsparcia rządowego, prywatnej emerytury, działań niezwiązanych ze sztuką. Około 65% osób odpowiedziało tak, że suma procentowa wynosi 100. Inni nie: na przykład są tacy, którzy odpowiadają, że 70% ich dochodów pochodzi z jego działalności …

13 survey bias

2

Czy przyczyną regresji jest brak pominiętych zmiennych?

Regresję yyy w xxx nie musi być przyczynowy, jeżeli pominięto zmienne, które mają wpływ zarówno xxx i yyy . Ale jeśli nie w przypadku pominiętych zmiennych i błędu pomiaru, to czy regresja jest przyczyną? To znaczy, czy regresja obejmuje każdą możliwą zmienną?

13 regression bias causality

1

Dlaczego średnia arytmetyczna jest mniejsza niż średnia rozkładu w rozkładzie logarytmiczno-normalnym?

Tak, mam losowy proces generowania log-normalnie rozprowadzane zmiennych losowych . Oto odpowiednia funkcja gęstości prawdopodobieństwa:XXX Chciałem oszacować rozkład kilku chwil pierwotnego rozkładu, powiedzmy pierwszy moment: średnią arytmetyczną. Aby to zrobić, narysowałem 100 losowych zmiennych 10000 razy, aby móc obliczyć 10000 oszacowania średniej arytmetycznej. Istnieją dwa różne sposoby oszacowania tego (przynajmniej …

13 estimation bias fitting lognormal moments

1

Rozkład wariancji odchylenia

W sekcji 3.2 Rozpoznawania wzorców i uczenia maszynowego Bishopa omawia dekompozycję wariancji odchylenia, stwierdzając, że dla funkcji straty kwadratowej oczekiwana strata może zostać rozłożona na wartość kwadratową błędu (która opisuje, jak daleko średnie prognozy są od prawdziwej model), termin wariancji (który opisuje rozkład prognoz wokół średniej) i termin szumu (który …

13 self-study variance bias regularization loss-functions

1

Dlaczego Daniel Wilks (2011) twierdzi, że regresja głównego składnika „będzie tendencyjna”?

W Metodach statystycznych w naukach atmosferycznych Daniel Wilks zauważa, że wielokrotna regresja liniowa może prowadzić do problemów, jeśli między predyktorami występują bardzo silne wzajemne korelacje (wydanie trzecie, strona 559-560): Patologia, która może wystąpić w wielokrotnej regresji liniowej, polega na tym, że zestaw zmiennych predykcyjnych o silnych wzajemnych korelacjach może skutkować …

13 regression pca bias

3

Koncepcyjne zrozumienie średniego błędu kwadratowego i średniego odchylenia odchylenia

Chciałbym uzyskać koncepcyjne zrozumienie Root Mean Squared Error (RMSE) i Mean Bias Deviation (MBD). Po obliczeniu tych miar dla własnych porównań danych często byłem zakłopotany stwierdzeniem, że RMSE jest wysoki (na przykład 100 kg), podczas gdy MBD jest niski (na przykład mniej niż 1%). Mówiąc dokładniej, szukam odniesienia (nie online), …

13 standard-deviation bias

5

Dlaczego twierdzi się, że próbka jest często dokładniejsza niż spis?

Ucząc się przebiegu próbkowania, spotykam następujące dwa stwierdzenia: 1) Błąd próbkowania prowadzi głównie do zmienności, błędy nie próbkowania prowadzą do stronniczości. 2) Z powodu błędu próbkowania próbka jest często dokładniejsza niż CENSUS. Nie wiem, jak zrozumieć te dwa stwierdzenia. Jaka jest podstawowa logika uzyskania tych dwóch instrukcji?

13 estimation sampling survey bias

2

Dlaczego źle jest zatrzymać test A / B przed osiągnięciem optymalnej wielkości próbki?

Jestem odpowiedzialny za prezentowanie wyników testów A / B (przeprowadzanych na różnych stronach internetowych) w mojej firmie. Test przeprowadzamy przez miesiąc, a następnie sprawdzamy wartości p w regularnych odstępach czasu, aż osiągniemy istotność (lub porzucimy, jeśli istotność nie zostanie osiągnięta po długim czasie testowania), coś, co teraz dowiaduję się, jest …

13 hypothesis-testing statistical-significance bias ab-test optimal-stopping

1

Jak się dowiedzieć, czy krzywa uczenia się z modelu SVM cierpi na błąd lub wariancję?

Stworzyłem tę krzywą uczenia się i chcę wiedzieć, czy mój model SVM cierpi na odchylenie lub wariancję? Jak wyciągnąć wniosek z tego wykresu?

12 machine-learning svm bias train

1

Co to jest korekta uprzedzeń? [Zamknięte]

Zamknięte . To pytanie wymaga szczegółów lub jasności . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Dodaj szczegóły i wyjaśnij problem, edytując ten post . Zamknięte 4 lata temu . Widziałem wiele miejsc, w których mają zestawy danych wejściowych / wyjściowych, w których najpierw tworzą linię regresji liniowej, korygują …

12 bias bias-correction

2

Matematyczna intuicja równania odchylenia wstępnego

I ostatnio zadawane pytanie mającą matematycznego interpretacji / intuicji za elementarnej równanie dotyczące próbki średniej i wariancji: , geometryczny lub inne.mi[ X2)] = Va r ( X) + ( E[ X] )2)E[X2]=Var(X)+(E[X])2 E[X^2] = Var(X) +(E[X])^2 Ale teraz ciekawi mnie powierzchownie podobne równanie kompromisu wariancji odchylenia. MSE ( θ^) = …

12 variance bias

1

Jaka jest różnica między asymptotyczną bezstronnością a konsekwencją?

Czy każda z nich implikuje drugą? Jeśli nie, to czy jedno implikuje drugie? Dlaczego? Dlaczego nie? Ten problem pojawił się w odpowiedzi na komentarz do zamieszczonej tutaj odpowiedzi . Chociaż wyszukiwanie w Google odpowiednich haseł nie dało nic, co wydawałoby się szczególnie przydatne, zauważyłem odpowiedź na temat wymiany stosów matematycznych. …

12 mathematical-statistics bias unbiased-estimator estimators consistency

Pytania otagowane jako bias