Statystyki i duże zbiory danych

3

Czy są cytowane artykuły na temat statystyki, które faktycznie rozpowszechniły złe praktyki statystyczne?

Istnieje oczywiście wiele sposobów nadużywania metod statystycznych. Czy znasz jakieś przykłady złej praktyki statystycznej, które zostały po raz pierwszy opublikowane jako wyraźna rada (np. „Powinieneś użyć tej metody do ...”), w renomowanych czasopismach akademickich, które następnie były wielokrotnie cytowane? Przykładem może być 10 zdarzeń na regułę predyktora, które jest często …

13 references statistical-falsehoods

1

Usuwanie wartości odstających na podstawie „2,5-krotności RMSE”

W Kahneman i Deaton (2010) autorzy piszą:††^\dagger Ta regresja wyjaśnia 37% wariancji, z pierwiastkowym średnim błędem kwadratowym (RMSE) wynoszącym 0,67852. Aby wyeliminować wartości odstające i nieprawdopodobne dochody, porzuciliśmy obserwacje, w których wartość bezwzględna różnicy między przychodem z dziennika a jego prognozą przekroczyła 2,5-krotność RMSE. Czy to powszechna praktyka? Jaka jest …

13 regression outliers

3

Używasz średniej długości i średniej masy do obliczenia średniego BMI?

Czy prawidłowe jest zastosowanie średniej długości ( ) i średniej masy ( )) z danej populacji do obliczenia średniego wskaźnika ( ) dla tej populacji?hhhwwwB M.ja= wh2)BMI=wh2BMI = \frac{w}{h^2}

13 mean sample population

5

Filozoficzne pytanie dotyczące regresji logistycznej: dlaczego nie trenuje się optymalnej wartości progowej?

Zwykle w regresji logistycznej dopasowujemy model i uzyskujemy prognozy dotyczące zestawu treningowego. Następnie weryfikujemy krzyżowo te prognozy treningowe (coś takiego jak tutaj ) i decydujemy o optymalnej wartości progowej na podstawie czegoś takiego jak krzywa ROC. Dlaczego nie uwzględnimy weryfikacji krzyżowej progu w rzeczywistym modelu i nie przeszkolimy tego od …

13 logistic cross-validation optimization roc threshold

2

Czy próg decyzyjny jest hiperparametrem w regresji logistycznej?

Przewidywane klasy z (binarnej) regresji logistycznej są określane przy użyciu progu prawdopodobieństwa członkostwa w klasie generowanego przez model. Jak rozumiem, domyślnie używa się zwykle 0,5. Ale zmiana progu zmieni przewidywane klasyfikacje. Czy to oznacza, że próg jest hiperparametrem? Jeśli tak, dlaczego (na przykład) nie jest możliwe łatwe przeszukiwanie siatki progów …

13 machine-learning logistic scikit-learn hyperparameter

4

Jaki jest sens regresji jednowymiarowej przed regresją wielowymiarową?

Obecnie pracuję nad problemem, w którym mamy niewielki zestaw danych i interesuje mnie wpływ przyczynowy leczenia na wynik. Mój doradca polecił mi wykonać regresję jednowymiarową na każdym predyktorze z wynikiem jako odpowiedzią, a następnie przypisaniem leczenia jako odpowiedzią. Tzn. Poproszono mnie o dopasowanie regresji do jednej zmiennej na raz i …

13 regression multivariate-analysis model-selection causality univariate

1

Dlaczego MLE ma sens, skoro prawdopodobieństwo pojedynczej próbki wynosi 0?

To trochę dziwna myśl, którą miałem podczas przeglądania starych statystyk i z jakiegoś powodu nie wydaje mi się, żebym wymyślił odpowiedź. Ciągły plik PDF informuje nas o gęstości obserwacji wartości w danym zakresie. Mianowicie, jeśli X∼ N.( μ , σ2))X∼N(μ,σ2)X \sim N(\mu,\sigma^2) , na przykład, to prawdopodobieństwo, że realizacja przypada …

13 normal-distribution maximum-likelihood pdf

8

Jak leczyć nielogiczne odpowiedzi w ankiecie

Wysłałem ankietę do próby artystów. Jednym z pytań było wskazanie odsetka dochodu uzyskanego z: działalności artystycznej, wsparcia rządowego, prywatnej emerytury, działań niezwiązanych ze sztuką. Około 65% osób odpowiedziało tak, że suma procentowa wynosi 100. Inni nie: na przykład są tacy, którzy odpowiadają, że 70% ich dochodów pochodzi z jego działalności …

13 survey bias

2

Czy przyczyną regresji jest brak pominiętych zmiennych?

Regresję yyy w xxx nie musi być przyczynowy, jeżeli pominięto zmienne, które mają wpływ zarówno xxx i yyy . Ale jeśli nie w przypadku pominiętych zmiennych i błędu pomiaru, to czy regresja jest przyczyną? To znaczy, czy regresja obejmuje każdą możliwą zmienną?

13 regression bias causality

4

Czy metody oparte na MCMC są odpowiednie, gdy dostępne jest oszacowanie Maximum a-posteriori?

Zauważyłem, że w wielu praktycznych zastosowaniach, metody oparte na MCMC są używane do oszacowania parametru, nawet jeśli a posterior jest analityczny (na przykład ponieważ priory były sprzężone). Dla mnie bardziej sensowne jest stosowanie estymatorów MAP niż estymatorów opartych na MCMC. Czy ktoś mógłby wskazać, dlaczego MCMC jest nadal odpowiednią metodą …

13 bayesian mcmc posterior

3

Czy prawdopodobieństwa są zachowane podczas transformacji funkcji?

Myślę, że jest to trochę podstawowe, ale powiedzmy, że mam zmienną losową , prawdopodobieństwo takie samo jak dla dowolnej funkcji ciągłej wartości rzeczywistej ?XXXP(X≤a)P(X≤a)P(X \leq a)P(f(X)≤f(a))P(f(X)≤f(a))P(f(X) \leq f(a))fff

13 probability distributions

2

Dlaczego najlepszy wybór podzbiorów nie jest preferowany w porównaniu z lasso?

Czytam o najlepszym wyborze podzbiorów w książce Elementy statystycznego uczenia się. Jeśli mam 3 predyktory , tworzę podzbiorów:2 3 = 8x1, x2), x3)x1,x2,x3x_1,x_2,x_32)3)= 823=82^3=8 Podzbiór bez predyktorów podzbiór z predyktoremx1x1x_1 podzbiór z predyktoremx2)x2x_2 podzbiór z predyktoremx3)x3x_3 podzbiór z predyktoramix1, x2)x1,x2x_1,x_2 podzbiór z predyktoramix1, x3)x1,x3x_1,x_3 podzbiór z predyktoramix2), x3)x2,x3x_2,x_3 podzbiór z …

13 regression feature-selection lasso bias-variance-tradeoff

1

Czy porównując grupy zmiennych kontrolnych, powinniśmy stosować testy równoważności?

W wielu artykułach, które rozważają leczenie i wyniki, widzę tabele (zwykle „tabela 1”), co można nazwać zmiennymi uciążliwymi (często dane demograficzne, czasami schorzenia), z testami istotności i tekstem takim jak „grupy były zasadniczo podobne, tam nie stwierdzono istotnych różnic w XXXXX, patrz Tabela ". Tak więc wyraźnym celem jest wykazanie, …

13 equivalence controlling-for-a-variable

3

Dlaczego ładowanie jest przydatne?

Jeśli wszystko, co robisz, to ponowne próbkowanie z rozkładu empirycznego, dlaczego nie po prostu przestudiować rozkład empiryczny? Na przykład zamiast badać zmienność poprzez powtarzanie prób, dlaczego nie po prostu skwantyfikować zmienność z rozkładu empirycznego?

13 machine-learning mathematical-statistics sampling bootstrap resampling

2

Co to jest Bayesian Deep Learning?

Co to jest Bayesian Deep Learning i jaki ma to związek z tradycyjnymi statystykami Bayesian i tradycyjnym Deep Learning? Jakie są główne pojęcia i matematyka? Czy mogę powiedzieć, że to tylko nieparametryczne statystyki bayesowskie? Jakie są jego przełomowe prace, a także obecne główne zmiany i zastosowania? PS: Bayesian Deep Learning …

13 bayesian deep-learning