Statystyki i duże zbiory danych

27

Czy są dostępne bezpłatne podręczniki statystyczne?

119 teaching references

5

Jaka jest różnica między normalizacją a normalizacją?

W pracy rozmawialiśmy o tym, ponieważ mój szef nigdy nie słyszał o normalizacji. W algebrze liniowej normalizacja wydaje się odnosić do podziału wektora przez jego długość. A w statystykach normalizacja wydaje się odnosić do odejmowania średniej, a następnie dzielonej przez jej SD. Ale wydają się one również zamienne z innymi …

118 descriptive-statistics normalization standardization

8

Czy związek przyczynowy oznacza korelację?

Korelacja nie oznacza związku przyczynowego, ponieważ może istnieć wiele wyjaśnień korelacji. Ale czy związek przyczynowy oznacza korelację? Intuicyjnie sądzę, że obecność związku przyczynowego oznacza, że koniecznie istnieje pewna korelacja. Ale moja intuicja nie zawsze dobrze mi służyła w statystykach. Czy związek przyczynowy oznacza korelację?

118 correlation causality

9

Kiedy można usunąć punkt przecięcia w modelu regresji liniowej?

Korzystam z modeli regresji liniowej i zastanawiam się, jakie są warunki do usunięcia terminu przechwycenia. Porównując wyniki z dwóch różnych regresji, w których jedna ma przecięcie, a druga nie, zauważam, że funkcji bez przecięcia jest znacznie wyższa. Czy są pewne warunki lub założenia, których powinienem przestrzegać, aby upewnić się, że …

118 regression linear-model r-squared intercept

9

Numeryczny przykład zrozumienia maksymalizacji oczekiwań

Staram się dobrze zrozumieć algorytm EM, aby móc go wdrożyć i używać. Spędziłem cały dzień czytając teorię i artykuł, w którym EM służy do śledzenia samolotu z wykorzystaniem informacji o położeniu pochodzących z radaru. Szczerze mówiąc, nie sądzę, że w pełni rozumiem leżącą u podstaw ideę. Czy ktoś może wskazać …

117 regression probability mathematical-statistics intuition expectation-maximization

21

Jaka jest różnica między prawdopodobieństwem a statystykami?

Jaka jest różnica między prawdopodobieństwem a statystykami i dlaczego są one badane razem?

116 probability teaching mathematical-statistics

6

Dlaczego wartości p rozkładają się równomiernie w ramach hipotezy zerowej?

Ostatnio znalazłem w artykule Klammera i in. stwierdzenie, że wartości p powinny być równomiernie rozłożone. Wierzę autorom, ale nie mogę zrozumieć, dlaczego tak jest. Klammer, AA, Park, CY i Stafford Noble, W. (2009) Kalibracja statystyczna funkcji SEQUEST XCorr . Journal of Proteome Research . 8 (4): 2106–2113.

115 p-value uniform

16

Jeśli 900 na 1000 osób twierdzi, że samochód jest niebieski, jakie jest prawdopodobieństwo, że jest niebieski?

To początkowo powstało w związku z pracą, jaką wykonujemy na modelu, aby sklasyfikować tekst naturalny, ale uprościłem go ... Być może za dużo. Masz niebieski samochód (według obiektywnej miary naukowej - jest niebieski). Pokazujesz to 1000 osobom. 900 twierdzi, że jest niebieski. 100 nie. Przekazujesz te informacje komuś, kto nie …

114 probability

3

Jak obliczane są standardowe błędy współczynników w regresji?

Dla własnego zrozumienia jestem zainteresowany ręczną replikacją obliczenia standardowych błędów szacowanych współczynników, ponieważ, na przykład, przychodzi z wyjściem lm()funkcji w R, ale nie byłem w stanie tego dokładnie określić. Jaka jest używana formuła / implementacja?

114 r regression standard-error lm

2

Wyprowadzanie rozkładów warunkowych wielowymiarowego rozkładu normalnego

Mamy wielowymiarowy normalny wektor Y∼N(μ,Σ)Y∼N(μ,Σ){\boldsymbol Y} \sim \mathcal{N}(\boldsymbol\mu, \Sigma) . Rozważ podzielenie μμ\boldsymbol\mu i YY{\boldsymbol Y} na μ=[μ1μ2]μ=[μ1μ2]\boldsymbol\mu = \begin{bmatrix} \boldsymbol\mu_1 \\ \boldsymbol\mu_2 \end{bmatrix} Y=[y1y2]Y=[y1y2]{\boldsymbol Y}=\begin{bmatrix}{\boldsymbol y}_1 \\ {\boldsymbol y}_2 \end{bmatrix} z podobną partycją ΣΣ\Sigma w [Σ11Σ21Σ12Σ22][Σ11Σ12Σ21Σ22] \begin{bmatrix} \Sigma_{11} & \Sigma_{12}\\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} Następnie (y1|y2=a)(y1|y2=a)({\boldsymbol y}_1|{\boldsymbol y}_2={\boldsymbol a}) …

114 normal-distribution conditional-probability

4

Korelacja Pearsona lub Spearmana z danymi niestandardowymi

Często dostaję to pytanie w mojej pracy konsultingowej, że myślałem, że opublikuję je tutaj. Mam odpowiedź, która jest zamieszczona poniżej, ale chciałem usłyszeć, co mają do powiedzenia inni. Pytanie: Jeśli masz dwie zmienne, które nie są normalnie rozmieszczone, czy powinieneś użyć rho Spearmana do korelacji?

113 correlation normality-assumption pearson-r spearman-rho

13

Co jest nie tak z komiksem Frequentists vs. Bayesians z XKCD?

Ten komiks xkcd (Frequentists vs. Bayesians) naśmiewa się z częstych statystyk, którzy uzyskują oczywiście błędny wynik. Wydaje mi się jednak, że jego rozumowanie jest właściwie prawidłowe w tym sensie, że jest zgodne ze standardową metodologią częstokroć. Więc moje pytanie brzmi: „czy on właściwie stosuje metodologię częstokroć?” Jeśli nie: co byłoby …

113 bayesian frequentist

10

Jaka jest różnica między siecią neuronową a głęboką siecią neuronową i dlaczego głębokie działają lepiej?

Nie widziałem dokładnie takiego pytania i dlatego zadaję nowe pytanie. To, co mnie interesuje, to nie definicja sieci neuronowej, ale zrozumienie faktycznej różnicy z głęboką siecią neuronową. Więcej kontekstu: wiem, czym jest sieć neuronowa i jak działa propagacja wsteczna. Wiem, że DNN musi mieć wiele ukrytych warstw. Jednak 10 lat …

113 neural-networks deep-learning

1

Jak odwrócić PCA i zrekonstruować oryginalne zmienne z kilku głównych składników?

Do zmniejszenia wymiarów można zastosować analizę głównych składników (PCA). Po przeprowadzeniu takiej redukcji wymiarowości, w jaki sposób można w przybliżeniu zrekonstruować oryginalne zmienne / cechy z niewielkiej liczby głównych składników? Alternatywnie, w jaki sposób można usunąć lub odrzucić kilka głównych składników z danych? Innymi słowy, jak odwrócić PCA? Biorąc pod …

113 pca dimensionality-reduction svd

19

Najciekawsze paradoksy statystyczne

Ponieważ uważam je za fascynujące, chciałbym usłyszeć, co ludzie w tej społeczności uważają za najciekawszy statystyczny paradoks i dlaczego.

112 paradox