Statystyki i duże zbiory danych

3

Co mówi nam odchylenie standardowe w rozkładzie nienormalnym

W rozkładzie normalnym reguła 68-95-99.7 nadaje odchyleniu standardowemu wiele znaczenia, ale co oznaczałoby odchylenie standardowe w rozkładzie nienormalnym (multimodalnym lub skośnym)? Czy wszystkie wartości danych mieszczą się w granicach 3 odchyleń standardowych? Czy mamy reguły takie jak 68-95-99.7 dla niestandardowych dystrybucji?

40 normal-distribution standard-deviation skewness

6

Ogólna zasada dotycząca liczby próbek bootstrapu

Zastanawiam się, czy ktoś zna jakieś ogólne zasady dotyczące liczby próbek bootstrap, których należy użyć, na podstawie cech danych (liczba obserwacji itp.) I / lub uwzględnionych zmiennych?

40 bootstrap inference monte-carlo

3

Efekt tłumienia w regresji: definicja i wizualne objaśnienie / przedstawienie

Co to jest zmienna supresorowa w regresji wielokrotnej i jakie mogą być sposoby wizualnego wyświetlania efektu supresji (jego mechanika lub dowody w wynikach)? Chciałbym zaprosić wszystkich, którzy myślą, do podzielenia się.

40 multiple-regression data-visualization geometry suppressor

2

Jak wyciągnąć prawidłowe wnioski z „dużych zbiorów danych”?

„Big data” jest wszędzie w mediach. Wszyscy mówią, że „duże zbiory danych” są najważniejsze w 2012 r., Np. Sondaż KDNuggets na gorące tematy w 2012 r . Mam jednak głębokie obawy. W przypadku dużych zbiorów danych wydaje się, że wszyscy są szczęśliwi, gdy tylko coś wyciągną. Ale czy nie naruszamy …

40 data-mining dataset large-data validation

5

Przedział ufności dla mediany

Muszę znaleźć 95% CI na medianie i innych percentylach. Nie wiem jak do tego podejść. Głównie używam R jako narzędzia programistycznego.

40 r confidence-interval median

2

Miary o zmiennym znaczeniu w losowych lasach

Bawiłem się losowymi lasami w celu regresji i mam trudności z ustaleniem, co dokładnie oznaczają dwie miary ważności i jak należy je interpretować. importance()Funkcja daje dwie wartości dla każdej zmiennej: %IncMSEa IncNodePurity. Czy istnieją proste interpretacje tych 2 wartości? W IncNodePurityszczególności, czy jest to po prostu kwota wzrostu RSS po …

40 r machine-learning random-forest importance

3

Jak interpretować wartość F i p w ANOVA?

Jestem nowy w statystyce i obecnie zajmuję się ANOVA. Przeprowadzam test ANOVA w R. używając aov(dependendVar ~ IndependendVar) Dostaję - między innymi - wartość F i wartość p. Moja hipoteza ( ) jest taka, że wszystkie średnie grupowe są równe.H.0H.0H_0 Dostępnych jest wiele informacji na temat sposobu obliczania F , …

40 r anova interpretation

4

Regresja logistyczna w R (iloraz szans)

Próbuję przeprowadzić analizę regresji logistycznej w R. Brałem udział w kursach obejmujących ten materiał przy użyciu STATA. Bardzo trudno jest mi powielić funkcjonalność R. Czy w tym obszarze jest dojrzały? Wydaje się, że dostępna jest niewielka dokumentacja lub wytyczne. Wydawanie wyników ilorazu szans wydaje się wymagać instalacji epicalci / lub …

40 r logistic odds-ratio

3

Empiryczny związek między średnią, medianą i trybem

W przypadku unimodalnego rozkładu, który jest umiarkowanie wypaczony, mamy następującą empiryczną zależność między średnią, medianą i trybem: Jak uzyskano ten związek?(Mean - Mode) ∼ 3(Średnia - mediana)(Mean - Mode)∼3(Mean - Median) \text{(Mean - Mode)}\sim 3\,\text{(Mean - Median)} Czy Karl Pearson opracował tysiące takich relacji przed sformułowaniem takiego wniosku, czy też …

40 distributions mathematical-statistics descriptive-statistics history

7

Normalizacja i standaryzacja danych w sieciach neuronowych

Próbuję przewidzieć wynik złożonego układu wykorzystującego sieci neuronowe (ANN). Wartości wyników (zależne) wynoszą od 0 do 10 000. Różne zmienne wejściowe mają różne zakresy. Wszystkie zmienne mają z grubsza normalne rozkłady. Rozważam różne opcje skalowania danych przed treningiem. Jedną z opcji jest skalowanie wejściowych (niezależnych) i wyjściowych (zależnych) zmiennych do …

40 machine-learning neural-networks multidimensional-scaling

3

Czy istnieją przypadki, w których PCA jest bardziej odpowiednie niż t-SNE?

Chcę zobaczyć, jak 7 miar zachowania korekty tekstu (czas spędzony na poprawianiu tekstu, liczba naciśnięć klawiszy itp.) Odnoszą się do siebie. Miary są skorelowane. Uruchomiłem PCA, aby zobaczyć, jak miary rzutują się na PC1 i PC2, co pozwoliło uniknąć nakładania się osobnych testów dwukierunkowej korelacji między miarami. Zapytano mnie, dlaczego …

39 pca tsne

7

Jakie są najczęstsze uprzedzenia dokonywane przez ludzi podczas gromadzenia lub interpretacji danych?

Jestem głównym ekonomistą / statkiem. Wiem, że ekonomiści próbowali zmodyfikować swoje założenia dotyczące ludzkiego zachowania i racjonalności, identyfikując sytuacje, w których ludzie nie zachowują się racjonalnie. Załóżmy na przykład, że oferuję 100% szansę na stratę w wysokości 1000 USD lub 50% szansę na stratę w wysokości 2500 USD , ludzie …

39 bias

4

Bayesowski ekwiwalent dwóch próbnych testów t?

Nie szukam metody plug and play, takiej jak BEST in R, ale raczej matematyczne wyjaśnienie, jakie są niektóre metody bayesowskie, których mogę użyć do przetestowania różnicy między średnią dwóch próbek.

39 hypothesis-testing bayesian t-test

2

Wykresy PP vs. wykresy QQ

Jaka jest różnica między wykresami prawdopodobieństwa, wykresami PP i wykresami QQ podczas próby analizy dopasowanego rozkładu do danych?

39 probability data-visualization goodness-of-fit qq-plot

7

Czy Bayesian przyznałby, że istnieje jedna stała wartość parametru?

W analizie danych bayesowskich parametry są traktowane jak zmienne losowe. Wynika to z bayesowskiej subiektywnej koncepcji prawdopodobieństwa. Ale czy Bayesianie teoretycznie uznają, że istnieje jedna prawdziwa stała wartość parametru w „prawdziwym świecie”? Wydaje się, że oczywistą odpowiedzią jest „tak”, ponieważ wówczas próba oszacowania parametru byłaby prawie bezsensowna. Docenione byłoby cytowanie …

39 probability bayesian parameterization